编译原理综合性实验词法分析的设计.pdfVIP

《编译原理》综合性实验一： 词法分析的设计 实验目的：掌握词法分析的概念，设计方法，熟悉高级语言中词法的定义，词法分析程序的 编写。 实验要求：在 6 学时内实现 SAMPLE 语言的词法分析器，要求用 VC 窗口界面实现。 实验内容：分为 3 次实验完成。 1.1 词法分析器的结构和主要任务 【输入输出接口】 【输入输出接口】 图 1-1 词法分析器的输入输出界面 词法分析程序的主要任务是从左到右扫描每行源程序，拼成单词，换成统一的内部表示 (token)输出，送给语法分析器。具体包括： –组织源程序的输入； –按规则拼单词，并转换成二元形式； –滤掉空白符，跳过注释、换行符及一些无用的符号(如字符常数的引号) –进行行列计数，用于指出出错的行列号，并复制出错部分； –列表打印源程序； –发现并定位词法错误； –生成符号表。token 文件和符号表用作语法分析的输入部分 【条件限制】 【条件限制】 本实验可以作如下假定： (1) 假定 SAMPLE 语言采用自由格式书写； (2) 可以使用注解，用/*……*/或者{……}标识，但注解不能插在单词内部，注解要 在一行内结束，若一行结束，没有遇到注释后面的结束标记，自动认为注释也结 束； (3) 一行可以有多个语句，一个语句也可以分布在多行中，单词之间和语句之间可以 插入任意空格，单词中间不能有空白符号，单词中间也不能有回车换行符，即单 词不能跨行书写； (4) 关键字都是保留字。 1.2 词法分析程序的总体设计 图 1-2 词法分析程序的顶层数据流图 图 1-2 是词法分析程序的顶层数据流图，即是词法分析程序的输入输出界面图，由此可 以看出词法分析程序的功能就是从源程序中读入一个个字符，依据一定的构词规则，识别出 各类有用的单词。其中源程序清单和错误信息从屏幕、打印机或文件输出，其余文件均以顺 序文件的形式输出到外存储器上，以供下一阶段使用。由此可以得到更详细的数据流图，如 图 1-3。 图 1-3 词法分析程序的详细数据流图 在上面的数据流图中，各个加工处理完成的功能如下： 加工 1.1(读一行并打印) ：收到读下一行命令后，从源程序读入一行，装入缓冲区，行计 数，并打印。在这里需要注意的是，回车换行在源程序（文本文件）中用两个字符 0D0AH 来表示，而用高级语言（C 语言）读入内存后，就用一个字符 0AH 来表示，这是在用高级 语言编写词法分析器时常被忽略导致错误的原因。 加工 1.2(读一非空字符) ：收到读一字符命令后，从缓冲区读人一非空字符，列计数。若 缓冲区已空，则再读—行，列计数置 0 。 加工 1.3(分类) ：根据单词的首字符以决定对不同类单词的处理。 加工 1.4(识别标识符) ；当输入字母时，开始识别标识符或关键宇，边拼写边从缓冲区读 入下一符号，当读入一非字母数字符号时，标识符识别完成，但已多读入一个符号，所以列 记数回退。然后查关键字表，判断拼出的符号串是否为关键字。若是关键字，输出其种别码。 否则识别的单词就是标识符，同时输出标识符及其种别码。 加工 1.5(识别常数) ：当输入数字时，开始识别整数或实数。边拼写边读入下一符号，当 遇到“.”时，还要继续拼写该常数(实数情况) 。如果遇到E ，要识别带指数的常数，当遇到 其它非数字符号时，数字常数拼写完毕，列计数也要退 1。输出常数及其种别码。 加工 1.6(处理注解) ；当输入“／”时，开始识别注解或除号，若是注解时，最后两个连 续读出的符号是“* ／”，不需再读下一符号，列计数不变。当判定是除号“／”时，已多读 入一字符，列计数—1，输出“／”的种别码。 加工 1.7(识别分界符) ：识别其它界符，对于 、 、：、|、·等符号，还需要再读入下一符 号，判别是否为双界符。若不是，列计数—1，输出单词的种别码。 加工 1.8(识别文字常数) ：当输入引号时，引号忽略，开始拼写字符常数，不断拼读下一 符号，有哪些信誉好的足球投注网站下一个引号，当读入第二个引号时，字符常数拼写结束。最后列计数不减 1，然 后输出