《编译原理》第4章词法分析.pdfVIP

编译原理 武汉大学计算机学院 编译原理课程组 第4 章词法分析 · 词法分析器 · 单词符号 · 词法分析程序设计 · 词法分析器的自动生成 4.1 词法分析器与单词符号 1. 词法分析程序的作用 词法分析程序依据语言词法规则，分析由字符组成的源程 序，把它识别为一个一个具有独立意义的最小语法单位，即“单 词” ，并识别出与其相关的属性(如是标识符，是界限符，还是 数，等等) ，再转换成长度上统一的标准形式——属性字，把字 符串形式的源程序改造成为单词符号串(属性字)形式的中间程 序，以供其它部分使用。 如删除注解、空格、回车符、换行符之类非必要信息，把 标识符登录入符号表及某些预加工处理等。 4.1 词法分析器与单词符号 2.词法分析程序的地位 · 作为一个独立阶段 ⑴能独立地研究词法与语法两方面的特性。 ⑵词法规则简单，可建立特别适用的有效分析技术，易于实 现词法分析程序生成 自动化。 ⑶可以就同一语言，为每种不同的机器编写一个词法分析程 序，而只编写一个共同的语法分析程序。 4.1 词法分析器与单词符号 2.词法分析程序的地位 · 作为一个独立阶段 · 安排为一个子程序 每当语法分析程序需要一个单词符号时就调用词法分析子 程序，每一次调用，词法分析子程序就从源程序中识别出一个 单词符号交给语法分析程序。 4.1 词法分析器与单词符号 3. 单词符号 程序语言的单词符号一般可分为五种： 关键字、标识符、常数、运算符、界限符。 • 单词种别 一类一码；一符一码。 • 单词符号的属性值 反映单词符号特征或特性的值。如标识符的符号表指针， 常数的常数表指针等。 4.2 扫描程序的设计 1．预处理 如删除注解、空格、回车符、换行符之类非必要信息。 从源程序中处理出一串确定长度的输入字符，并将 其装进词法分析程序指定的缓冲区——扫描缓冲区中。 4.2 扫描程序的设计 1．预处理 2．单词符号的识别——超前有哪些信誉好的足球投注网站 • 关键字的识别 • 标识符的识别 • 常数的识别 • 算符和界限符的识别 4.2 扫描程序的设计 3．状态转换图 0 1 1 0 start 1 0 q1 q2 q3 q4 0 1 状态转换图中的每一个状态实际上对应着分析过程的某一个时刻。 4.2 扫描程序的设计 状态转换图的实现 ：将状态转换图看作是通常的程序框图。 每个状态构造一段代码，代码的功能为： ①从输入串中读一个字符； ②判明读入的字符与由此状态出发的哪条弧上的标记相匹 配，便转至相匹配的那条弧所指向的状态； ③均不匹配时便失败(不能到达正常出口) 。 有些词法分析程序还会在这些代码段中加上一些其它语义处 理(如对数值进行10进制到2进制的转换等) 。 4.3 词法分析程序自动生成 LEX是一个词法分析程序生成器。 LEX接受一组正规表达式以及每个正规表达式相应的一组动作。 “动作”本身是一小段程序代码，它指出了按正规表达式识别出 一个单词后应采取的动作。 LEX源程序