[工学]编译原理.pdf

北京大学信息科学技术学院 2011年春季学期 《编译技术》 第第33章章词法分析词法分析 LexicalLexical AnalysisAnalysis 内容提要内容提要内容提要内容提要 33.11 词法分析器的设计词法分析器的设计 3.2 正则表达式与正则集合  Token的描述方法 3.3 有限自动机有限自动机 ((Finite Automata))  NFA到DFA的转换  DFADFA的最小化的最小化 3.4 正则表达式与FA的等价性 3.5 正则文法与正则文法与FA的等价性的等价性 3.63.6 词法分析器的自动构造工具词法分析器的自动构造工具—LEX 2 2011 年春季学期 《编译技术》课程 北京大学信息科学技术学院 北京大学信息科学技术学院 2011年春季学期 《编译技术》 3.13.1 词法分析器的设计词法分析器的设计 Token(词法单元) 源程序 词法分析器 语法分析器语法分析器 取下一个Token 符号表 词法分析程序的功能举例词法分析程序的功能举例词法分析程序的功能举例词法分析程序的功能举例 while i ＜＞j do ifif ii ＞＞jj thenthen i:i: ＝＝ii-jj elseelse j:j: =jj -ii 词法分析器 while ，i ，＜＞，j ，do ， if ，i ，＞，j , then , i , := , i, - , j , else, j , := , j , - , i 4 2011 年春季学期 《编译技术》课程 北京大学信息科学技术学院 词法分析器的功能词法分析器的功能词法分析器的功能词法分析器的功能  主要功能主要功能：：识别识别词法单元词法单元(lexeme(lexeme, 或或token)token)  输出词法单元，包括其名称及相关属性  对对数字常数数字常数完成数字字符串到二进制数值的转完成数字字符串到二进制数值的转 换  去除去除注释与空白符号注释与空白符号  把编译器生成的错误信息关联到源文件  例如：记录每一个符号的位置（行、列）  可能要进行一些预处理工作  比如识别宏（macro ）, 宏的扩展 5 2011 年春季学期 《编译技术》课程 北京大学信息科学技术学院 TokenTokenTokenToken的类别和属性的类别和属性的类别和属性的类别和属性 11．．关键字关键字((保留字保留字)) (Keyword)(Keyword)  begin, end, if, then, for, while … 22．．标识符标识符 (Identifier)(Identifier)  用来表示各种名字