ch3词法分析概要.ppt

* 词法分析程序的结构 取字符子程序 取符号子程序，一般有如下约定： 进入子程序时，已经取到当前符号的一个字符。 离开子程序时，已经取到其后继字符。 查造标识符表子程序 查造常量表子程序 查符号机内表示对照表子程序 * 词法分析程序的自动生成（Lex) LEX是由美国Bell实验室的M.Lesk和Schmidt于1975年用C语言研制的一个词法分析程序的自动生成工具。对任何高级程序语言，用户必须用正规表达式描述该语言的各个词法类（这一描述称为LEX的源程序），LEX就可以自动生成该语言的词法分析程序。LEX及其编译系统的作用如图。 * 图 LEX及其编译系统的作用 * 一个LEX源程序由用“%%”分隔的三部分组成：第一部分为正规式的说明，第二部分为识别规则，最后一部分为用户子程序。其书写格式为： 说明部分 %% 识别规则 %% 用户子程序 * 其中，说明部分和用户子程序是任选的，而识别规则是必需的。如果用户子程序缺省，则第二个分隔符号“%%”可以省去；但如果无说明部分，第一个分隔符号“%%”不能省去，因为第一个分隔符号用于指示识别规则部分的开始。 * 说明部分：对识别规则部分要引用的文件和变量进行说明，通常可包括头文件表、常数定义、全局变量定义以及正规式定义等。正规式定义用来定义在规则部分引用的正规式，类似于c的宏定义。除宏定义外，其余代码用%｛和%｝括起来。 * %{ #include ”stdio.h” int sum #define PI 3.14 }% digit [0-9] letter [A-Za-z] id ({letter}) ({letter}∣{digit})* * 识别规则 R1 {A1} R2 {A2} . . . Rn {An} 用户子程序 在识别规则部分中，所调用的函数若不是库函数，则需要给出这些函数的定义。 其中Rn是正规式，用来描述单词； An是一段C语言源代码，当从输入字符串中识别出单词Rn时，就执行当前的代码段。 * 下面给出一个简单语言的单词符号的LEX源程序例子，其输出单词的类别编码用整数编码表示。 Auxiliary Definitions /*辅助定义*/ letter→A∣B∣C∣…∣Z∣a∣b∣c∣…∣z digit→0∣1∣2∣3∣…∣9 %% Recognition Rules /*识别规则*/ * 1 while {return (1,null)} 2 do {return (2,null)} 3 if {return (3,null)} 4 else {return (4,null)} 5 switch {return (5,null)} 6 { {return (6,null)} 7 } {return (7,null)} 8 ( {return (8,null)} 9 ) {return (9,null)} 10 + {return (10,null)} 11 ? {return (11,null)} * 12 * {return (12,null)} 13 / {return (13,null)} 14 = {return (14,null)} 15 ； {return (15,null)} 16 letter (letter∣digit)* {if(keyword (id)==0) {return (16,null)； return (id) }; else return (keyword (id)) } 17 digit (digit)* {val=int (id)；