编译原理第3讲--词法分析1.ppt

第2章词法分析2.1词法分析器设计方法 2.2一个简单的词法分析器示例2.1词法分析器设计方法词法分析是编译的第一个阶段，其任务是：从左至右逐个字符地对源程序进行扫描，产生一个个单词符号，把字符串形式的源程序改造成为单词符号串形式的中间程序。执行词法分析的程序称为词法分析程序，也称为词法分析器或扫描器。词法分析器的功能是输入源程序，输出单词符号。词法分析可以采用如下两种处理结构：(1)把词法分析程序作为主程序。将词法分析工作作为独立的一遍来完成，即把词法分析与语法分析明显分开，由词法分析程序将字符串形式的源程序改造成单词符号串形式的中间程序，以这个中间程序作为语法分析程序的输入。在这种处理结构中，词法分析和语法分析是分别实现的，如图2–1(a)所示。(2)把词法分析程序作为语法分析程序调用的子程序。在进行语法分析时，每当语法分析程序需要一个单词时便调用词法分析程序，词法分析程序每一次调用便从字符串源程序中识别出一个单词交给语法分析程序。在这种处理结构中，词法分析和语法分析实际上是交替进行的，如图2–1(b)所示。由于把词法分析器安排成一个子程序比较自然，因此，词法分析程序通常采用第二种处理结构。2.1.1单词符号的分类与输出形式1．单词符号分类词法分析程序简单地说就是读单词程序，该程序扫描用高级语言编写的源程序，将源程序中由单词符号组成的字符串分解出一个个单词来。因此，单词符号是程序语言的基本语法单位，具有确定的语法意义。程序语言的单词符号通常可分为下面五种：(1)保留字(也称基本字)：如C语言中的if、else、while和do等，这些字保留了语言所规定的含义，是编译程序识别各类语法成分的依据。几乎所有程序语言都限制用户使用保留字来作为标识符。(2)标识符：用来标记常量、数组、类型、变量、过程或函数名等，通常由用户自己定义。(3)常数：包括各种类型的常数，如整型常数386、实型常数0.618、布尔型常数TRUE等。(4)运算符：如“+”、“?”、“*”、“/”、“>”、“<”等。(5)界符：在语言中是作为语法上的分界符号使用的，如“，”、“；”、“（”、“）”等。?一个程序语言的保留字、运算符和界符的个数是确定的，标识符或常数的使用则不限定个数。2．词法分析程序输出单词的形式我们知道，词法分析程序的输入是源程序字符串，而输出是与源程序等价的单词符号序列，并且所输出的单词符号通常表示成如下的二元式：（单词种别，单词自身的值）单词的种别可以用整数编码表示：如标识符编码为1，常数为2、保留字为3，运算符为4，界符为5，程序段ifI=5thenx:=y;经扫描后表示如下：保留字if（3，’if’）标识符I（1，指向I的符号入口）等号:=（4，’=’）常数5（2，’5’）保留字then（3，’then’）标识符x（1，指向x的符号表入口）附值号:=（4，’:=’）标识符x（1，指向y的符号表入口）分号；（5，’;’）(1)单词种别。单词种别表示单词的种类，它是语法分析所需要的信息。一个语言的单词符号如何划分种类、分为几类、如何编码都属于技术性问题，主要取决于处理上的方便。通常让每种单词对应一个整数码，这样可最大限度地把各个单词区别开来。对于保留字，可将其全体视为一种，也可一字一种，采用一字一种的分类方法处理起来比较方便；标识符一般统归为一种；常数可统归为一种，也可按整型、实型、布尔型等分为几种；运算符和界符可采用一符一种的分法，也可统归为一种。(2)单词自身的值。单词自身的值是编译中其它阶段所需要的信息。对于单词符号来说，如果一个种别只含有一个单词符号，那么对于这个单词符号，其种别编码就完全代表了它自身的值。如果一个种别含有多个单词符号，那