cha4 词法分析.

1、21.7.111 第第4 4章章 词法分析词法分析 21.7.112 词法分析词法分析（Lexical AnalysisLexical Analysis）p50p50 21.7.113 词法分析词法分析（Lexical AnalysisLexical Analysis）p50p50 21.7.114 词法分析技术应用词法分析技术应用 21.7.115 4.1 4.1 词法分析器程序的设计词法分析器程序的设计 p50p50 21.7.116 单词符号的输出形式单词符号的输出形式 p50-51p50-51 21.7.117 单词符号的输出形式单词符号的输出形式 p51p51 21.7.118 例例

2、 C+C+代码段及对应的单词符号序列代码段及对应的单词符号序列 21.7.119 词法分析器的组织方法词法分析器的组织方法 p50-51p50-51 词法分析词法分析 表格管理表格管理 语法分析语法分析 源程序源程序 送单词送单词 符号表符号表 常数表常数表 取单词取单词 21.7.1110 2.3 PL/02.3 PL/0词法分析词法分析 p18p18 varx,y; 21.7.1111 单词符号的识别单词符号的识别: :超前搜索超前搜索 起点指示器起点指示器 搜索指示器搜索指示器 超前搜索：标识符、常数和一些特殊算符、界符的超前搜索：标识符、常数和一些特殊算符、界符的 识别需要向前扫描一个

3、字符才能被识别出来。识别需要向前扫描一个字符才能被识别出来。 例例 x=30 x=30* *y y中常数中常数3030的识别。的识别。 varx,y; 21.7.1112 单词的识别单词的识别状态转换图状态转换图 字母字母 字母或数字字母或数字 其它其它 初态初态 * 终态终态 多读进了一个多读进了一个 不属于标识符不属于标识符 部分的字符部分的字符 已识别出已识别出 一个标识符一个标识符 01 2 21.7.1113 例例语言无符号整数的描述语言无符号整数的描述 0 1-9 1 0-9 其它其它 2 *十进制整数十进制整数 0 21.7.1114 对简对简 单语单语 言进言进 行词行词 法分

4、法分 析的析的 状态状态 转换转换 图图 0 空白空白 字母字母 1 字母或数字字母或数字 其它其它 2 * * 标识符标识符 数字数字 3 数字数字 其它其它 4 * * 十进制整数十进制整数 . . 5 . . + + 6 + + : :非非 = = 8 * * 出错出错 = = 9 赋值号赋值号 ) ) 12 ) ) 其它其它 13 出错出错 用来用来 识别识别 PL/0PL/0 语言语言 中的中的 单词单词 符号符号 7 21.7.1115 利用状态转换图识别单词利用状态转换图识别单词 21.7.1116 词法分析器的设计词法分析器的设计 p18p18 21.7.1117 单词单词类别

5、码类别码 数数 值值 单词单词类别码类别码 数数 值值 单词单词类别码类别码 数数 值值 标识符标识符ident1gtr12thenthensym23 数字数字number2=geq13whilewhilesym24 +plus3(lparen14writewritesym25 -minus4)rparen15readreadsym26 *times5,comma16dodosym27 /slash6:semicolon17callcallsym28 oddoddsym7,period18constconstsym29 =eql8:=becomes19varvarsym30 #neq9begi

6、nbeginsym20procedureprocsym31 lss10endendsym21nul0 q0 = q0qf = q0qf a a 21.7.1192 21.7.1193 21.7.1194 21.7.1195 从正规式构造从正规式构造NFA MNFA M的例子的例子 q q5 5q q6 6 = q q7 7q q8 8 1 1 q q5 5 q q6 6 = q q3 3 q q8 8 1 1 q q7 7q q4 4 0 0 21.7.1196 21.7.1197 21.7.1198 21.7.1199 21.7.11100 4.5 4.5 正规文法与有限自动机的正规文法与有限自动机的 等价性等价性 p65p65 21.7.11101 21.7.11102 21.7.11103 21.7.11104 21.7.11105 21.7.11106 21.7.11107 21.7.11108 21.7.11109 正规文法与正规式正规文法与正规式 21.7.11110 正规文法、正规式和自