04-第二章 一个微小编译器.ppt

1、第二章一个微小编译器,任课教师 王养廷,主要内容,基础知识 ToyL语言 ToyL词法分析程序,1 基础知识,词法分析的基础知识 基本符号 程序设计语言中使用的符号。 程序文本 源程序 程序文件 ASCII序列的源文件 语义单位 单词：源程序中独立的语义单位,1 基础知识（续）,词法分析的基础知识 单词的分类 标识符，如：x, y1, length 保留字，begin, end, case, if 常数，2，30 运算符，+,-，等 界限符，（，），； 编辑符，空格、回车、换行，制表符,1 基础知识（续）,程序片断示例 if score60 then writeln(fialed!); 该片断

2、中的单词,1 基础知识（续）,词法分析的基础知识 Token 为了处理方便，对单词进行的编码，P10图 语义信息 Token中保留两类信息 类别信息：Token.class 语义信息：Token.seman,1 基础知识（续）,词法分析的基础知识 Token程序实现 P10 typedef struct int class; char seman; position_in_File pos; Token_type,1 基础知识（续）,词法分析的基础知识 读进字符 从源程序中读入的字符 用于得到单词 识别字符 判断字符是哪一类 使用函数 过滤格式 滤掉空格类字符,1 基础知识（续）,词法分析的基

3、础知识 常数翻译 读入字符串 语义表示 字符串 数值 实际语言中可能还有类型 程序分析,1 基础知识（续）,词法分析的基础知识 程序 void recognize_number(void) char digits10; dsp = 0; next_char(); while(is_digit(ch) digitsdsp+ =ch; next_ch(); digitsdsp = 0 Token.class = NUMBER; Token.seman = digits; ,1 基础知识（续）,词法分析的基础知识 程序 void recognize_number(void) int n = 0; n

4、ext_char(); while(is_digit(ch) n = n * 10 + ch = 0; next_ch(); Token.class = NUMBER; Token.seman = n; ,1 基础知识（续）,词法分析的基础知识 标识符 读入标识符 程序分析 保留字,1 基础知识（续）,词法分析的基础知识 程序 void recognize_identifier(void) char name10; np = 0; next_char(); if (is_letter(ch) namenp+ =ch; next_ch(); while(is_digit(ch) |(is_let

5、ter(ch) namenp+ =ch; next_ch(); namenp = 0 Token.class = IDENTIFIER; Token.seman = name; ,2 ToyL语言,语言定义 简化的Pascal语言 程序用begin和end扩起来 类型有： integer 语句 赋值语句 输入语句 输出语句 语法图 P13,3 ToyL语言词法分析,词法分析 从源程序到Token序列的转换 Token设计 设计单词类别 ToyL语言共计13类，P13 C语言的定义，P14 对应的Token,P14,3 ToyL语言词法分析,Token例子 源程序 begin x:=10; re

6、ad(y); x:=x+y end Token序列设计 找出单词 列出Token,3 ToyL语言词法分析,Token例子 Token序列 1 (BEGIN, “begin”) 2 (IDEN, “x”) 3 (ASS, “:=”) 4 (NUMB,”10”) 5 (SEMI, “;”) 6 (READ, “read”) 7 (OPEN, “(“) 8 (IDEN, “y”),9 (CLOSE, “)”) 10 (SEMI, “;”) 11 (IDEN, “x”) 12 (ASS,”:=”) 13 (IDEN, “x”) 14 (PLUS, “+”) 15 (IDEN, “y“) 16 (END, “end”),3 ToyL语言词法分析（续）,Token类型设计 保留字处理 词法分析器的设计 作用：分析源程序，列出Token 主要子程序 next_char() recongnize_number() recongnize_name(),3 ToyL语言词法分析（续）,思考：词法分析程序的总体结构 以上面程序为例 分析词法分析程序的功能 分析程序执行过程,3 词法分析程序（续）,思考 参考书中的算法自己设计一个词法分析程