词法分析设计实验报告(附代码)

实验一 词法分析设计 实验学时 4 实验类型 综合 实验要求 必修 一 实验目的 通过本实验的编程实践 使学生了解词法分析的任务 掌握词法分析程序 设计的原理和构造方法 使学生对编译的基本概念 原理和方法有完整的和清 楚的理解 并能正确地 熟练地运用 二 实验内容 用VC VB JAVA语言实现对C语言子集的源程序进行词法分析 通过输 入源程序从左到右对字符串进行扫描和分解 依次输出各个单词的内部编码及 单词符号自身值 若遇到错误则显示 Error 然后跳过错误部分继续显示 同时进行标识符登记符号表的管理 以下是实现词法分析设计的主要工作 1 从源程序文件中读入字符 2 统计行数和列数用于错误单词的定位 3 删除空格类字符 包括回车 制表符空格 4 按拼写单词 并用 内码 属性 二元式表示 属性值 token的机内表示 5 如果发现错误则报告出错 6 根据需要是否填写标识符表供以后各阶段使用 单词的基本分类 关键字 由程序语言定义的具有固定意义的标识符 也称为保留字例如 if for while printf 单词种别码为1 标识符 用以表示各种名字 如变量名 数组名 函数名 常数 任何数值常数 如 125 1 0 5 3 1416 运算符 关系运算符 分界符 三 实验要求 1 编程时注意编程风格 空行的使用 注释的使用 缩进的使用等 2 将标识符填写的相应符号表须提供给编译程序的以后各阶段使用 3 根据测试数据进行测试 测试实例应包括以下三个部分 全部合法的输入 各种组合的非法输入 由记号组成的句子 4 词法分析程序设计要求输出形式 例 输入VC 语言的实例程序 If i 0 then n a 3b 输出形式为 单词 二元序列 类 型 位置 行 列 单词种别 单词属性 for 1 for 关键字 1 1 i 6 i 标识符 1 2 4 关系运算符 1 3 0 5 0 常数 1 4 then 1 then 关键字 1 5 n 6 n 标识符 1 6 Error Error 1 7 2 分界符 1 8 a 6 a 标识符 2 1 4 关系运算符 2 2 3b Error Error 2 4 Error Error 2 4 2 分界符 2 5 2 分界符 2 6 实验报告正文 功能描述 该程序具有词法分析功能 即面对一段程序源代码 通过该程序 能检查出源代码是否由词法错误 三 词法分析实验设计思想及算法 首先构造六个表 key auto break case catch char class c onst continue default delete do double else enum float for if int long new private protected public register return short static struct switch this void while then 关 键字表 单词种别码1 Delimiter 分界符表 单词种别码2 Operator 算术运算符表 单词种别码3 R operators 关键字表 单词种别码1 string Number 100 常数表 单词种别码5 string Identifier 100 标示符表 单词种别码6 构造关键字判断函数Iskey 字母判断函数Isletter 数字判断函数Isnumber 构造标示符判别函数InsertId 若输入的标示符在标示符数组Identifier 中 返回其下标 若不在 将该标示符插到数组末尾 构造标示符判别函数InsertNumber 若输入的数字在数字数组Number 中 返回其下标 若不在 将该数字插到数组末尾 具体分析函数analyse 具体实现输入源代码的识别 anaiyse 构造思路 程序设计图 综合以上分析 画出整个程序的运行分析程序图 如下 开始 输入源文 件路径 路径是否有 效 是 初始化文件指针 否 将字符加入字符数 组Word 是空格 空白或换 行吗 是字母吗是数字吗否否是界符吗否 打开源文件 跳过该字符 是 是 文件结束 否 将字符加入字符数 组Word 否 将字符 加入字 符数组 Word 是 指向下一字符 识别指针内容 指向下一字符 是字母惑数字 吗 是 将word与关键 字表key进行匹 配 否 匹配 是 输出word 为关键字 输出word为 普通标示符 否 将字符加 入字符数 组Word 指向下一字符 输出word 为常数 识别指针内容 回退 是数字吗 是 否 输出word 为界符 指向下一字符 结束是 输出Word 内容为不 可识别 将字符 加入字 符数组 Word 整个程序的运行分析程序图 软件的测试方法和测试结果 首先 将要分析的源代码写入一个文本 存于磁盘中 然后运行程序 输入源 代码文件存放的路径 若输入路径正确 程序将自动分析源代码 若输入路径 不正确 程序将显示 路径错误 请重新输入的提示 下面为具体的运行实例 源代码为 If i 0 then n a 3b 输出满足要求 实验总结 设计的特点 不足 收获与体会 通过此次实验 让我了解到如何设计 编制并调试词法分析程序 熟悉了构造 词法分析程序的手工方式的相关原理 加深了对编译原理词法分析的理解 本 次使用C 语言直接编写此法分析程序 也让我重新熟悉了C 语言的相关内 容 加深了对C 语言的用途的理解 本程序的数据输入采取直接从文件中读 取 而不是由键盘输入 因此在测试过程中 输入得到大大简化 但是本程序 的关键字表只初始化了一部分关键字 还可继续扩充 只需扩大数组 向其中 补充要添加的关键字 而且程序的测试数据存在不足 程序可能存在未发现 的漏洞 以上两点有待改善 附录该程序的源代码 include include using namespace std 数据定义 define MAX 33 char ch static int line 1 row 0 int NumberCount 0 IdCount 0 string key auto break case catch cha r class const continue default de lete do double else enum float for if int long new private protected public reg ister return short static struct switch this void while the n 关键字表 单词种别码1 string Delimiter 分界符表 单词种别码2 string Operator 算术运算符表 单词种别码3 string R operators 关系运算符表 单词种别码4 string Number 100 常数表 单词种别码5 string Identifier 100 标示符表 单词种 别码6 数据分析 int Iskey string c 关键字判断 int i for i 0 i MAX i if key i compare c 0 return 1 return 0 判断是否为字母 int IsLetter char c if c a c A if ch A ch ch 32 转换成小写 return 1 else return 0 int IsNumber char c 判断是否为数字 if c 0 else return 0 将arr中的标示符插入符号表 并且返回符号表的指针 int InsertId string s for int i 0 i IdCount i if Identifier i s return i break else if IdCount i 1 Identifier IdCount s return IdCount IdCount 将arr中的常实数插入常数表 并且返回常数表的指针 int InsertNumber string s for int i 0 i NumberCount i if Number i s return i break else if NumberCount i 1 Number NumberCount s return NumberCount NumberCount void analyse FILE fpin arr相当于课本中的strToken string arr while ch fgetc fpin EOF 判断是否读取到文件末尾或者读取出错 arr if ch ch t ch n 删除空格类字符 包 括回车 制表符空格 if ch n line row 0 else if IsLetter ch while IsLetter ch IsNumber ch arr arr ch ch fgetc fpin fseek fpin 1L SEEK CUR 文件指针回移一个位置 if Iskey arr row 识别出一个字符 列增加一 cout arr t t 1 arr t t关键字 t t line ro w endl else row 识别出一个字符 列增加一 InsertId arr cout arr t t 6 arr t t标识符 t t l ine row endl 处理常数 else if IsNumber ch while IsNumber ch ch ch fgetc fpin if IsLetter ch while IsLetter ch IsNumber ch arr arr ch ch fgetc fpin fseek fpin 1L SEEK CUR row cout arr t tError t tError t t line row endl else InsertNumber arr row 识别出一个字符 列增加一 cout arr t t 5 arr t t常数 t t lin e row endl 处理算符 else row arr ch switch ch case ch fgetc fpin if ch IsNumber ch IsLetter ch fseek fpin 1L SEEK CUR cout t t 3 t t算术运算符 t t line row endl else cout arr ch t tError t tError t t line row endl break case ch fgetc fpin if ch IsNumber ch IsLetter ch fseek fpin 1L SEEK CUR cout t t 3 t t算术运算符 t t line row endl else cout arr ch t tError t tEr ror t t line row endl break case cout t t 3 t t算术运算符 t t line row endl case ch fgetc fpin if ch cout t t 4 t t关系运算符 t t line row endl else fseek fpin 1L SEEK CUR cout t t 4 t t关系运算符 t line row endl break case cout ch t t 3 ch t t算术运算符 t t line row endl break case case case case case case case case case cout ch t t 2 ch t t分界符 t t l ine row ch fgetc fpin if ch cout t t关系运算符 t t line row endl else cout t t关系运算符 t t line row endl fseek fpin 1L SEEK CUR break case ch fgetc fpin if ch cout t t 4 t t关系运算符 t line row cout t t 4 t t关系运算符 t line row endl else cout t t 4 t t关系运算符 t line row endl fseek f