编译原理课程设计-词法分析之基于Lex实现词法分析

1、课 程 设 计 说 明 书设计题目： 编译原理课程设计 专 业：计算机科学与技术 班级： 2021-2 设计人： 高世军 学 号： 202102150210 山 东 科 技 大 学2021年 7 月 12 日课 程 设 计 任 务 书学院 信息科学与工程学院 专业 计算机科学与技术 班级 2021-2 姓名 高世军 一、课程设计题目： 编译原理课程设计 二、课程设计主要参考资料1韩太鲁等，编译原理. 石油大学出版社.2007.9 2 3 三、课程设计应解决的主要问题：1词法分析之基于Lex实现词法分析 2词法分析之基于文法的实现 3语法分析之 LL1分析法实现 4 四、课程设计相关附件如：图纸

2、、软件等：1 2 Parser Generator 五、任务发出日期： 2021-7-5 课程设计完成日期： 2021-7-12 指导教师签字： 系主任签字： 指导教师对课程设计的评语成绩： 指导教师签字： 年 月 日目录 TOC o 1-3 h z u HYPERLINK l _Toc424394273 词法分析之基于Lex实现词法分析 PAGEREF _Toc424394273 h 6 HYPERLINK l _Toc424394274 一、设计目的 PAGEREF _Toc424394274 h 6 HYPERLINK l _Toc424394275 二、设计要求 PAGEREF _To

3、c424394275 h 6 HYPERLINK l _Toc424394276 三、设计说明 PAGEREF _Toc424394276 h 6 HYPERLINK l _Toc424394277 1. 需求分析 PAGEREF _Toc424394277 h 6 HYPERLINK l _Toc424394278 2. 概要设计 PAGEREF _Toc424394278 h 7 HYPERLINK l _Toc424394279 3. 详细设计 PAGEREF _Toc424394279 h 9 HYPERLINK l _Toc424394280 四、运行结果及分析 PAGEREF _T

4、oc424394280 h 11 HYPERLINK l _Toc424394281 1. 测试数据 PAGEREF _Toc424394281 h 11 HYPERLINK l _Toc424394282 2测试输出的结果 PAGEREF _Toc424394282 h 12 HYPERLINK l _Toc424394283 3. 设计与思考 PAGEREF _Toc424394283 h 12 HYPERLINK l _Toc424394284 五、总结 PAGEREF _Toc424394284 h 12 HYPERLINK l _Toc424394285 词法分析之基于文法的实现 P

5、AGEREF _Toc424394285 h 13 HYPERLINK l _Toc424394286 一、设计目的 PAGEREF _Toc424394286 h 13 HYPERLINK l _Toc424394287 二、设计要求 PAGEREF _Toc424394287 h 13 HYPERLINK l _Toc424394288 三、设计说明 PAGEREF _Toc424394288 h 13 HYPERLINK l _Toc424394289 1. 需求分析： PAGEREF _Toc424394289 h 13 HYPERLINK l _Toc424394290 2. 概要设

6、计 PAGEREF _Toc424394290 h 14 HYPERLINK l _Toc424394291 3. 详细设计 PAGEREF _Toc424394291 h 15 HYPERLINK l _Toc424394292 四、运行结果及分析 PAGEREF _Toc424394292 h 19 HYPERLINK l _Toc424394293 1.测试数据 PAGEREF _Toc424394293 h 19 HYPERLINK l _Toc424394294 2.测试输出的结果 PAGEREF _Toc424394294 h 20 HYPERLINK l _Toc42439429

7、5 3.设计和思考 PAGEREF _Toc424394295 h 20 HYPERLINK l _Toc424394296 五、总结 PAGEREF _Toc424394296 h 21 HYPERLINK l _Toc424394297 语法分析之 LL1分析法实现 PAGEREF _Toc424394297 h 22 HYPERLINK l _Toc424394298 一、设计目的 PAGEREF _Toc424394298 h 22 HYPERLINK l _Toc424394299 二、设计要求 PAGEREF _Toc424394299 h 22 HYPERLINK l _Toc4

8、24394300 三、设计说明 PAGEREF _Toc424394300 h 23 HYPERLINK l _Toc424394301 1. 需求分析： PAGEREF _Toc424394301 h 23 HYPERLINK l _Toc424394302 2. 概要设计 PAGEREF _Toc424394302 h 24 HYPERLINK l _Toc424394303 3. 详细设计 PAGEREF _Toc424394303 h 25 HYPERLINK l _Toc424394304 四、运行结果及分析 PAGEREF _Toc424394304 h 26 HYPERLINK

9、l _Toc424394305 1.测试数据 PAGEREF _Toc424394305 h 26 HYPERLINK l _Toc424394306 2.测试输出的结果 PAGEREF _Toc424394306 h 26 HYPERLINK l _Toc424394307 3.设计和思考 PAGEREF _Toc424394307 h 26 HYPERLINK l _Toc424394308 五、总结 PAGEREF _Toc424394308 h 27词法分析之基于Lex实现词法分析 一、设计目的通过编写并上机调试一个词法分析程序，掌握在对程序设计语言的源程序进行扫描的过程中，将其分解成

10、各类单词的词法分析方法。二、设计要求编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即根本保存字、标识符、常数、运算符、分隔符五大类。 并依次输出各个单词的内部编码及单词符号自身值。遇到错误时可显示“Error，然后跳过错误局部继续显示三、设计说明1. 需求分析a) 输入及其范围Lex输入文件由3个局部组成：定义集definition，规那么集rule和辅助程序集auxiliary routine或用户程序集user routine。这三个局部由位于新一行第一列的双百分号分开，因此，Lex输入文件的格式如下definitions%rules%auxiliary routin

11、es 范围：识别保存字：if、int、for、while、do、return等保存字类别码为1。其他的都识别为标识符；单词类别码为2。常数为无符号整形数；单词类别码为3。运算符包括：+、-、*、/、=、=、=、!= ；类别码为4。分隔符包括：,、;、(、)； 类别码为5。错误字符 类别码为 6。b) 输出形式数字,“单词“数字代表所识别的单词所属的类型。c 程序功能读取文件中的源程序，然后对源程序分析，输出分析结果。d 测试数据将测试数据写在文本文件中，测试为程序的输入数据。2. 概要设计数据类型的定义/定义集，包括头文件和变量定义%#include #include #include #in

12、clude int lineno=1;/定义行号%/定义正那么表达式letter A-Za-z /字母digit 0-9 /数字id (letter|_)(letter|digit|_)* /开头为字母的标识符error_id (digit)+(letter)+ /开头为数字的错误标识符num digit+ /数字集合whitespace t+ /空格enter n+ /回车/定义识别规那么% 主程序流程 模块间的调用关系3. 详细设计主体代码局部：%/识别关键字key printf(%d 行 ,linenum); /打印行号printf(%s 关键字n,yytext);/输出关键字/识别数字

13、num printf(%d 行 ,linenum); /打印行号printf(%s 数字n,yytext);/输出数字/识别关系运算符guanxi printf(%d 行 ,linenum); /打印行号printf(%s 关系运算符n,yytext);/输出关系运算符/识别关系运算符suanshu printf(%d 行 ,linenum); /打印行号printf(%s 算术运算符n,yytext);/输出算术运算符/识别分界符fenjie printf(%d 行 ,linenum); /打印行号printf(%s 关系运算符n,yytext);/输出分界符/识别注释符zhushi pri

14、ntf(%d 行 ,linenum); /打印行号printf(%s 注释符n,yytext);/输出注释符号/识别标识符id printf(%d 行 ,linenum);/打印行号 printf(%s 标志符号n,yytext);/打印标识符/识别错误的标识符error printf(%d 行 ,linenum);printf(error: %sn,yytext);/识别空格whitespace /忽略空格/识别换行enter linenum+;/遇到回车行号自动加1四、运行结果及分析1. 测试数据在test.txt文件中写入如下数据。void main() int x;int y; x =

15、 input(); y = intput(); output(gcd(x,y);2测试输出的结果3. 设计与思考基于lex的词法分析，一个模块定义好了之后，其他模块也就出来了。难点在于正那么表达式的设计，每个模块都有定义集，规那么集和辅助程序集。而且第一局部用“%和“%括起来。第一和第三个局部为C语言的代码和函数定义，第二个局部为一些规那么。五、总结通过本次实验，学会了基于Lex的词法分析器构造方法。在实验过程中，万事开头难，刚开始不知道怎么做，以及不知道如何使用老师给的软件，在仔细分析了需求之后，查找了一些关于Parser Genarator 2软件的使用方法，很快的连接好了VC6.0和Pa

16、rser Genarator2.然后输入简单的程序对其进行了测试，成功后，给自己 极大地信心继续完成接下来的实验，参考了资料的源程序之后，动手开始写自己的代码，最终一步步实现能够到达要求的程序。经过程序的书写，使我了解了Lex语言。了解了基于LEX语言的词法分析程序构造的重要性，对今后的学习和工作有很大的帮助。词法分析之基于文法的实现 一、设计目的通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。二、设计要求编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即根本保存字、标识符、常数、

17、运算符、分隔符五大类。 并依次输出各个单词的内部编码及单词符号自身值。遇到错误时可显示“Error，然后跳过错误局部继续显示三、设计说明1. 需求分析： a 输入及其范围识别保存字：if、int、for、while、do、return、break、continue等；保存字类别码为1。其他的都识别为标识符；单词类别码为2。常数为无符号整形数；单词类别码为3。运算符包括：+、-、*、/、=、=、,=,=,!=,=;string SeparSEPAR = ,;,(,);b 主程序流程3. 详细设计void main()vector input;vector:iterator iter;/*将源代码

18、中的单词从文件中读出按成分存放在input中*/ifstream myf;string str = ;myf.open(test.txt);if(myf.fail()couterror!endl;char ch;ch = myf.get();while(!myf.eof()for(int i=0;i | ch= | ch=)/判断是否为运算符if(str != )input.push_back(str);str = ;str = ch;ch=myf.get();if(ch = =)str += ch;input.push_back(str);ch=myf.get();str = ;elsein

19、put.push_back(str);else if(ch=+ | ch=- | ch=* | ch=/)if(str != )input.push_back(str);str = ;str += ch;input.push_back(str);ch=myf.get();str = ;elsestr += ch;ch=myf.get();myf.close();/*读文件结束*/*进行词法分析，并输出*/for(iter = input.begin();iter != input.end();iter+)int sign = 0;for(int i=0;iRWD;i+)/判断是否为保存字if(

20、Rwordi = *iter)cout(1,*iter)endl;sign = 1;break;if(sign = 0)/判断是否为运算符for(int i=0;iOPEAR;i+)if(Opeari = *iter)cout(4,*iter)endl;sign = 1;break;if(sign = 0)/判断是否为分隔符for(int i=0;iSEPAR;i+)if(Separi = (*iter)cout(5,*iter)0 & (*iter)0=9)cout(3,*iter)endl;elsecout(2,*iter)TG2G-+TG|TG3G-4T-FS5S-*FS|/FS6S-7F-(E)8F-i输出的格式如下：(1)输入一以#结束的符号串(包括+*/i#)：(2)输出过程如下： 步骤 分析栈 剩余输入串 所用产生式 1Ei+i*i#E-TG 3输入符号串为非法符号串(或者为合法符号串)注意：1.表达式中允许使用运算符+-*/、分割符括号、字符i，结束符#； 2.如果遇到错误的表达式，应输出错误提示信息该信息越详细越好；3.测试用的表达式可以事先放在文本文件中，一行存放一个表达式，同时以分号分割。同时将预期的输出结果