编译原理课程设计-词法分析之基于Lex实现词法分析.doc

山东科技大学学生课程设计课 程 设 计 说 明 书设计题目： 编译原理课程设计 专 业：计算机科学与技术 班级： 2012-2 设计人： 高世军 学 号： 201201050210 山 东 科 技 大 学2015年 7 月 12 日2课 程 设 计 任 务 书学院 信息科学与工程学院 专业 计算机科学与技术 班级 2012-2 姓名 高世军 一、课程设计题目： 编译原理课程设计 二、课程设计主要参考资料（1）韩太鲁等，编译原理. 石油大学出版社.2007.9 （2） （3） 三、课程设计应解决的主要问题：（1）词法分析之基于lex实现词法分析 （2）词法分析之基于文法的实现 （3）语法分析之 ll1分析法实现 （4） 四、课程设计相关附件（如：图纸、软件等）：（1） vc+6.0 （2） parser generator 五、任务发出日期： 2015-7-5 课程设计完成日期： 2015-7-12 指导教师签字： 系主任签字： 指导教师对课程设计的评语成绩： 指导教师签字： 年 月 日山东科技大学学生课程设计目录词法分析之基于lex实现词法分析6一、设计目的6二、设计要求6三、设计说明61. 需求分析62. 概要设计73. 详细设计9四、运行结果及分析111. 测试数据112测试输出的结果123. 设计与思考12五、总结12词法分析之基于文法的实现13一、设计目的13二、设计要求13三、设计说明131. 需求分析：132. 概要设计143. 详细设计15四、运行结果及分析191.测试数据192.测试输出的结果203.设计和思考20五、总结21语法分析之 ll1分析法实现22一、设计目的22二、设计要求22三、设计说明231. 需求分析：232. 概要设计243. 详细设计25四、运行结果及分析261.测试数据262.测试输出的结果263.设计和思考26五、总结27词法分析之基于lex实现词法分析 一、设计目的通过编写并上机调试一个词法分析程序，掌握在对程序设计语言的源程序进行扫描的过程中，将其分解成各类单词的词法分析方法。二、设计要求编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。 并依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示“error”，然后跳过错误部分继续显示）三、设计说明1. 需求分析a) 输入及其范围lex输入文件由3个部分组成：定义集（definition），规则集（rule）和辅助程序集（auxiliary routine）或用户程序集（user routine）。这三个部分由位于新一行第一列的双百分号分开，因此，lex输入文件的格式如下definitions%rules%auxiliary routines 范围：识别保留字：if、int、for、while、do、return等保留字类别码为1。其他的都识别为标识符；单词类别码为2。常数为无符号整形数；单词类别码为3。运算符包括：+、-、*、/、=、=、=、!= ；类别码为4。分隔符包括：,、;、(、)； 类别码为5。错误字符 类别码为 6。b) 输出形式（数字,“单词“）数字代表所识别的单词所属的类型。c） 程序功能读取文件中的源程序，然后对源程序分析，输出分析结果。d） 测试数据将测试数据写在文本文件中，测试为程序的输入数据。2. 概要设计a） 数据类型的定义/定义集，包括头文件和变量定义%#include #include #include #include int lineno=1;/定义行号%/定义正则表达式letter a-za-z /字母digit 0-9 /数字id (letter|_)(letter|digit|_)* /开头为字母的标识符error_id (digit)+(letter)+ /开头为数字的错误标识符num digit+ /数字集合whitespace t+ /空格enter n+ /回车/定义识别规则%b） 主程序流程c） 模块间的调用关系3. 详细设计主体代码部分：%/识别关键字key printf(%d 行 ,linenum); /打印行号printf(%s 关键字n,yytext);/输出关键字/识别数字num printf(%d 行 ,linenum); /打印行号printf(%s 数字n,yytext);/输出数字/识别关系运算符guanxi printf(%d 行 ,linenum); /打印行号printf(%s 关系运算符n,yytext);/输出关系运算符/识别关系运算符suanshu printf(%d 行 ,linenum); /打印行号printf(%s 算术运算符n,yytext);/输出算术运算符/识别分界符fenjie printf(%d 行 ,linenum); /打印行号printf(%s 关系运算符n,yytext);/输出分界符/识别注释符zhushi printf(%d 行 ,linenum); /打印行号printf(%s 注释符n,yytext);/输出注释符号/识别标识符id printf(%d 行 ,linenum);/打印行号 printf(%s 标志符号n,yytext);/打印标识符/识别错误的标识符error printf(%d 行 ,linenum);printf(error: %sn,yytext);/识别空格whitespace /忽略空格/识别换行enter linenum+;/遇到回车行号自动加1四、运行结果及分析1. 测试数据在test.txt文件中写入如下数据。void main() int x;int y; x = input(); y = intput(); output(gcd(x,y);2测试输出的结果3. 设计与思考基于lex的词法分析，一个模块定义好了之后，其他模块也就出来了。难点在于正则表达式的设计，每个模块都有定义集，规则集和辅助程序集。而且第一部分用“%”和“%”括起来。第一和第三个部分为c语言的代码和函数定义，第二个部分为一些规则。五、总结通过本次实验，学会了基于lex的词法分析器构造方法。在实验过程中，万事开头难，刚开始不知道怎么做，以及不知道如何使用老师给的软件，在仔细分析了需求之后，查找了一些关于parser genarator 2软件的使用方法，很快的连接好了vc6.0和parser genarator2.然后输入简单的程序对其进行了测试，成功后，给自己 极大地信心继续完成接下来的实验，参考了资料的源程序之后，动手开始写自己的代码，最终一步步实现能够达到要求的程序。经过程序的书写，使我了解了lex语言。了解了基于lex语言的词法分析程序构造的重要性，对今后的学习和工作有很大的帮助。词法分析之基于文法的实现 一、设计目的通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。二、设计要求编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。 并依次输出各个单词的内部编码及单词符号自身值。（遇到错误时可显示“error”，然后跳过错误部分继续显示）三、设计说明1. 需求分析： a） 输入及其范围识别保留字：if、int、for、while、do、return、break、continue等；保留字类别码为1。其他的都识别为标识符；单词类别码为2。常数为无符号整形数；单词类别码为3。运算符包括：+、-、*、/、=、=、,=,=,!=,=;string separsepar = ,;,(,);b） 主程序流程3. 详细设计void main()vector input;vector:iterator iter;/*将源代码中的单词从文件中读出按成分存放在input中*/ifstream myf;string str = ;myf.open(test.txt);if(myf.fail()couterror!endl;char ch;ch = myf.get();while(!myf.eof()for(int i=0;i | ch= | ch=)/判断是否为运算符if(str != )input.push_back(str);str = ;str = ch;ch=myf.get();if(ch = =)str += ch;input.push_back(str);ch=myf.get();str = ;elseinput.push_back(str);else if(ch=+ | ch=- | ch=* | ch=/)if(str != )input.push_back(str);str = ;str += ch;input.push_back(str);ch=myf.get();str = ;elsestr += ch;ch=myf.get();myf.close();/*读文件结束*/*进行词法分析，并输出*/for(iter = input.begin();iter != input.end();iter+)int sign = 0;for(int i=0;irwd;i+)/判断是否为保留字if(rwordi = *iter)cout(1,*iter)endl;sign = 1;break;if(sign = 0)/判断是否为运算符for(int i=0;iopear;i+)if(opeari = *iter)cout(4,*iter)endl;sign = 1;break;if(sign = 0)/判断是否为分隔符for(int i=0;isepar;i+)if(separi = (*iter)cout(5,*iter)0 & (*iter)0=9)cout(3,*iter)endl;elsecout(2,*iter)tg（2）g-+tg|tg（3）g-（4）t-fs（5）s-*fs|/fs（6）s-（7）f-(e)（8）f-i输出的格式如下：(1)输入一以#结束的符号串(包括+*/（）i#)：(2)输出过程如下： 步骤 分析栈 剩余输入串 所用产生式 1ei+i*i#e-tg （3）输入符号串为非法符号串(或者为合法符号串)注意：1.表达式中允许使用运算符（+-*/）、分割符（括号）、字符i，结束符#； 2.如果遇到错误的表达式，应输出错误提示信息（该信息越详细越好）；3.测试用的表达式可以事先放在文本文件中，一行存放一个表达式，同时以分号分割。同时将预期的输出结果写在另一个文本文件中，以便和输出进行对照；三、设计说明1. 需求分析： a） 输入及其范围 输入为文法，表达式中允许使用运算符（+-*/）、分割符（括号）、字符i，结束符#。b） 输出形式步骤 分析栈 剩余输入串 所用产生式 1ei+i*i#e-tgc） 程序功能根据输入的文法进行分析，利用ll（1）控制程序根据显示栈栈顶内容、向前看符号以及ll（1）分析表，对输入符号串自上而下的分析过程d） 测试数据 输入字符串i+i*i#作为测试。2. 概要设计a）数据类型的定义char stack50;/*分析栈*/char left20;/*剩余输入串*/char arrzhongjie20=i,+,-,*,/,(,),#;char arrnozhongjie20=e,g,t,s,f;b） 主程序流程3. 详细设计 四、运行结果及分析1.测试数据输入字符串：i+i*i#2.测试输出的结果3.设计和思考主要的难点在于对ll（1）的理解部分，消除二义性、消除左递归、提取左因子，判断是否为ll（1）文法，然后开始整理思路进行编码阶段。开始要对错误的文法进行分析，并提示详细的