编译原理-20081101316-李恩光.doc

课程设计（大作业）报告课程名称：编译原理课程设计 设计题目：利用VC+编写C语言的词法分析院 系：信息技术学院 班 级：08级3班 设 计 者：李 恩 光 学 号：20081101316 指导教师：朱 军 设计时间：2011年5月 昆明学院昆明学院课程设计（大作业）任务书姓 名：李恩光院（系）：信息技术学院专 业：计算机科学与技术学 号：20081101316任务起止日期：2011年5月课程设计题目：利用 VC+6.0 编写 C 语言的词法分析课程设计要求：1、设计内容对C语言的一个子集设计并实现一个简单的词法分析器，掌握利用状态转换图设计词法分析器的基本方法。2、设计要求利用该词法分析器完成对源程序字符串的词法分析。输出形式是源程序的单词符号二元式的代码，并保存到文件中。(1) 假设该语言中的单词符号及种别编码如下表所示。单词符号及种别编码单词符号种别编码单词符号种别编码main128int229char330If431else5,32for6:33while7；34标识符ID1035整型常数NUM2036=2137+2238-2339*24！40/25&41(26&42)27|43(2) 关键字main int char if else for while都是小写并都是保留字。算符和界符 = + * / & ! & | , : ; ( )ID和NUM的正规定义式为：IDletter(letter | didit)*NUMdigit digit*lettera | | z | A | | Zdigit 0 | | 9如果关键字、标识符和常数之间没有确定的算符或界符作间隔，则至少用一个空格作间隔。空格由空白、制表符和换行符组成。工作计划及安排：1布置任务、讲授设计0.5天2总体设计1天3详细设计2天4测试0.5天5书写提交设计报告0.5天6验收、考核0.5天指导教师签字 2011年 5月 19日 课程设计（大作业）成绩学号：20081101316 姓名：李恩光 指导教师：朱军课程设计题目：利用 VC+6.0 编写 C 语言的词法分析总结：本次编译原理的实验做的是词法分析程序的编写。词法分析算法的基本任务是从字符串标识的源程序中识别出具有独立意义的单词符号。 词法分析程序是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。这个程序在书上有了C语言程序框架，但是其中细节部分没有具体描述，需要我们添加进去。程序框架由c语言描写，还是比较好理解的。但是其中也有一些问题出现，没有做到十分的完善。 本次编译原理程序是一个基础，后续还有语法分析，语义分析等。这次的实验课让我们更加的了解了编译原理，将课本上的理论知识在实践中充分发挥，让我们在实践中得到了许多的乐趣和认识，让我们继续努力好好学习这门课程，为自己将来就业加分！成绩： 填表时间：指导教师签名：课程设计（大作业）报告一、题目分析编译原理涉及词法分析，语法分析，语义分析及优化设计等各方面。词法分析阶段是编译过程的第一个阶段，是编译的基础。这个阶段的任务是从左到右一个字符一个字符地读入源程序，即对构成源程序的字符流进行扫描然后根据构词规则识别单词(也称单词符号或符号)。词法分析程序实现这个任务。词法分析程序可以使用Lex等工具自动生成。从左到右逐个字符对构成源程序的字符串进行扫描，依据词法规则，识别出一个一个的标记（token），把源程序变为等价的标记串序列。执行词法分析的程序称为词法分析器，也称为扫描器。词法分析是所有分析优化的基础，涉及的知识较少，如状态转换图等，易于实现。本次课程设计，我的选题是词法分析，C+代码实现。二、总体设计1. 设计原理词法分析的任务：从左至右逐个字符地对源程序进行扫描，产生一个个单词符号。理论基础：有限自动机、正规文法、正规式词法分析器(Lexical Analyzer) 又称扫描器(Scanner)：执行词法分析的程序2. 词法分析器的功能和输出形式功能:输入源程序、输出单词符号程序语言的单词符号一般分为以下五种：关键字、标识符、常数、运算符、界符。3. 输出的单词符号的表示形式:(单词种别，单词符号的属性值) 单词种别用整数编码，关键字一字一种，标识符统归为一种，常数一种，各种符号各一种。4. 词法分析器的结构预处理子程序扫描器输入缓冲区扫描缓冲区单词符号输入列表5. 状态转换图实现三、程序设计1总体模块设计/*用来存储目标文件名*/string file_name;/*提取文本文件中的信息。*/string GetText();/*获得一个单词符号,从位置i开始查找。并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。*/string GetWord(string str,int i,int& j);/*这个函数用来除去字符串中连续的空格和换行int DeleteNull(string str,int i);/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/bool IsBoundary(string str,int i);/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/bool IsOperation(string str,int i);/*此函数将一个pair数组输出到一个文件中*/void OutFile(vectorpair v);/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/vectorpair analyst(vector vec);/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/bool IsKey(string str);2各模块设计（1）.首先根据上面单词符号表及ID和NUM的正规定义式，构造出状态转换图；（2）.定义相关的变量和数据结构。关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表为一个字符串数组，其描述如下：char KEY_WORDS7=main,int,char,if,else,for,while；用以存放单词符号二元式的数据结构可如下定义：class Word_Analyzerpublic:char ContentMAXLENGTH ;int val ; void print(); ;（3）.按照编译程序一遍扫描的要求，把词法分析器Scaner作为一个独立的子程序来设计，通过对Scaner的反复调用识别出所有的单词符号；（4）.当Scaner识别出一个单词符号时，则将该单词符号的二元式写入到输出文件中。若Scaner无法识别出一个单词符号时，则调用错误处理程序PrintError，显示当前扫描到的字符及其所在行、列位置，并跳过该字符重新开始识别单词符号。四、程序测试测试该设计词法分析器，可对下面的源程序进行词法分析：main()int i = 10;while(i) i = i - 1;输出如下二元式代码序列：(1,main) (26,() (27,) (30,) (2,int) (10,i) (21,=) (20,10) (34,;) (7,while) (26,() (10,i) (27,) (10,i) (21, =) (10,i) (23,-) (20,1) (34,;) (31,)五、结论该词法分析器功能良好，可以完成预定的要求。六、程序代码#include #include #include #include using namespace std;/*用来存储目标文件名*/string file_name;/*提取文本文件中的信息。*/string GetText();/*获得一个单词符号,从位置i开始查找。/并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。*/string GetWord(string str,int i,int& j);/*这个函数用来除去字符串中连续的空格和换行/第一个参数为目标字符串，第二个参数为开始位置/返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/int DeleteNull(string str,int i);/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/bool IsBoundary(string str,int i);/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/bool IsOperation(string str,int i);/*此函数将一个pair数组输出到一个文件中*/void OutFile(vectorpair v);/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/vectorpair analyst(vector vec);/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/bool IsKey(string str);int main() string com1= ; string com2=n; string fileline=GetText(); int begin=0,end=0; vector array; do begin=DeleteNull(fileline,begin); string nowString; nowString=GetWord(fileline,begin,end); if(end=-1) break; if(nowSpare(com1)&nowSpare(com2) array.push_back(nowString); begin=end+1; while(true); vectorpair mid_result; mid_result=analyst(array); OutFile(mid_result); cout*n; cout*程序已完成词法分析，分析结果已经存储在文件file_name中！*n; cout*n; system(pause); return 0;/*提取文本文件中的信息*/string GetText() string file_name1; coutfile_name1; ifstream infile(file_name1.c_str(),ios:in); if (!infile) cerr无法打开文件! file_name1.c_str() !endl; exit(-1); coutendl; char f1000; infile.getline(f,1000,EOF); infile.close(); return f;/*获得一个单词符号,从位置i开始查找。/并且有一个引用参数j，用来返回这个单词最后一个字符在原字符串的位置。*/string GetWord(string str,int i,int& j) string no_use() , ;n+=*/-); j=str.find_first_of(no_use,i); if(j=-1) return ; if(i!=j) j-; return str.substr(i,j-i+1);/*这个函数用来除去字符串中连续的空格和换行/第一个参数为目标字符串，第二个参数为开始位置/返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/int DeleteNull(string str,int i) for(;i+) if(stri!= &stri!=n) return i;/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/bool IsBoundary(string str,int i) int t; char arr7=,;,(,),; for (t=0;t7;t+) if(stri=arrt) return true; return false;/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/bool IsOperation(string str,int i) int t; char arr7=+,-,*,/,=,; for (t=0;t7;t+) if(stri=arrt) return true; return false;/*此函数将一个个字符串数组输出到一个文件中*/void OutFile(vectorpair v) coutfile_name; ofstream outfile(file_name.c_str(),ios:out); if (!outfile) cerr无法打开文件! file_name.c_str() !endl; exit(-1); coutendl; int i; for(i=0;iv.size();i+) outfilevi.first , vi.secondendl; outfilenn*n; outfile.close(); return;/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/vectorpair analyst(vector vec) vectorpair temp; int i; for(i=0;i|veci=|veci=!)&veci+1=) string jk=veci; jk.append(vec+i,0,1); pair pp(4,jk); temp.push_back(pp); continue; if(veci=+&veci+1=+)|(veci=-&veci+1=-) string jk=veci; jk.append(vec+i,0,1); pair pp(4,jk); temp.push_back(pp); continue; if(IsBoundary(veci,0) pair pp(5,veci); temp.push_back(pp); else if(IsOperation(veci,0) pair pp(4,veci); temp.push_back(pp); else if(veci0=