(完整版)词法分析器实验报告

1、词法分析器实验报告词法分析器设计一、实验目的：对C语言的一个子集设计并实现一个简单的词法分析器，掌握利用状态转换图设计词法分析器的基本方法。利用该词法分析器完成对源程序字符串的词法分析。输出形式是源程序的单词符号二元式的代码，并保存到文件中。二、实验内容：1. 设计原理词法分析的任务：从左至右逐个字符地对源程序进行扫描，产生一个个单词符号。理论基础：有限自动机、正规文法、正规式词法分析器(LexicalAnalyzer)又称扫描器(Scanner)：执行词法分析的程序2. 词法分析器的功能和输出形式功能:输入源程序、输出单词符号程序语言的单词符号一般分为以下五种：关键字、标识符、常数、运算符,

2、界符3. 输出的单词符号的表示形式:单词种别用整数编码，关键字一字一种，标识符统归为一种，常数一种，各种符号各一种。4. 词法分析器的结构单词符号5.状态转换图实现三、程序设计1总体模块设计/*用来存储目标文件名*/stringfile_name;/*提取文本文件中的信息。*/stringGetText();/*获得一个单词符号,从位置i开始查找。并且有一个引用参数j,用来返回这个单词最后一个字符在str的位置。*/stringGetWord(stringstr,inti,int&j);/*这个函数用来除去字符串中连续的空格和换行intDeleteNull(stringstr,inti

3、);/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/boolIsBoundary(stringstr,inti);/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/boolIsOperation(stringstr,inti);/*此函数将一个pair数组输出到一个文件中*/voidOutFile(vector<pair<int,string>>v);/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/vector<pair<int,string>>analyst(vector<str

4、ing>vec);/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/boolIsKey(stringstr);2各模块设计(1) .首先根据上面单词符号表及ID和NUM的正规定义式，构造出状态转换图；(2) .定义相关的变量和数据结构。关键字作为特殊标识符处理，把它们预先安排在一张表格中(称为关键字表)，当扫描程序识别出标识符时，查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表为一个字符串数组，其描述如下：charKEY_W0RDS7=main7,int，char7,if,else7,for,while"；用以存放单词符号二元式的数

5、据结构可如下定义：classWord_Analyzerpublic:charContentMAXLENGTH;intval;voidprint();(3) .按照编译程序一遍扫描的要求，把词法分析器Scaner作为一个独立的子程序来设计，通过对Scaner的反复调用识别出所有的单词符号；(4) .当Scaner识别出一个单词符号时，则将该单词符号的二元式写入到输出文件中。若Scaner无法识别出一个单词符号时，则调用错误处理程序PrintError,显示当前扫描到的字符及其所在行、列位置，并跳过该字符重新开始识别单词符号。四、程序代码#include<iostream>#inclu

6、de<vector>#include<string>#include<fstream>usingnamespacestd;/*用来存储目标文件名*/stringfile_name;/*提取文本文件中的信息。*/stringGetText();/*获得一个单词符号,从位置i开始查找。/并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。*/stringGetWord(stringstr,inti,int&j);/*这个函数用来除去字符串中连续的空格和换行/第一个参数为目标字符串，第二个参数为开始位置/返回值为连续的空格和换行后的第一个有效

7、字符在字符串的位置*/intDeleteNull(stringstr,inti);/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/boolIsBoundary(stringstr,inti);/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/boolIsOperation(stringstr,inti);/*此函数将一个pair数组输出到一个文件中*/voidOutFile(vector<pair<int,string>>v);/*次函数将参数str,digit添加到temp中*/voidadd(stringstr,intdigit,v

8、ector<pair<int,string>>temp);/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/vector<pair<int,string>>analyst(vector<string>vec);/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/boolIsKey(stringstr);intmain()cout<<'k'k'k'k'k'k'k'k'k'kn"“*cout<

9、<"*编译原理课程设计-词法编译器ver1.0*n"cout<<"*n"cout<<endl;stringcom1=""stringcom2="n"stringfileline=GetText();intbegin=0,end=0;vector<string>array;dobegin=DeleteNull(fileline,begin);stringnowString;nowString=GetWord(fileline,begin,end);if(end=-1)brea

10、k;if(nowSpare(com1)&&nowSpare(com2)array.push_back(nowString);begin=end+1;while(true);vector<pair<int,string>>mid_result;mid_result=analyst(array);OutFile(mid_result);cout<<"*n"cout<<"程序已完成词法分析，分析结果已经存储在文件"<<file_name<<"中！*n"“

11、*n"cout<<"感谢使用，谢谢再见！"<<endl;system("pause");return0;/*提取文本文件中的信息*/stringGetText()stringfile_name1;cout<<"青输入源文件名(包括路径和后缀名)："；cin>>file_name1;ifstreaminfile(file_name1.c_str(),ios:in);if(!infile)cerr<<无法打开文件！"<<file_name1.c_s

12、tr()<<"!"<<endl;exit(-1);cout<<endl;charf1000;infile.getline(f,1000,EOF);infile.close();printf(f);cout<<endl;returnf;/*获得一个单词符号,从位置i开始查找。/并且有一个引用参数j,用来返回这个单词最后一个字符在原字符串的位置。*/stringGetWord(stringstr,inti,int&j)stringno_use("(),;n+=*/-<>"");j=

13、str.find_first_of(no_use,i);if(j=-1)return""if(i!=j)j-;returnstr.substr(i,j-i+1);/*这个函数用来除去字符串中连续的空格和换行/第一个参数为目标字符串，第二个参数为开始位置/返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/intDeleteNull(stringstr,inti)for(;i+)if(stri!=''&&stri!='n')returni;/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/boolIsBo

14、undary(stringstr,inti)intt;chararr7=',','','','','(',')',':'for(t=0;t<7;t+)if(stri=arrt)returntrue;returnfalse;/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/boolIsOperation(stringstr,inti)intt;chararr8='+','-','*','/','

15、;=','<','>','&'for(t=0;t<8;t+)if(stri=arrt)returntrue;returnfalse;/*此函数将一个个字符串数组输出到一个文件中*/voidOutFile(vector<pair<int,string>>v)cout<<"青输入目标文件名(包括路径和后缀名)："；cin>>file_name;ofstreamoutfile(file_name.c_str(),ios:out);if(!outfile

16、)cerr<<无法打开文件！"<<file_name.c_str()<<"!"<<endl;exit(-1);cout<<endl;inti;for(i=0;i<v.size();i+)outfile<<"<"<<vi.first<<",""<<vi.second<<"">"<<endl;cout<<"<&qu

17、ot;<<vi.first<<",""<<vi.second<<"">"<<endl;outfile<<"nn'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k'k

18、9;k'k'k'k'koutfile.close();return;/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/boolIsKey(stringstr)stringp7="main","int","char","if","else","for","while"vector<string>ppp(p,p+7);intu;for(u=0;u<ppp.size();u+)if(！pare(

19、pppu)returntrue;returnfalse;/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/vector<pair<int,string>>analyst(vector<string>vec)vector<pair<int,string>>temp;inti;for(i=0;i<vec.size();i+)if(veci.size()=1)if(veci=">"&&veci+1="=")stringjk=veci;jk.appen

20、d(vec+i,0,1);pair<int,string>pp(37,jk);temp.push_back(pp);continue;if(veci="<"&&veci+1="=")stringjk=veci;jk.append(vec+i,0,1);pair<int,string>pp(38,jk);temp.push_back(pp);continue;if(veci="="&&veci+1="=")stringjk=veci;jk.append(v

21、ec+i,0,1);pair<int,string>pp(39,jk);temp.push_back(pp);continue;if(veci="!"&&veci+1="=")stringjk=veci;jk.append(vec+i,0,1);pair<int,string>pp(40,jk);temp.push_back(pp);continue;if(veci="&"&&veci+1="&")stringjk=veci;jk.append

22、(vec+i,0,1);pair<int,string>pp(42,jk);temp.push_back(pp);continue;if(veci="|"&&veci+1="|")stringjk=veci;jk.append(vec+i,0,1);pair<int,string>pp(43,jk);temp.push_back(pp);continue;if(IsBoundary(veci,0)if(veci=",")pair<int,string>pp1(32,veci);tem

23、p.push_back(pp1);if(veci="")pair<int,string>pp2(34,veci);temp.push_back(pp2);if(veci="")pair<int,string>pp3(30,veci);temp.push_back(pp3);if(veci="")pair<int,string>pp4(31,veci);temp.push_back(pp4);if(veci="(")pair<int,string>pp5(26,veci

24、);temp.push_back(pp5);if(veci=")")pair<int,string>pp6(27,veci);temp.push_back(pp6);if(veci=":")pair<int,string>pp7(33,veci);temp.push_back(pp7);elseif(IsOperation(veci,0)if(veci="+")pair<int,string>pp8(22,veci);temp.push_back(pp8);if(veci="-"

25、)pair<int,string>pp9(23,veci);temp.push_back(pp9);if(veci="*")pair<int,string>pp10(24,veci);temp.push_back(pp10);if(veci="/")pair<int,string>pp11(25,veci);temp.push_back(pp11);if(veci="=")pair<int,string>pp12(21,veci);temp.push_back(pp12);if(veci

26、=">")pair<int,string>pp13(35,veci);temp.push_back(pp13);if(veci="<")pair<int,string>pp14(36,veci);temp.push_back(pp14);if(veci="&")pair<int,string>pp26(41,veci);temp.push_back(pp26);elseif(veci0<='9'&&veci0>='0')

27、pair<int,string>pp24(10,veci);temp.push_back(pp24);elsepair<int,string>pp25(10,veci);temp.push_back(pp25);elseif(veci0<='9'&&veci0>='0')pair<int,string>pp23(3,veci);temp.push_back(pp23);elseif(IsKey(veci)if(veci="main")pair<int,string>pp15(1,veci);temp.push_back(pp15);if(veci="int")pair<int,string>pp16(2,ve