词法分析器实验报告

1、最新资料推荐词法分析器实验报告词法分析器设计一、实验目的：对 c 语言的一个子集设计并实现一个简单的词法分析器， 掌握利用状态转换图设计词法分析器的基本方法。 利用该词法分析器完成对源程序字符串的词法分析。输出形式是源程序的单词符号二元式的代码，并保存到文件中。二、实验内容 ：1. 设计原理词法分析的任务： 从左至右逐个字符地对源程序进行扫描， 产生一个个单词符号。理论基础：有限自动机、正规文法、正规式词法分析器 (lexicalanalyzer)又称扫描器 (scanner) ：执行词法分析的程序2. 词法分析器的功能和输出形式功能 : 输入源程序、输出单词符号程序语言的单词符号一般分为以下

2、五种：关键字、标识符、常数、运算符,界符3. 输出的单词符号的表示形式 :单词种别用整数编码，关键字一字一种，标识符统归为一种，常数一种，各种符号各一种。4. 词法分析器的结 构输入列表预处理子程序输入缓冲区扫描器扫描缓冲区单词符号5. 状态转换图实现1最新资料推荐字符 /数字开始0字符1其他2*数字数字3其他4*+-*/# ， .;576字符 /数字8*错误9：1011其中 2， 4 ， 5， 7 ， 8，9， 11 是结束状态错误12三、程序设计1总体模块设计/* 用来存储目标文件名 */string file_name;/* 提取文本文件中的信息。*/string gettext();/

3、* 获得一个单词符号 , 从位置 i 开始查找。并且有一个引用参数j ，用来返回这个单词最后一个字符在str的位置。 */string getword(string str,int i,int& j);/* 这个函数用来除去字符串中连续的空格和换行int deletenull(string str,int i);/* 判断 i 当前所指的字符是否为一个分界符，是的话返回真，反之假 */ bool isboundary(string str,int i);/* 判断 i 当前所指的字符是否为一个运算符，是的话返回真，反之假 */ bool isoperation(string str,int i

4、);2最新资料推荐/* 此函数将一个 pair数组输出到一个文件中*/void outfile(vectorpair v);/* 此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/vectorpair analyst(vector vec);/* 此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/bool iskey(string str);2各模块设计（1）. 首先根据上面单词符号表及 id 和 num的正规定义式，构造出状态转换图；（2）. 定义相关的变量和数据结构。 关键字作为特殊标识符处理， 把它们预先安排在一张表格中（称为关键字表） ，当扫描程序识别

5、出标识符时，查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表为一个字符串数组，其描述如下：char key_words7= main , int , char , if , else , for , while ；用以存放单词符号二元式的数据结构可如下定义：class word_analyzerpublic:char contentmaxlength ;int val ;void print(); ;（3）. 按照编译程序一遍扫描的要求，把词法分析器 scaner 作为一个独立的子程序来设计，通过对 scaner 的反复调用识别出所有的单词符号；（4）. 当 sca

6、ner 识别出一个单词符号时，则将该单词符号的二元式写入到输出文件中。若 scaner 无法识别出一个单词符号时，则调用错误处理程序 printerror ，显示当前扫描到的字符及其所在行、 列位置，并跳过该字符重新开始识别单词符号。四、程序代码#include #include #include #include using namespace std;/* 用来存储目标文件名 */3最新资料推荐string file_name;/* 提取文本文件中的信息。*/string gettext();/* 获得一个单词符号 , 从位置 i 开始查找。/并且有一个引用参数j ，用来返回这个单词最后一

7、个字符在str的位置。 */string getword(string str,int i,int& j);/* 这个函数用来除去字符串中连续的空格和换行/ 第一个参数为目标字符串，第二个参数为开始位置/ 返回值为连续的空格和换行后的第一个有效字符在字符串的位置 */ int deletenull(string str,int i);/* 判断 i 当前所指的字符是否为一个分界符，是的话返回真，反之假 */ bool isboundary(string str,int i);/* 判断 i 当前所指的字符是否为一个运算符，是的话返回真，反之假*/bool isoperation(string

8、str,int i);/* 此函数将一个 pair数组输出到一个文件中 */void outfile(vectorpair v);/* 次函数将参数 str,digit添加到 temp 中 */void add(string str,int digit,vectorpair temp);/* 此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/vectorpair analyst(vector vec);4最新资料推荐/* 此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/bool iskey(string str);int main()cout* *n;cou

9、t*编译原理课程设计 - 词法编译器 ver1.0*n;cout* *n;coutendl;string com1= ;string com2=n;string fileline=gettext();int begin=0,end=0;vector array;dobegin=deletenull(fileline,begin);string nowstring;nowstring=getword(fileline,begin,end);if(end=-1)break;if(nowspare(com1)&nowspare(com2)array.push_ba

10、ck(nowstring);begin=end+1;while(true);vectorpair mid_result;mid_result=analyst(array);outfile(mid_result);cout* *n;cout*程序已完成词法分析，分析结果已经存储在文件file_name中！*n;5最新资料推荐cout* *n;cout感谢使用，谢谢再见！ endl;system(pause);return 0;/* 提取文本文件中的信息 */string gettext()string file_name1;coutfile_name1;ifstream infile(file_

11、name1.c_str(),ios:in);if (!infile)cerr无法打开文件 !file_name1.c_str() !endl;exit(-1);coutendl;char f1000;infile.getline(f,1000,eof);infile.close();printf(f);coutendl;return f;/* 获得一个单词符号 , 从位置 i 开始查找。/ 并且有一个引用参数 j ，用来返回这个单词最后一个字符在原字符串的位置。 */string getword(string str,int i,int& j)string no_use() , ;n+=*/-

12、);j=str.find_first_of(no_use,i);if(j=-1)6最新资料推荐return ;if(i!=j)j-;return str.substr(i,j-i+1);/* 这个函数用来除去字符串中连续的空格和换行/ 第一个参数为目标字符串，第二个参数为开始位置/ 返回值为连续的空格和换行后的第一个有效字符在字符串的位置*/int deletenull(string str,int i)for(;i+)if(stri!= &stri!=n)return i;/* 判断 i 当前所指的字符是否为一个分界符，是的话返回真，反之假*/bool isboundary(string s

13、tr,int i)int t;char arr7=,;,(,),:;for (t=0;t7;t+)if(stri=arrt)return true;return false;/* 判断 i 当前所指的字符是否为一个运算符，是的话返回真，反之假*/bool isoperation(string str,int i)int t;char arr8=+,-,*,/,=,&;for (t=0;t8;t+)if(stri=arrt)return true;return false;/* 此函数将一个个字符串数组输出到一个文件中*/7最新资料推荐void outfile(vectorpair v)cout

14、file_name;ofstream outfile(file_name.c_str(),ios:out);if (!outfile)cerr无法打开文件 !file_name.c_str() !endl;exit(-1);coutendl;int i;for(i=0;iv.size();i+)outfilevi.first ,vi.secondendl;coutvi.first ,vi.secondendl;outfilenn*n;outfile.close();return;/* 此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/bool iskey(string str)s

15、tringp7=main,int,char,if,else,for,while;vector ppp(p,p+7);int u;for(u=0;uppp.size();u+)if(!pare(pppu)return true;return false;/* 此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/vectorpair analyst(vector vec)8最新资料推荐vectorpair temp;int i;for(i=0;i&veci+1=)string jk=veci;jk.append(vec+i,0,1);pair pp(37,jk);t

16、emp.push_back(pp);continue;if(veci=&veci+1=)string jk=veci;jk.append(vec+i,0,1);pair pp(38,jk);temp.push_back(pp);continue;if(veci=&veci+1=)string jk=veci;jk.append(vec+i,0,1);pair pp(39,jk);temp.push_back(pp);continue;if(veci=!&veci+1=)string jk=veci;jk.append(vec+i,0,1);pair pp(40,jk);temp.push_ba

17、ck(pp);continue;if(veci=&veci+1=&)string jk=veci;jk.append(vec+i,0,1);pair pp(42,jk);9最新资料推荐temp.push_back(pp);continue;if(veci=|&veci+1=|)string jk=veci;jk.append(vec+i,0,1);pair pp(43,jk);temp.push_back(pp);continue;if(isboundary(veci,0)if(veci=,)pair pp1(32,veci);temp.push_back(pp1);if(veci=;)pai

18、r pp2(34,veci);temp.push_back(pp2);if(veci=)pair pp3(30,veci);temp.push_back(pp3);if(veci=)pair pp4(31,veci);temp.push_back(pp4);if(veci=()pair pp5(26,veci);temp.push_back(pp5);if(veci=)pair pp6(27,veci);temp.push_back(pp6);if(veci=:)10最新资料推荐pair pp7(33,veci);temp.push_back(pp7);else if(isoperation(

19、veci,0)if(veci=+)pair pp8(22,veci);temp.push_back(pp8);if(veci=-)pair pp9(23,veci);temp.push_back(pp9);if(veci=*)pair pp10(24,veci);temp.push_back(pp10);if(veci=/)pair pp11(25,veci);temp.push_back(pp11);if(veci=)pair pp12(21,veci);temp.push_back(pp12);if(veci=)pair pp13(35,veci);temp.push_back(pp13)

20、;if(veci=)pair pp14(36,veci);temp.push_back(pp14);if(veci=&)11最新资料推荐pair pp26(41,veci);temp.push_back(pp26);else if(veci0=0)pair pp24(10,veci);temp.push_back(pp24);elsepair pp25(10,veci);temp.push_back(pp25);else if(veci0=0)pair pp23(3,veci);temp.push_back(pp23);else if(iskey(veci)if(veci=main)pair pp15(1,veci);temp.push_back(pp15);if(veci=int)pair pp16(2,veci);temp.push_back(pp16);if(veci=char)pair pp17(3,veci);temp.push_back(pp17);if(veci=else)pair pp18(4,ve