编译原理 实验一 词法分析程序开发

课程名称：编译原理实验编号：实验一班级：计算1214课程名称：编译原理实验编号：实验一班级：计算1214上机实践日期：2014.11指导教师：付永钢实验成绩:实验名称：词法分析程序开发姓名：学号：上机实践时间：4学时一、实验目的1、深入理解有限自动机及其应用；2、掌握词法分析程序的开发。；3、掌握根据语言的词法规则构造识别其单词的有限自动机的方法；4、深入理解词法分析程序自动生成原理。二、实验环境Windows?x64、VC6.0三、实验原理词法分析是编译过程的第一阶段。它的任务就是对输入的字符串形式的源程序按顺序进行扫描，根据源程序的词法规则识别具有独立意义的单词(符号)，并输出与其等价的Token序列。有限自动机是描述程序设计语言单词构成的工具，而状态转换图是有限自动机的比较直观的描述方法。我们使用确定的有限状态自动机，简记为DFA。PL/0的语言的词法分析器将要完成以下工作：跳过分隔符(如空格，回车，制表符)；识别诸如begin，end，if，while等保留字；识别非保留字的一般标识符，此标识符值(字符序列)赋给全局量id，而全局量sym赋值为SYM_IDENTIFIER。识别数字序列，当前值赋给全局量NUM，sym则置为SYM_NUMBER；识别:=，＜=，＞=之类的特殊符号，全局量sym则分别被赋值SYM_BECOMES，SYM_LEQ，SYM_GEQ等。相关过程(函数)有getsym()，getch()，其中getch()为获取单个字符的过程，除此之外，它还完成：识别且跳过行结束符；将输入源文件复写到输出文件；产生一份程序列表，输出相应行号或指令计数器的值。下面给出能够识别PL0语言中各类单词的DFA：识别PL0单词的DFA表示根据语言的词法规则构造出识别其单词的确定有限自动机DFA,仅仅是词法分析程序的一个形式模型，距离词法分析程序的真正实现还有一定的距离。状态转换图的程序实现通常是采用直接转向法。直接转向法又称为程序中心法，是把状态转换图看成一个流程图，从状态转换图的初态开始，对它的每一个状态结点都编写一段相应的程序。四、实验步骤1、用自动生成工具LEX生成上述给定DFA所对应的PL0语言的词法分析程序在txt文档中编写lex文件test1.l.二|-记事本文件回蕖辑旧悄式查卷(VI区财id({letter}I[_])((letter}|[digit]|[_])*string{([letter](digit}|(other_char})+}int_num{digit}+[l\n]+"war"(print'了％日了yytest);}"if*[printfyytest);j在命令行下执行命令flex解析test.l文件，自动生成lex.yy.c文件在C环境编译lex.yy.c，生成可执行文件lex.yy.exe对测试用例进行测试2、根据DFA在C环境下构造词法分析器对测试用例进行测试testlc-iflS本文件」磴(E)相式(0查看M帮助〔H)^include"mtdici.h”^include^conio.h”^include^string,h”voidmainO{inti=0,j;intkl=0;k2=0;chartable[10][10]="if”,"th巳r/；^else^Phils'-ht~*c■chart[20]=C\0/y};f冲'用于―临时串FrEM。rn：\\学习相宇''综逐原理\'第一部会牢验内蓉X虹五、实验结果测试程序：proceduredivide;varw;beginr:=x;q:=0;w:=y;end1、自动生成工具LEX测试：巧1D1学习相矢用译原瑁懂史验内容\口proceduredivide；29.^procedure"L^diuide"卜"疽，varu；七WM寸begina*：=x；q:=0;u:=y;阿WK啊・，：=,，end2、C环境分析器测试:罚学习相关揣旱麒演一^＞室验内荏H9,"procedure"L'Miuide"17,";"",腿gin"卜，,时20,',：=,1卜,Wk,,0,p"，”注"，”注pg词，七=“恤八nd"Pi*essan^keytocontinue六、实验小结1、通过本次实验，对有限自动机及其应用有了进一步的了解，对词法分析程序的开发有了一定的认识；2、第一次使用自动生成工具LEX，对LEX语法不熟悉，通过查阅网上资料，词法分析程序自动生成原理有了一定的认识，能够基本完成本实验的需求，同时对本课程的实际意义也有了全面的理解；3、在通过C语言编写词法分析器的过程中，用二维数组构造分析表，但是不断出现栈溢出问题，后将分析表缩小，仅存保留字，对其他符号逐一判断，实现本实验要求词法分析器；4、利用C语言构造词法分析器，考虑到分隔符问题，在本次实验中，仅考虑了‘\n’、‘\t’、空格、以及‘；’，凡不以这四个字符结束的串都被视为错误。程序代码：1、LEX：digit[0-9]letter[A-Za-z]id({letter}|[_])({letter}|{digit}|[_])*%%[|\t|\n]+"var"{printf("21,\"%s\"\n",yytext);}"if"{printf("22,\"%s\"\n”,yytext);}疽hgJprins=23N%s\=\nLyyExf)二一坦seJprimf(=24N%s\=\Ir」yyExfm=whiKJprimf(=25N%s\=\n疽yyExf)二一一forJprimf(=26N%s\=\n疽yyExf)二一一begmJprimf(=27N%s\=\n疽yyExf)二=wriEmJprimf(=28v%s\=\Ir」yyExfm--procedure^prinff(=29N%s\=\n，yyExf)二侦ndJprinff(=3p\=%s\=\n疽yyExf)二fid二prinff(=L\=%s\=\n疽yyExf)」)fdigifTfprimf(=2N%s\=\n，yyExf)二=+Jprw(=3N%s\=\n，yyEW='二prmff(=4N%s\=\n疽yyExf)二_富一-fprimf(=5N%s\=\n，yyExf)二_s二prMf(=6N%s\=\n疽yyExf)二=||二prw(_7\=%s\=\n，yyExu=-vJprinff(O6N%s\=\n，yyExf)二_AJprinff(=9N%s\=\n，yyEXU=_AvJprimf(=ov%s\=\n疽yyExf)二_AIL-fprimf(3L\=%s\=\n疽yyExf)二_vll-fprimf(32N%s\=\n疽yyExf)二=(JPMf(33N%s\=\n，yyExf)二=)JPMf(34N%s\=\n，yyExf)二=fJprmff(35N%s\=\n，yyExf)二=)Jprmff(36N%s\=\n，yyExf)二-LJprw(37N%s\=\n_LyyExu=疽Jprimf(38>=%s\=\n疽yyExf)」)=\=Jprimf(39N%s\=\n疽yyExf)二sJprinff(=2p\=%s\=\n，yyExf)二%%^includeAcfype.hvinfmainsyycrx()；raum0;)yywrapsraum1;)^include=sao-.h=snclude=cono-.h=snclude--sH.ng.h--voidmain(){inti=0,j;intk1=0,k2=0;chartable[10][10]={"var","if","then","else","while","for","begin","writeln","procedure","end"};charc;chart[20]={"\0”};〃缓冲，用于存放临时串freopen("D:\\学习相关\\编译原理\\第一部分实验内容\\C\\in.txt","r",stdin);c=getchar();while(c!=EOF){if(c==''||c=='\n'||c=='\t'){c=getchar();}elseif((c>='a'&&c<='z')||(c>='A'&&c<='Z')){t[i++]=c;c=getchar();while((c>='a'&&c<='z')||(c>='A'&&c<='Z')||(c>='0'&&c<='9')){t[i++]=c;c=getchar();}if(c==''||c=='\n'||c=='\t'||c==';'){for(j=0;j<10;j++){if(strcmp(t,table[j])==0){printf("%d,\"%s\"\n",j+21,t);k1=1;//不是保留字标志break;}}if(k1==0)printf("1,\"%s\"\n",t);〃标识符if(c==';')printf("17,\";\"\n");c=getchar();}elseprintf("100,error\n");for(j=0;j<=i;j++)t[j]='\0';k1=0;i=0;}elseif(c>='0'&&cv=9){t[i++]=c;c=getchar();while((c>='0'&&c<='9')){t[i++]=c;c=getchar();}if(c==''||c=='\n'llc=='\t'llc=';'){printf("2,\"%s\"\n",t);}if(c='；‘)printf("17,\";\"\n");for(j=0;j<=i;j++)i=O;}elseif(c~'>'){c=getchar();if(c==‘'llc=='\n'llc=='\t'){printf("8,\">\"\n");}elseif(c='='){c=getchar();if(c=‘'||c='\n'llc=H)printf("12,\">=\"\n");elseprintf("100,error\n");}else{printf("100,error\n");elseif(c='v'){c=getchar();if(c==‘'llc=='\n'llc=='\t'){printf("9,\"<\"\n");elseif(c='>'llc=='='){if(c='=‘)k2=l;c=getchar();if(c=‘'llc='\n'llc=H){if(kl=O)printf("10,\"o\"\n");elseprintf("ll,\"<=\"\n");}elseprintf("100,error\n");}else{printf("100,error\n");elseif(c~'+'){c=getchar();if(c=，，||c=Wllc='\t'){printf("3,\"+\"\n");}else{printf("100,error\n");elseif(c~'-'){c=getchar();if(c==‘'llc=='\n'llc=='\t'){printf("4,\"-\"\n");}else{printf("100,error\n");elseif(c=='*'){c=getchar();if(c==‘'llc=='\n'llc=='\t'){printf("5,\"*\"\n");}else{printf("100,error\n");elseif(c=7'){c=getchar();if(c==''llc=='\n'llc=='\t'){printf("6,\"A"\n");}else(printf("100,error\n");}}elseif(c='=')(c=getchar();if(c==''llc=='\n'llc=='\t')(printf("7,\"=\"\n");}else{printf("100,error\n");elseif(c~'(')(c=getchar();if(c==''llc=='\n'llc=='\t')(printf("13,\"(\"\n");}else{printf("100,error\n");elseif(c~')'){c=getchar();if(c==''llc=='\n'llc=='\t'){printf("14,\")\"\n");}else{printf("100,error\n");elseif(c~'{'){c=getchar();if(c==''llc=='\n'llc=='\t'){printf("15,\"{\"\n");}else{printf("100,error\n");}}elseif(c=='}'){c=getchar();if(c==''|lc=='\n'llc=='\t'){printf("16,\"}\"\n");}else{printf("100,error\n");}}elseif(c==';'){c=getchar();if(c==''||c=='\n'||c=='\t'){printf("17,\";\"\n");}else{printf("100,error\n");}}elseif(c=='\''){c=getchar();if(c==''||c=='\n'||c=='\t'){printf("18,\"\'\"\n");}else{printf("100,error\n");}}elseif(c='\"'){c=getchar();i