词法分析器设计与实现

/合肥学院计算机科学和技术系课程试验报告2016～2017学年其次学期课程软件编译技术学生姓名罗萱(组长)学号1404092012学生姓名郑李学号1404092013学生姓名丁希林学号1404092016专业班级14软工2班指导老师吴晓琴2017年3月小组分工：郑李（完成数据的输入和出错输出等操作，并完善代码），丁希林（负责进行组员分工及写识别出常数、运算符、界符等的试验代码和正常输出操作），罗萱（负责写出关键字和变量表结构等的识别代码）姓名完成工作郑李在main函数中进行输入流和输出流的限制；代码整合丁希林写常数识别的方法IsDigit()供lexicalAnalysis()输出方法进行调用；完成lexicalAnalysis()输出方法中的运算符识别的代码；写标识符识别的方法IsLetter()供lexicalAnalysis()输出方法进行调用；罗萱写将关键字存储在数组中的方法InitReserveTable()；加入变量名方法AddReserve()和变量表识别方法IsReserve()成果：姓名老师评阅签字：年月日

试验序号及名称：试验一词法分析器的设计和实现姓名：郑李试验时间：2017年3月25日试验目的和要求试验目的：通过设计并实现的词法分析器，驾驭对正规文法、正规式、有穷自动机、不确定的有穷自动机（NFA）到确定的有穷自动机（NFA）转换，DFA最小化等单词符号分析工具的具体设计实现，更进一步加深对程序设计语言源程序进行词法分析方法和原理理解，能初步达到设计编制和调试编译系统中词法分析器的实力，增加解决实际问题的实践实力。试验要求：①从输入的源程序中，识别出各个具有独立意义的单词符号（保留字、标识符、常数、运算符、界符）五大类。单词符号种别编码关键字（保留字）1标识符2常数3运算符4界符5②依次以二元式(单词种别码，单词符号的属性值)输出各个单词符号，如遇到错误单词符号时可显示“Error，出错的位置”，然后跳过错误部分接着显示）。例：如源程序为C语言,输入：main(){inta,b,c;a=8;b=6;c=a+b;}以文本文件输出(output1.txt):（2，”main”）（5，”（“）（5，”）“）（5，”{“）（1，”int”）（2，”a”）（5，”,”）（2，”b”）（5，”;”）（2，”a”）（4，”=”）（3，”10”）（5，”;”）（2，”b”）（4，”=”）（2，”a”）（4，”+”）（3，”20”）（5，”;”）（5，”}“）试验环境和仪器设备Eclipse相关资料和参考文献（教材和试验指导书以外）无试验任务词法分析器设计和实现试验内容（步骤）试验内容：①单词的BNF表示<标识符><字母>|<字母数字><字母数字><字母><字母数字>|<数字><字母数字>|_<字母数字>||$<字母数字>|ε<字母数字><字母>|<数字><字母>a|b||z<数字>0|1||9<常量><无符号整数><无符号整数><数字><数字串><数字串><数字><数字串>|ε<运算符>+|-|*/|=|<|=|<=|!=|><关键字>main|if|then|while|do<界符>{|}|(|)|;说明：产生式中<，>括起来的部分表示非终结符号。②将以文法转换成有穷自动机。③实现有穷自动机识别单词符号2.试验步骤①依据词法规则总结出每种单词符号的结构特征②设计每种单词符号有穷自动机(状态转换图)③将几种单词符号的状态转换图进行合并成唯一的初态,构造一个能识别全部种类的单词符号NFA④NFA确定化DFA，再最小化DFA⑤将DFA构造状态矩阵；⑥用状态矩阵设计出一个词法分析程序。完整的试验结果（程序、电路或相关的数据等）记录（不够可在第四页续）输入：main()

{inta,b;a=10; b=a+20;}试验结果：main2(5)5{5int0a2,5b2,5c2;5a2=483;5b2=463;5c2=4a2+4b2;5}5试验结果分析在编写词法分析器的过程中我们虽然没有真的把全部的状态转换图建立出来，但是这里面主要用到的思想还是依据状态转换图实现对单词的识别。我们变量表进行数据存储,然后,每输入一个字符就检测应当进入什么状态,并将该字符传到lexicalAnalysis()中进行while循环对应，完成输出操作后contine再次循环查询。直至最终完成全部的识别。

试验序号及名称：试验一词法分析器的设计和实现姓名：丁希林试验时间：2017年3月25日一、试验目的和要求1.试验目的：通过设计并实现的词法分析器，驾驭对正规文法、正规式、有穷自动机、不确定的有穷自动机（NFA）到确定的有穷自动机（NFA）转换，DFA最小化等单词符号分析工具的具体设计实现，更进一步加深对程序设计语言源程序进行词法分析方法和原理理解，能初步达到设计编制和调试编译系统中词法分析器的实力，增加解决实际问题的实践实力。2.试验要求：①从输入的源程序中，识别出各个具有独立意义的单词符号（保留字、标识符、常数、运算符、界符）五大类。单词符号种别编码关键字（保留字）1标识符2常数3运算符4界符5②依次以二元式(单词种别码，单词符号的属性值)输出各个单词符号，如遇到错误单词符号时可显示“Error，出错的位置”，然后跳过错误部分接着显示）。例：如源程序为C语言,输入：main(){inta,b,c;a=8;b=6;c=a+b;}以文本文件输出(output1.txt):（2，”main”）（5，”（“）（5，”）“）（5，”{“）（1，”int”）（2，”a”）（5，”,”）（2，”b”）（5，”;”）（2，”a”）（4，”=”）（3，”10”）（5，”;”）（2，”b”）（4，”=”）（2，”a”）（4，”+”）（3，”20”）（5，”;”）（5，”}“）二、试验环境和仪器设备Eclipse三、相关资料和参考文献（教材和试验指导书以外）无四、试验任务词法分析器设计和实现五、试验内容（步骤）试验内容：①单词的BNF表示<标识符><字母>|<字母数字><字母数字><字母><字母数字>|<数字><字母数字>|_<字母数字>||$<字母数字>|ε<字母数字><字母>|<数字><字母>a|b||z<数字>0|1||9<常量><无符号整数><无符号整数><数字><数字串><数字串><数字><数字串>|ε<运算符>+|-|*/|=|<|=|<=|!=|><关键字>main|if|then|while|do<界符>{|}|(|)|;说明：产生式中<，>括起来的部分表示非终结符号。②将以文法转换成有穷自动机。③实现有穷自动机识别单词符号2.试验步骤①依据词法规则总结出每种单词符号的结构特征②设计每种单词符号有穷自动机(状态转换图)③将几种单词符号的状态转换图进行合并成唯一的初态,构造一个能识别全部种类的单词符号NFA④NFA确定化DFA，再最小化DFA⑤将DFA构造状态矩阵；⑥用状态矩阵设计出一个词法分析程序。六、完整的试验结果（程序、电路或相关的数据等）记录（不够可在第四页续）输入：main()

{inta,b;a=10; b=a+20;}试验结果：main2(5)5{5int0a2,5b2,5c2;5a2=483;5b2=463;5c2=4a2+4b2;5}5七、试验结果分析在编写词法分析器的过程中我们虽然没有真的把全部的状态转换图建立出来，但是这里面主要用到的思想还是依据状态转换图实现对单词的识别。我们变量表进行数据存储,然后,每输入一个字符就检测应当进入什么状态,并将该字符传到lexicalAnalysis()中进行while循环对应，完成输出操作后contine再次循环查询。直至最终完成全部的识别。试验序号及名称：试验一词法分析器的设计和实现姓名：罗萱试验时间：2017年3月25日一、试验目的和要求1.试验目的：通过设计并实现的词法分析器，驾驭对正规文法、正规式、有穷自动机、不确定的有穷自动机（NFA）到确定的有穷自动机（NFA）转换，DFA最小化等单词符号分析工具的具体设计实现，更进一步加深对程序设计语言源程序进行词法分析方法和原理理解，能初步达到设计编制和调试编译系统中词法分析器的实力，增加解决实际问题的实践实力。2.试验要求：①从输入的源程序中，识别出各个具有独立意义的单词符号（保留字、标识符、常数、运算符、界符）五大类。单词符号种别编码关键字（保留字）1标识符2常数3运算符4界符5②依次以二元式(单词种别码，单词符号的属性值)输出各个单词符号，如遇到错误单词符号时可显示“Error，出错的位置”，然后跳过错误部分接着显示）。例：如源程序为C语言,输入：main(){inta,b,c;a=8;b=6;c=a+b;}以文本文件输出(output1.txt):（2，”main”）（5，”（“）（5，”）“）（5，”{“）（1，”int”）（2，”a”）（5，”,”）（2，”b”）（5，”;”）（2，”a”）（4，”=”）（3，”10”）（5，”;”）（2，”b”）（4，”=”）（2，”a”）（4，”+”）（3，”20”）（5，”;”）（5，”}“）二、试验环境和仪器设备Eclipse三、相关资料和参考文献（教材和试验指导书以外）无四、试验任务词法分析器设计和实现五、试验内容（步骤）试验内容：①单词的BNF表示<标识符><字母>|<字母数字><字母数字><字母><字母数字>|<数字><字母数字>|_<字母数字>||$<字母数字>|ε<字母数字><字母>|<数字><字母>a|b||z<数字>0|1||9<常量><无符号整数><无符号整数><数字><数字串><数字串><数字><数字串>|ε<运算符>+|-|*/|=|<|=|<=|!=|><关键字>main|if|then|while|do<界符>{|}|(|)|;说明：产生式中<，>括起来的部分表示非终结符号。②将以文法转换成有穷自动机。③实现有穷自动机识别单词符号2.试验步骤①依据词法规则总结出每种单词符号的结构特征②设计每种单词符号有穷自动机(状态转换图)③将几种单词符号的状态转换图进行合并成唯一的初态,构造一个能识别全部种类的单词符号NFA④NFA确定化DFA，再最小化DFA⑤将DFA构造状态矩阵；⑥用状态矩阵设计出一个词法分析程序。六、完整的试验结果（程序、电路或相关的数据等）记录（不够可在第四页续）输入：main()

{inta,b;a=10; b=a+20;}试验结果：