设计2词法分析之基于Lex实现词法分析

1、词法分析程序 一、设计目的通过编写并上机调试一个词法分析程序，掌握在对程序设计语言的源程序进行扫描的过程中，将其分解成各类单词的词法分析方法。二、设计要求要求将用模拟语言书写的源程序进行词法分析，输出源程序清单，Token文件和错误信息文件，若有错误，必须输出错误在源程序中行号和列号，并将符号表和字符串以文件的形式写出来。3、 设计说明 基于Parser Genarator的词法分析器构造方法。Lex输入文件由3个部分组成：定义集（definition），规则集（rule）和辅助程序集（auxiliary routine）或用户程序集（user routine）。这三个部分由位于新一行第一列的

2、双百分号分开，因此，Lex输入文件的格式如下definitions%rules%auxiliary routines而且第一部分用“%”和“%”括起来。第一和第三个部分为C语言的代码和函数定义，第二个部分为一些规则。3.1正规式定义定义正则表达式如下 ID = letter letter*NUM = digit digit*Letter = a|z|A|ZDigit = 0|9Keyword = else|if|int|return|void|whileSpecial symbol = +|-|*|/|<|<=|>|>=|=|!=|=|;|，|（|）|/*|*/Whit

3、e space = “ ”Enter = n在lex中的构造letter A-Za-zdigit 0-9id (letter|_)(letter|digit|_)*error_id (digit)+(letter)+ num digit+whitespace t+enter n+3.2转换规则定义在Lex中的规则定义构造定义识别保留字规则"int"|"else"|"return"|"void"|"if"|"while" Upper(yytext,yyleng);printf(

4、"%d 行 ",lineno);printf("%s reserved wordn",yytext);/保留字定义识别数字规则num printf("%d 行 ",lineno);printf("%s NUMn",yytext);/数字定义识别专用符号规则","|""|"("|")"|""|""|"*"|"/"|"+"|"-&q

5、uot;|">"|"<"|">="|"<="|"="|"!="|"="|"/*"|"*/" printf("%d 行 ",lineno);printf("%s special symboln",yytext);/特殊符号定义识别标识符规则id printf("%d 行 ",lineno); printf("%s IDn&qu

6、ot;,yytext);/标识符定义识别错误的字符串规则当开头为数字的后面为字母的字符串时，是错误的标识符。error_id printf("error:%sn",yytext);/以数字开头的字符自动报错定义忽略空格规则whitespace /* skip whitespace */忽略空格定义忽略回车规则enter lineno+;/遇到回车自动加行号忽略3.3辅助程序辅助程序集中包括主函数main （）和辅助函数toupper（）。3.3程序代码实现%#include <stdio.h>#include <stdlib.h>#include &

7、lt;string.h>int yywrap();int lineno=1;%delim t ws delim+ letter A-Za-zdigit 0-9id letter(letter|digit)*number digit+error_id (digit)+(letter)+enter nspchar (""|""|""|""|"("|")"|""|"="|",")ariop ("+"

8、;|"-"|"*"|"/")relop ("<"|"<="|">"|">="|"="|"!=")comment /*(*/|*)*/reswd (int|else|return|void|if|while)%ws comment enter lineno+;reswd fprintf(yyout,"%d行tkeywodt%sn",lineno,yytext);spchar

9、fprintf(yyout,"%d行tspchart%sn",lineno,yytext);id fprintf(yyout,"%d行tidentifiert%sn",lineno,yytext);number fprintf(yyout,"%d行tnumbert%sn",lineno,yytext);error_id fprintf(yyout,"%d行terror_idt%sn",lineno,yytext);ariop fprintf(yyout,"%d行tari_opt%sn",line

10、no,yytext);relop fprintf(yyout,"%d行trel_opt%sn",lineno,yytext);%int yywrap() return 1;int main(void)char infilename100;printf("输入文件名：");scanf("%s",infilename);yyin = fopen(infilename,"r");yyout = fopen("out","w");yylex();return 0;四、运行结果及分析测

11、试的C语言代码：测试结果 ：测试的C语言代码：测试结果：测试代码：测试结果：五、总结通过本次课程设计的练习，学会运用Lex自动构造词法分析器，学会了基于Parser Genarator的词法分析器构造方法。掌握了词法分析器的原理以及功能。词法分析是编译过程中的一个阶段，在语法分析前进行。也可以和语法分析结合在一起作为一遍，由语法分析程序调用词法分析程序来获得当前单词供语法分析使用。词法分析程序的主要任务：读源程序，产生单词符号。 词法分析程序的其他任务：滤掉空格，跳过注释、换行符追踪换行标志，复制出错源程序，宏展开，等等等等。 词法分析工作从语法分析工作独立出来的原因：简化设计，改进编译效率，