词法分析器程序代码.doc

词法分析器一、 内容和要求将词法分析器设计成单独的程序或供语法分析器调用的子程序。功能包括：通过词法分析器实现以下类别的识别：关键字：break、case、char、do、while、if、else、int、float等。运算符：+、*、=、/。界符：;、,、（、）、。数字：0-9。标识符二、 词法分析原理词法分析是从左向右扫描每行源程序的符号，拼成单词，换成统一的机内表示形式TOKEN字，送给语法分析程序。TOKEN字是一个二元式：（单词种别码，自身值）。单词自身值按如下规则给出：1 标识符的自身值是它在符号表的入口地址。2 常数的自身值是常数本身（或它的二进制数值）。3 关键字和界限符的自身值为本身。三、 程序设计1、程序流程：输入一段字符 调用读取字符函数 输出之前输入的字符 调用词法分析子程序 输出分析结果3、程序中用到的函数Analyzer();/构造函数 Analyzer();/析构函数 intIsLetter(char ch); /判断是否是字母，是则返回 1，否则返回 0。int IsDigit(char ch); /判断是否为数字，是则返回 1，否则返回 0。int IsSpace(char ch); /判断是否为空白符(空格、换行、制表符),是则返回 1，否则返回 0。void GetChar(char *ch); /将下一个输入字符读到ch中。void GetBC(char *ch); /检查ch中的字符是否为空白，若是，则调用GetChar直至ch进入一个非空白字符。void Concat(char *strToken, char *ch); /将ch中的字符连接到strToken之后。int Reserve(char *strToken); /对strToken中的字符串查找保留字表，若是一个保留字返回它的数码，否则返回0。void Retract(char *ch) ; /将搜索指针器回调一个字符位置，将ch置为空白字符。void input();/向存放输入结果的字符数组输入一句语句。void display();/输出一些程序结束字符显示样式int analyzerSubFun();/词法分析器子程序，为了实现词法分析的主要功能。string DecStrToBinStr(string decNum);/十进制转换成二进制2、程序代码#include#includeusing namespace std;class Analyzerpublic:Analyzer()p=Store;Analyzer()cout程序运行结束endl;int IsLetter(char ch);int IsDigit(char ch);int IsSpace(char ch);void GetChar(char *ch);void GetBC(char *ch);void Concat(char *strToken, char *ch);int Reserve(char *strToken);void Retract(char *ch) ;void input();void display();int analyzerSubFun();string DecStrToBinStr(string decNum); private:char Store100;char *p;char strToken100;string result;char ch;int Analyzer:IsLetter(char ch)if(a=ch&ch=z)|(A=ch&ch=0&ch=9) return 1; return 0; int Analyzer:IsSpace(char ch)if(ch= |ch=n|ch=t) return 1; return 0; void Analyzer:GetChar(char *ch)*ch =*p; p=p+1;void Analyzer:GetBC(char *ch)do GetChar(ch); while(IsSpace(*ch); void Analyzer:Concat(char *strToken, char *ch)int i; for(i=0;i100;i+) if(*strToken=NULL) *strToken=*ch; break; strToken+; int Analyzer:Reserve(char *strToken)if(strcmp(strToken,break) = 0) return 1; if(strcmp(strToken,case) = 0) return 2; if(strcmp(strToken,char) = 0) return 3; if(strcmp(strToken,do) = 0) return 4; if(strcmp(strToken,while) = 0) return 5; if(strcmp(strToken,if) = 0) return 6; if(strcmp(strToken,else) = 0) return 7; if(strcmp(strToken,int) = 0) return 8;if(strcmp(strToken,float) = 0) return 9;if(strcmp(strToken,long) = 0) return 10; if(strcmp(strToken,short) = 0) return 11; if(strcmp(strToken,void) = 0) return 12; if(strcmp(strToken,continue) = 0) return 13;if(strcmp(strToken,default) = 0) return 14;if(strcmp(strToken,return) = 0) return 15;if(strcmp(strToken,switch) = 0) return 16;return 0; void Analyzer:Retract(char *ch)p=p-1; *ch= ; void Analyzer:input()cout=endl;cout简单词法分析器 endl;cout=endl;cout请输入一行语句:endl;cin.getline(Store,100);cout输入语句为：Storeendl;void Analyzer:display()cout运行结果如下：endl;cout单词ttt类别ttt值tt0;i-) binStr+=tempi-1;if(decDown!=0)binStr+=.;int it=0;temp=;for(int i=4;i0;i-)it=(int)(decDown*2);temp+=(char)(it+48);decDown=decDown*2-it;if(decDown=0) break;binStr+=temp;if(temp=0)binStr=0;return binStr;int Analyzer:analyzerSubFun()char ch; int i,value;string res;while(1)GetBC(&ch); for(i=0;i100;i+) strTokeni=NULL;if(ch=0) return 0;if (IsLetter(ch) while (IsLetter(ch) | IsDigit(ch) Concat(strToken,&ch); GetChar(&ch); Retract(&ch); value=Reserve(strToken); if (value=0)coutstrTokenttt;cout标识符ttt;coutstrTokenendl; elsecoutstrTokenttt;cout关键字ttt;coutstrTokenendl;else if (IsDigit(ch) while (IsDigit(ch) Concat(strToken,&ch);GetChar(&ch); Retract(&ch); coutstrTokenttt;cout常数ttt;result=strToken;res=DecStrToBinStr(result);coutresBendl;else if (ch =|ch =+|ch =* ch = /|)Concat(strToken,&ch);coutstrTokenttt;cout算符ttt;coutstrTokenendl;else if (ch = ;|ch = ,|ch=(|ch=)| ch = (| ch = | ch = | ch = | ch = |) Concat(strToken,&ch); coutstrTokenttt;cout界符ttt;coutstrTokenendl; elseConcat(strToken,&ch);coutstrToken tt;coutThe word is wrong!tt;coutstrTokenendl;int main()Analyzer analyzer;analyzer.input(); analyzer.display();analyzer.analyzerSubFun();return 0;四、 结果分析= 简单词法分析器 =请输入一行语句：qwe do 1 * + = - 输入语句为：qwe do 1 * + = - 类型 值qwe 标识符 qwedo 关键字 do1 常数 0001*+- 算符 *+- 界符 五、 总结通过该实验 对实验原理有更深的理解。对词法分析在实践中的应用有深刻的理解。在实践的基础上，把所学过的知识应用于实际应用，更深刻的理解了词法分析以及编译原理的实际应用。熟悉了用C+语言编写词法分析器的过程