词法分析器的实现.doc

我自己写的个词法分析程序 可以完成一个非常非常基本的C语言词法分析.自己鼓励下自己 :-)#include #include #include #include #include #include #include using namespace std;/用来存储目标文件名string file_name;/提取文本文件中的信息。string GetText();/获得一个单词符号,从位置i开始查找。/并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。string GetWord(string str,int i,int& j);/这个函数用来除去字符串中连续的空格和换行/第一个参数为目标字符串，第二个参数为开始位置/返回值为连续的空格和换行后的第一个有效字符在字符串的位置int DeleteNull(string str,int i);/判断i当前所指的字符是否为一个分界符，是的话返回真，反之假bool IsBoundary(string str,int i);/判断i当前所指的字符是否为一个运算符，是的话返回真，反之假bool IsOperation(string str,int i);/此函数将一个pair数组输出到一个文件中void OutFile(vectorpair v);/此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组vectorpair analyst(vector vec);/此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假bool IsKey(string str);int main()cout#n;cout#copyright: Giftedbird#n;cout#n;string com1= ;string com2=n;string fileline=GetText();int begin=0,end=0;vector array;dobegin=DeleteNull(fileline,begin);string nowString;nowString=GetWord(fileline,begin,end);if(end=-1)break;if(nowSpare(com1)&nowSpare(com2)array.push_back(nowString);begin=end+1;while(true);vectorpair mid_result;mid_result=analyst(array);OutFile(mid_result);cout*n;cout*程序已完成词法分析，分析结果已经存储在文件file_name中！*n;cout*n;system(pause);return 0;/提取文本文件中的信息string GetText()string file_name1;coutfile_name1;ifstream infile(file_name1.c_str(),ios:in);if (!infile)cerr哦！无法打开文件 file_name1.c_str() !endl;exit(-1);coutendl;char f1000;infile.getline(f,1000,EOF);infile.close();return f;/获得一个单词符号,从位置i开始查找。/并且有一个引用参数j，用来返回这个单词最后一个字符在原字符串的位置。string GetWord(string str,int i,int& j)string no_use() , ;n+=*/-);j=str.find_first_of(no_use,i);if(j=-1)return ;if(i!=j)j-;return str.substr(i,j-i+1);/这个函数用来除去字符串中连续的空格和换行/第一个参数为目标字符串，第二个参数为开始位置/返回值为连续的空格和换行后的第一个有效字符在字符串的位置int DeleteNull(string str,int i)for(;i+)if(stri!= &stri!=n)return i;/判断i当前所指的字符是否为一个分界符，是的话返回真，反之假bool IsBoundary(string str,int i)int t;char arr7=,;,(,),;for (t=0;t7;t+)if(stri=arrt)return true;return false;/判断i当前所指的字符是否为一个运算符，是的话返回真，反之假bool IsOperation(string str,int i)int t;char arr7=+,-,*,/,=,;for (t=0;t7;t+)if(stri=arrt)return true;return false;/此函数将一个个字符串数组输出到一个文件中void OutFile(vectorpair v)coutfile_name;ofstream outfile(file_name.c_str(),ios:out);if (!outfile)cerr哦！无法打开文件 file_name.c_str() !endl;exit(-1);coutendl;int i;outfile#n;outfile#copyright: Giftedbird#n;outfile#nn;for(i=0;iv.size();i+)outfilevi.first , vi.secondendl;outfilenn*n;outfile.close();return;/此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组vectorpair analyst(vector vec)vectorpair temp;int i;for(i=0;i|veci=|veci=!)&veci+1=)string jk=veci;jk.append(vec+i,0,1);pair pp(4,jk);temp.push_back(pp);continue;if(veci=+&veci+1=+)|(veci=-&veci+1=-)string jk=veci;jk.append(vec+i,0,1);pair pp(4,jk);temp.push_back(pp);continue;if(IsBoundary(veci,0)pair pp(5,veci);temp.push_back(pp);else if(IsOperation(veci,0)pair pp(4,veci);temp.push_back(pp);else if(veci0=0)pair pp(3,veci);temp.push_back(pp);elsepair pp(2,veci);temp.push_back(pp);else if(veci0=0)pair pp(3,veci);temp.push_back(pp);else if(IsKey(veci)pair pp(1,veci);temp.push_back(pp);elsepair pp(2,veci);temp.push_back(pp);return temp;/此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假bool IsKey(string str)string p16=char,double,int,long,double,f