实验一 源程序的预处理及词法分析程序设计

1、实验一源程序的预处理及词法分析程序设计（6学时）一、实验目的设计并实现一个包含预处理功能的词法分析程序，加深对编译中词法分析过程的 理解。二、实验要求1、实现预处理功能源程序中可能包含有对程序执行无意义的符号，要求将其剔除。首先编制一个源程序的输入过程，从键盘、文件或文本框输入若干行语句，依次存 入输入缓冲区（字符型数据）；然后编制一个预处理子程序，去掉输入串中的回车符、 换行符和跳格符等编辑性文字；把多个空白符合并为一个；去掉注释。2、实现词法分析功能输入：所给文法的源程序字符串。输出：二元组（syn,token或sum）构成的序列。其中，syn为单词种别码。Token为存放的单词自身字符串

2、。Sum为整型常量。具体实现时，可以将单词的二元组用结构进行处理。3、待分析的C语言子集的词法1）关键字main if then while do static int double struct break elselong switch case typedef char return const float shortcontinue for void default sizeof do所有的关键字都是小写。2）运算符和界符+ - * / : := = = ; （ ） #3）其他标记ID和NUM通过以下正规式定义其他标记：IDf letter（letter|digit）*NUMf dig

3、it digit*lettera| |z|A| |Zdigitf 0| |94）空格由空白、制表符和换行符组成空格一般用来分隔ID、NUM、专用符号和关键字，词法分析阶段通常被忽略。4、各种单词符号对应的种别码表1 各种单词符号的种别码单词符号种别码单词符号种别码main1;41if2(42then3)43while4int7do5double8static6struct9ID25break10NUM26else11+27long12-28switch13*29case14/30typedef15:31char16:=32return1733const1834float1936continue

4、21=37for22=38void23default39sizeof24do40#05、词法分析程序的主要算法思想算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基 本思想是根据扫描到的单词符号的第一个字符的种类，拼出相应的单词符号。主程序示意图主程序示意图如图1所示。图1词法分析主程序示意图其中初值包括如下两方面：(1)关键字表初值关键字作为特殊标识符处理，把它们预先安排在一张表格中(称为关键字表)，当扫 描程序识别出标识符时，查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表为一个字符串数组，其描述如下：char *rwtab27 = mai

5、n, if”, then”, while”, do”, ”static”, ”int”，”double, “struct”, “break”, ”else”，”long”，”switch”, ”case”，”typedef”，”c har, return”，”const”，”float”，”short，continue”, ”for”，”void”，”defa ult”,”sizeof，”do”；(2)程序中需要用到的主要变量：syn,token和sum。扫描子程序的算法思想首先设置三个变量：token用来存放构成单词符号的字符串；sum用来存放整型单 词；syn用来存放单词符号的种别编码。扫描子程序主要部分流程如图2所示。图2词法分析程序流程三、实验报告要