（计算机软件与理论专业论文）主观题自动判卷系统的研究与实现.pdf

s t u d ya n dd e v e l o p m e n to ft h e a u t o e v a l u a t i o ns y s t e r mf o rs u b j e c t i v e q u e s t i o n s a t h e s i s ( o rd i s s e r t a t i o n ) s u b m i t t e dt o s h a a n x iu n i v e r s i t yo fs c i e n c ea n dt e c h n o l o g y i np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n tf o rt h ed e g r e eo f m a s t e r ( o rd o c t o r ) o f星坠g i 坠竺曼! = i 塾g b y t i a n t i a n t h e s i s ( o rd i s s e r t a t i o n ) s u p e r v i s o r ：p r o f e s s o r z h e n g u oz h a n g m a y , 2 0 1 0 主观题自动判卷系统的研究与实现 摘要 随着计算机技术的高速发展，计算机自动判卷系统在各种考试中有了广 泛的应用，人们应用计算机后台判卷系统来实现对选择题和填空题等客观试 题进行判卷，但是针对问答题或叙述题等主观题的自动判卷几乎没有实际应 用。造成这种现象的主要原因是由于主观题判卷自然语言理解等理论与技术 的发展到目前还很不完善。目前最主要的评判主观题的方法依然是手工处 理，但使用这种方法就会受到多种因素的干扰，最终影响学生试卷的成绩。 如何使用计算机技术来自动的对主观题进行判卷已经成为广大研究学者积 极研究的方向。 研究如何利用计算机来实现主观题的自动判卷具有很大的理论意义和 现实意义。一方面对主观题自动判卷的研究可以从理论上扩展自然语言处理 方向，使其在理论上有更快的进步。另一方面，从实际教学角度来看，主观 题的自动判卷系统可以减轻阅卷人的工作负担，在大规模考试的评判工作中 其优点表现的更加明显。 本课题研究主观题的自动判卷系统的设计，通过对学生答案与标准答案 的分析得到两者之间的相似度，使用同义词扩展和知网来实现句子的相似度 计算。本文实现一个满足实际教学需求的主观题自动判卷系统，并在具体的 相似度以及语义分析上有创新的算法实现。 本文着重从词语相似度计算以及句子相似度计算的角度来对主观题判 卷进行分析。首先，基于知网，提出了一种面向语义、可扩展的词语相似度 计算新方法，从信息论的角度出发，把知网义原间的相似度计算公式定义为 共同部分与共同部分和相异部分之和的比值；并对概念词和非概念词以及对 应的原子概念和组合概念作出区分；同时，引入参照概念用于组合概念的语 义生成，实现了任意词语在语义层面上的相似度计算。然后，以组块为基本 编辑单元，对编辑距离算法进行有效扩展，提出一种句子相似度的定量计算 方法和对应的多项式时间算法。该方法使用组块来取代字符作为基本的编辑 单元，根据组块之间的相似度计算替换代价，对不同类型的组块分别赋予不 同的插入、删除代价；同时引入块交换操作来计算句子的语义编辑距离，并 对距离进行归一化以计算句子的相似度。在不用经过复杂的句法分析的情况 下，兼顾了句子结构和语义信息。最后，根据以上理论方法实现了计算机自 动判卷系统。 本文通过实验分析，对词语的相似度计算以及对句子的相似度计算都达 到了较好的准确性。在系统实现中还有一些需要解决的问题，例如句子间深 层语义关系的表示以及语义的情感分析等，这项研究工作还需要不断地完 善。在以后的研究工作中将着重满足实际考试系统的要求。 关键词：自然语言处理，主观题自动判卷，语句相似度，相似度计算方法 s t u d ya n dd e v e l o p m e n to ft h e a u t o e v r a l u a t i o ns y s t e r mf o r s u b j e c t i v eq u e s t i o n s a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rt e c h n o l o g y , a u t o e v a l u a t i o n s y s t e mw i t hc o m p u t e rh a sb e e nw i d e l yu s e di nt h ee x a m i n a t i o n p e o p l eu s e s o f t w a r et oa s s e s st h eo b je c t i v eq u e s t i o n si n c l u d i n gm u l t i p l e - c h o i c ea n df i l l i n ， e r e b u ts u b je c t i v eq u e s t i o n ss u c ha st h ee s s a yq u e s t i o na n dn a r r a t i v eq u e s t i o n s h a v en o tb e e nu s e di na p p l i c a t i o n s t h em a i nr e a s o no ft h i sp h e n o m e n o ni st h a t t h ed e v e l o p m e n to ft h e o r ya n dt e c h n o l o g yo fn a t u r a ll a n g u a g eu n d e r s t a n d i n gi s f a rf r o mp e r f e c tu n t i ln o w a tp r e s e n t ，t h es u b je c t i v eq u e s t i o n sa r es t i l le v a l u a t e d b yt e a c h e r sm a n u a l l y , s ot h er e s u l t sw i l lb ea f f e c t e db ym a n ys u b j e c t i v ef a c t o r s h o wt oa p p l yc o m p u t e rt e c h n o l o g yt oa u t o m a t i c a l l ye v a l u a t et h es u b ie c t i v e 一一一 q u e s t i o n sh a sb e c o m e a na c t i v er e s e a r c ha p p r o a c h t h er e a l i z a t i o no fa u t o e v a l u a t i o ns y s t e mw i t hc o m p u t e rh a sag r e a t t h e o r e t i c a la n dp r a c t i c a ls i g n i f i c a n c e o nt h eo n eh a n d ，a u t o m a t i ce v a l u a t i o no f t h es u b ie c t i v eq u e s t i o n sc o u l dt h e o r e t i c a l l ye x p a n dt h ed i r e c t i o no fn a t u r a l l a n g u a g ep r o c e s s i n g ，a n di m p r o v ei tf a s t e ri nt h e o r y o nt h eo t h e rh a n d ，f r o ma p r a c t i c a lp o i n to f v i e wo f t e a c h i n g ，a u t o m a t i ce v a l u a t i o nf o rs u b je c t i v eq u e s t i o n s c a nr e d u c et h ew o r k l o a do fp e o p l e i t s a d v a n t a g e sa r e m o r ea p p a r e n ti n l a r g e s c a l ee x a m i n a t i o no f t h ee v a l u a t i o nw o r k t h ep r o je c to ft h ea u t o e v a l u a t i o ns y s t e mi sr e s e a r c h e di nt h i sp a p e r s i m i l a r i t yc a nb eo b t a i n e dt h r o u g ht h ea n a l y s i sb e t w e e nt h es t u d e n ta n s w e ra n d m o d e la n s w e r t h ec o m p u t a t i o no ft h es e n t e n c es i m i l a r i t yc a nb er e a l i z e db y u s i n gs y n o n y me x p a n s i o na n d h o 仆砸t a u t o - e v a l u a t i o ns y s t e mw h i c h s a t i s f i e st h ed e m a n do ft e a c h i n gi sr e a l i z e d a n dt h ei n n o v a t i o na l g o r i t h mi nt h e c o n c r e t es i m i l a r i t ya sw e l la st h es e m a n t i c sa n a l y s i si sr e a l i z e di nt h i sa r t i c l e t h es i m i l a r i t yc o m p u t a t i o nw eh a v es t u d i e df o c u s e so nt w od i f f e r e n tb u t i n t e r r e l a t e dl e v e l s ：w o r da n ds e n t e n c e ，w h i c hi sg o i n gf o r w a r do n eb yo n e f i r s t l y , an e wm e t h o do fc o m p u t ew o r ds i m i l a r i t yw h i c hb a s e do nh o w n e ti sp r e s e n t e d ， h i t h i sm e t h o di se x t e n s i b l ea n ds e m a n t i c o r i e n t e d ；s e c o n d l y , w ee x p a n dt h e a l g o r i t h mo fe d i td i s t a n c ea l g o r i t h m ，a n dr e g a r dt h ec h u n ka si t sb a s i cu n i t ，a n d t h e nc h i n e s es e n t e n c e s i m i l a r i t y c o u l db e c o m p u t e de a s i l y ；f m a l l y , a u t o e v a l u a t i o ns y s t e mw a sc a r r i e do u tb ym e t h o d sp r e s e n t e da b o v e t h o u g h te x p e r i m e n t a la n a l y s i s ，t h ew o r ds i m i l a r i t yc a l c u l a t i o na n dt h e c a l c u l a t i o no fs e n t e n c es i m i l a r i t yh a v er e a c h e dg o o da c c u r a c yi nt h i s p a p e r t h e r ea r es o m ei s s u e st ob ea d d r e s s e di nt h es y s t e mi m p l e m e n t a t i o ns u c ha st h e s e n t e n c es e m a n t i cr e l a t i o n sb e t w e e nt h e e x p r e s s i o n o fd e e pe m o t i o na n d s e m a n t i ca n a l y s i s t h i sr e s e a r c ha l s on e e d st h ec o n s t a n ti m p r o v e m e n t i nt h e f u t u r et h er e s e a r c hw o r kw i l lb ef o c u s e do nm e e t i n gt h er e q u i r e m e n t so ft h e a c t u a lt e s ts y s t e m k e yw o r d s ：n a t u r a ll a n g u a g ep r o c e s s i n g ，a u t o e v a l u a t i o nf o rs u b je c t i v e q u e s t i o n s ，。s e n t e n c es i m i l a r i t y ，s i m i l a r i t yc a l c u l a t i o nm e t h o d i v 目录 摘要i a b s t r a c t i 1 绪论1 1 1 研究背景和意义1 1 2 国内外研究现状2 1 2 1 国外研究现状2 1 2 2 国内研究现状3 1 3 研究内容5 1 4 论文结构6 2 系统知识概述7 2 1 自然语言处理7 2 2 中文自动分词9 2 3 资源应用一1 0 2 3 1 知网1 0 2 3 2 w o r d n e t 1 2 2 3 3 同义词词林1 3 2 3 4 语料库1 4 2 4 相似度计算15 2 4 1 词语相似度计算1 5 2 4 2 句子相似度计算2 0 3 主观题自动判卷系统2 5 3 1 词语相似度计算2 5 3 1 1 非概念词分布统计2 5 3 1 2 义原相似度计算2 6 3 1 3 概念词的相似度2 8 3 1 4 非概念词的相似度2 9 3 2 句子相似度计算_ 3 2 3 2 1 合并句子单元：3 3 3 2 2 代价函数3 3 3 2 3 改进的编辑距离算法3 4 3 2 4 归一化3 6 4 实验结果及分析3 8 4 1 词语相似度计算实验3 8 4 2 句子相似度计算实验v 4 0 4 3 主观题自动判卷实验4 1 5 总结与展望4 3 5 1 总结_ 4 3 5 2 展望4 3 致谢4 5 参考文献4 7 攻读学位期间发表的学术论文目录5l 原创性声明及关于学位论文使用授权的声明5 3 主观题自动判卷系统的研究与实现 1 绪论 1 1 研究背景和意义 随着计算机技术的高速发展，计算机自动判卷系统在各种考试中有了广泛的应用， 人们应用计算机后台判卷系统来实现对选择题和填空题等客观试题进行判卷，但是针对 问答题或叙述题等主观题的自动判卷几乎没有实际应用。造成这种现象的主要原因是由 于主观题判卷自然语言理解等理论与技术发展的限制，到目前还很不完善【l 】。目前最主 要的评判主观题的方法依然是手工处理，但使用这种方法就会受到多种因素的干扰，最 终影响学生试卷的成绩。如何使用计算机技术来自动的对主观题进行判卷已经成为广大 研究学者积极研究的方向。 目前的教学中，计算机从各个方面都起到了极大的促进作用，在考试方面也是如此， 教师应用计算机从试题库中抽取试题组成试卷，应用计算机生成学生成绩的分析图表等 等。而涉及到计算机自动判卷时，却遇到了困难。因为计算机并不能够准确的判断出主 观题的回答情况，学生的答案可能是多种多样的。解决这个难题有两个方面的考虑，首 先就是避免出现有主观题的试卷，就是将所有试题都设计成选择题的形式，这样可以应 用计算机来实现自动判卷：另1 个解决办法就是在计算机判卷系统中加入主观题判卷的 功能【2 】。 教师在进行主观题判卷过程中，评分的主要参考是学生答案与标准答案的相近程度， 如果学生答案与标准答案相同或意思相近，则学生可以得到该题的全部分数；如果学生 答案与标准答案只有一部分相近，则学生可以得到该题的部分分数；而如果学生答案与 标准答案无关或是与标准答案相违背，则该题不能得分。 如果让计算机来实现主观题的判卷过程，就必须像阅卷教师一样将学生答案与标准 答案进行对比，这就要求计算机能够理解学生答卷的内容以及标准答案的内容，由于目 前人工智能的实现水平还很低，计算机不能够像人脑一样进行逻辑分析，因此如何使用 计算机技术能够近似的模拟人脑进行阅卷工作是本课题研究的主要内容跚。 由于学生答案与标准答案都是自然语言，因此计算机不可能统计出所有可能的答案 情况，对计算机来说，学生答案与标准答案之间的相似性可以作为评判学生分数的标准。 目前自然语言的处理工作已经进行了很多年，积累了一些研究成果，其中对于语句间的 相似性更是产生了多种实现方法。在目前一般处理语句相似度时，采用的方法主要依据 句子的词属性来分析，即从组成句子的各个词之间的相关性来获得整个句子之间的相似 性。但如果两个句子描述的内容相同，但其使用了同一事物的两个不同的同义词，就会 造成语句相似度分析的错误结果。例如“电脑”与“计算机”是一对同义词，如果计算机没 陕西科技大学硕士学位论文 有识别同义词的能力，在处理这两个词的时候就会将其认为是不相关的内容，从而产生 错误的分析结果。而中文处理中存在着大量的同义、近义现象，如果这方面的处理工作 做的不深入，那么最终产生的分析结果也是不准确的。 对于词语之间的相关性，可以参考的资料主要包括使用同义词词林和使用知网 的研究方法。同义词词林是由梅家驹等人编纂而成，并希望依靠大量的同义词库来对 创作和翻译工作有所帮助【4 】。知网( h o w n e t ) 是董振东及董强所开发的用汉语和英语词 的概念为描述对象，并以此揭示概念间具有的关系为主要内容的常识知识库。在知网中 描述了每个词语的属性及其所属的概念类型，通过树状结构的概念描述信息可以获得两 个词语之间的相似度，即两个词语在其概念树状结构中的结点之间的距离。知网可以应 用于词语间的相似度计算，在本课题的研究中使用了知网作为前期的词语相似度计算工 具。 研究如何利用计算机来实现主观题的自动判卷具有很大的理论意义和现实意义。一 方面主观题的自动判卷是应用自然语言处理理论来解决实际问题的研究，其研究过程包 含自然语言处理的一些关键处理内容，如句子的分词，标注，句子相似度判断等等。因 此对主观题自动判卷的研究可以从理论上扩展自然语言处理方向，使其在理论上有更快 的进步。另一方面，从实际教学角度来看，对主观题的自动判卷是各教育机构乃至国家 迫切需要的应用技术，通过计算机判卷系统中的主观题分析模块，可以提高判卷的效率 和准确性，减轻阅卷人的工作负担，在大规模考试的评判工作中其优点表现的更加明显， 教师也可以用计算机的自动判卷结果作为参考来合理的给出学生成绩，因此应用计算机 技术实现主观题的自动判卷有着广泛的实际意义。 1 2 国内外研究现状 1 2 1 国外研究现状 随着计算机技术的高速发展，自动化、智能化教育已经逐渐成为非常有发展前景的 教育模式，改变了长期以来人们的教学习惯以及学习方式。为了进一步加强计算机技术 在教育中的应用，人们将计算机与网络技术不断的应用到新的功能中，在这些新功能中， 应用计算机作为考试系统成为研究学者们关注的重点。在计算机考试系统中包括了自动 组卷、自动阅卷和自动分析等部分，而其中自动阅卷又是所有考试系统子功能中最难实 现的。针对试题中的不同类型，计算机处理的方法是不同的，甚至方法是完全独立的， 在给各种试题评分的过程中，由于客观题基本上都是类似选择或判断这样的题目，在设 计和实现上比较简单，因此对客观题采用计算机自动判卷是容易实现的；而试卷中的主 观题使用计算机来自动判卷的话就会变的非常复杂，一个重要的原因是学生答案是由自 然语言构成的，因此每个学生的答案可能都不相同，这给计算机处理带来了很大的困难， 即使学生表述的内容正确，但是表述内容与标准答案的字面信息不一致，计算机也很难 2 主观题自动判卷系统的研究与实现 做出正确的评价。如果要实现计算机对主观题进行自动判卷，则必须依靠引入自然语言 处理的算法或研究思路。 在国外很多学者致力于主观题的程序自动判卷技术的研究，先后出现了一些不同版 本的自动判卷系统。第一个实现类似功能的判卷系统是1 9 6 6 年开发的p e g 系统【s 1 。在当 时，p e g 系统在对主观题进行评价时得到了与人工评价近似的结果，但系统主要应用的 是对句子的写作方式进行评估，通过统计出句子与标准答案在风格上的近似度来作为评 价句子的标准，没有引入影响系统最关键的自然语言处理技术，没有从理解的角度来分 析答案描述的内容，也没有考虑到词汇的语义，因此其实际应用价值不大。 随着自动判卷系统的研究深入，又出现了一些功能不同的主观题自动判卷系统，如 l s a ，e d u c a t i o n a lt e s t i n gs e r v i c e ，e r a t e r ，a t m 和a u t o m a r k ，但是这些系统在实际应用 中遇到了问题。在l s a 系统中，主要采用的是信息检索方法中用到的文档相似度计算方 法来判断文本的相似性，所以系统比较适用于具有大量文本内容的文章之间的相似度计 算，当要处理的语句的词量不多的时候，由于很多词在句子中只出现过一次或很少次， 词语的统计信息不能完全描述该词在语句中的重要程度，因此在计算相似度时会产生误 差1 6 。e d u c a t i o n a lt e s t i n gs e r v i c e 系统在运行时，首先要加载大量的预处理信息以及人工 设定的环境参数1 7 1 。e r a t e r 在计算学生答案与标准答案时使用整体评分策略，从写作风格、 修辞等角度整体评判作文得分情况，另外系统需要大量的训练数据以建立评分模型，因 此影响了系统的实际应用扩展1 8 1 。a t m 在词语相似度比较时使用了同义词词典，扩展了 词的同义词和近义词，增加了相似度的准确性。但系统实现时需要有较强的语义支持， 由于缺少比较完备的语义词典，因此实现较复杂1 9 1 。a u t o m a r k 系统主要考察句子与标准 答案的相关性，但没有对句子进行错误检查，当句子中出现错字时，系统就认为答案错 误1 1 0 1 。从这些系统可以看出，有没有加入自然语言处理技术对系统的准确性影响相当大。 1 2 2 国内研究现状 在我国关于主观题的自动阅卷技术起步比国外晚，实际可用的判卷系统几乎没有。 随着计算机在教育中的应用越来越广泛，使用计算机来实现自动判卷技术也逐渐引起人 们的关注，在早期计算机判卷技术主要针对的是试卷中出现的客观题，并逐渐表现出其 优势，在对客观题的判卷中，计算机技术逐渐取代了人工判卷，因此节省了大量的人力 物力，另外计算机自动判卷的优点还包括反应迅速、判断准确、不受外界环境干扰，这 些都使得应用计算机来阅卷得到了广泛的实际应用。随着在实际教学中标准化考试的普 及，试卷中的客观题，包括判断题、选择以及具有一个或多个确定答案的填空题的自动 判卷技术已经很成熟，完全可以独立的执行工作，并不需要人的参与；而对于试卷中的 主观题，如论述、简答、写作没有统一答案、要求学生按照要求用自然语言来回答的试 题，由于这方面的试题的自动判卷涉及到了人工智能、模式识别以及自然语言理解等方 陕西科技大学硕士学位论文 面的方法和技术，在实现时需要解决许多技术上的难题，因此主观题的自动判卷技术成 为考试系统中的一个技术难点。国内外的许多学者正在对应用计算机进行主观题判卷展 开广泛深入的研究，并从理论上得到了一些研究成果。 虽然人们研发过一些使用计算机自动判卷的考试系统，但考题大多都是选择或判断 类别的客观试题，有一些文献研究的是计算机程序设计题的自动阅卷，但几乎没有针对 主观性试题的自动判卷系统，一般在标准化试卷中出现的主观性试题，其阅卷过程都是 由教师在计算机上手工完成，根据学生答题情况，将学生答案与标准答案做对比，并以 对比的结果作为学生成绩的参考。在国内应用计算机技术对主观性试题的自动判卷技术 的研究刚刚起步，这方面的相关文献很少。由于在教育系统中自动判卷技术对于实际教 学需要的学生自测作业以及大规模在线考试系统具有非常重要的意义，自动判卷系统不 仅可以节省大量教师在机器上的手工评分的工作，而且能迅速反馈学生的考试成绩或直 接得到考试结果的分析数据。尤其在一些在线学习系统中，试题的组卷与判卷都是系统 后台程序自动完成，及时的成绩反馈信息以及学生针对某些试题的正误情况都可以作为 系统下次组卷的参考信息，这样组卷系统就能够针对这些信息来构建出满足特定要求的 试卷，并动态的调整试题难度大小以及考核的知识点信息和数量等，满足了计算机系统 自适应的扩展需要，而且为多用户系统中的个性化分析提供了技术支持，因而主观题的 自动判卷系统具有很大的实际应用价值，有助于实际教学的发展。 李辉阳等研究了简述题的自动批改技术，应用带权匹配技术实现功能m 】。研究中对 书面语种常见句子进行分析，总结出三种句子形式，根据这三种句子形式以及词语在表 达语义信息上的重要程度不同来确定其权值，通过计算相似度信息并将其作为学生回答 问题的参考，将相似度数值作为学生的试题分值。在计算学生答案与标准答案的相似度 时，先通过对学生答案进行预处理，包括分词及词性标注，然后确定语句所属的句式表 达类型，然后分析学生答案旬中各部分之间的逻辑关系是否正确，根据各部分的重要程 度来确定其权值，最终将处理后的学生答案旬与标准答案进行匹配，将匹配的结果作为 最终处理的结果。从系统的实现过程上看，该系统在处理过程中有一部分模拟了教师阅 卷过程中的大脑思维过程，将人的思维方式进行抽象与简化，按照学生答案与标准答案 的相似程度来作为结果的参考，对本课题的研究工作具有一定的参考价值。孟爱国等采 用的方法与前述方法类似，通过研究分析阅卷教师在审查主观题时的思维运行过程，并 将该过程进行简化，引入了单向贴近度的实现方法设计出基于语句的字面信息匹配的主 观题自动判卷算法，在分析中详细的描述了算法的实现过程以及实验分析结果，并从程 序的执行性能上进行了深入的分析【屹】。采用单项贴近度的主观题判卷系统的设计核心是 试题的得分点以及学生答案和标准答案的贴近度数值，按照算法的运行过程给出了计算 学生答案与标准答案的单项贴近度的过程，在运算前先用设定试题的分值信息以及单项 4 主观题自动判卷系统的研究与实现 贴近度的执行参数。此算法最大的优点是实现起来不复杂，适合于快速开发的需要，但 是由于没有应用到深入的自然语言处理技术，缺少句子的语义分析，所以准确度不高。 高思丹等从句子的相似度角度出发研究了主观题自动判卷技术，采用的主要方法是 基于动态规划的语句相似度计算1 1 3 。算法的主要思想是首先分析学生答案与标准答案的 浅层句法相关信息并通过使用句子中的关键词进行匹配法实现初步的短语级匹配，之后 对整个学生答案句采用动态规划的思想对短语的相似度矩阵进行计算，从矩阵中找出一 条相似度值最大且超过某一个设定阈值的路径，并用该值作为学生答案与标准答案的相 似度，最后给出学生该试题的得分。采用这种形式的相似度计算主要考察的是词的字面 信息的相似度，没有涉及到语义信息，所以精度不高。 针对主观题自动判卷的需求看，主要的难点是解决学生答案与标准答案的相似度计 算，目前已有多种方法用于计算两个句子间的相似度信息的方法。穗志方、俞士汶针对 相似度计算中的语义相关信息提出了基于骨架依存树的中文语句相似度计算方法 1 4 1 ；李 素建在构建相似度计算模型时，综合考虑了知网和同义词词林的使用，提出了基于语句 相关度的定量计算模型【1 5 】；吕学强等在研究句子相似度计算中综合考虑了词表面信息相 似度和词序相似度两个因素，并提出了中文语句相似模型和查找最相似语句的算法 1 6 1 ； 车万翔等在原有编辑距离的基础上加以改进，并通过改进的方法进行相似句的检索； 秦兵等在计算语句间相似度时综合应用了t f i d f 方法以及基于两个句子中语义信息的方 法，面向常问问题集计算问句间的相似度 1 s l 。 在当前的自然语言处理技术水平下，真正可用的主观题自动判卷系统还没有真正的 应用到实际的教学系统中。目前存在的一些主观题判卷系统都是研究者根据特定领域的 需求和设计要求而专门开发的，与该门课程或主观题的表现形式相关，不具有通用性， 为了能够更好的实现主观题自动判卷系统，必须在系统设计中引入自然语言处理技术， 并根据人工判卷中的思维过程来抽象出计算机自动判卷系统模型。这些实现过程与现有 的自然语言处理技术发展水平以及其他学科针对考题类别研究水平相关。由于当前的自 然语言理解水平还处于一个初期应用的水平，特别是在深层语义信息的分析方面有很大 的局限性，使得应用计算机来实现主观题自动判卷系统具有很大的难度。 1 3 研究内容 本文的主要研究内容是采用语句相似度来对学生的主观题进行自动判卷。通过分析 标准答案与学生答卷中的句子的相似度以及汉语处理的特殊性分析，建立主观题自动判 卷模型，同时参考信息检索、问答系统、自动文摘等领域中针对句子相似度的研究成果， 提出适合主观题自动阅卷的语句相似度计算方法，通过对学生答案与标准答案在词形、 词态和词义三个层次计算语句相似度的基础上，增加基于知网的词汇语义相似度计算， 从而提高对答卷与标准答案相似度的计算。 陕西科技大学硕士学位论文 针对课题研究需要，本文研究内容主要包含以下几部分。 1 ) 词语的语义相似度计算算法 主要研究词语的同义词扩展工作以及词语之间的相似度计算，着重实现新的计算词 语语义相似度的方法。 2 ) 语句相似度计算算法 针对主观题自动判卷的实际需要，提出新的相似度计算方法。 3 ) 主观题自动判卷平台设计 主要研究自动判卷系统的平台构成，以及各个模块之间的应用接口设计。 1 4 论文结构 第一章，即本章，对本文所要研究课题的研究背景，目的及意义作了简要的阐述， 说明了课题的研究内容。 第二章介绍了系统相关的理论与技术，包括自然语言处理的理论与技术，中文分词 相关理论与技术，语句相似度计算的技术以及知网的介绍。 第三章从系统实现的角度介绍了系统实现的相关算法，包括词语相似度的计算方法， 语句相似度的计算方法以及主观题自动判卷系统的实现。 第四章从系统实现的各个步骤出发，介绍了各个模块的运行实验结果，并对结果进 行分析。 第五章是对研究课题的总结。 6 主观题自动判卷系统的实现依赖于多个研究领域的理论融合，以及其他相关软件的 辅助实现。本章介绍系统所依赖的主要技术及其他工具，包括自然语言处理、中文自动 分词、相似度计算以及知网。 2 1 自然语言处理 自然语言处理( n a t u r a ll a n g u a g ep r o c e s s i n g ，n l p ) 也称为自然语言理解( n a t u r a l l a n g u a g eu n d e r s t a n d i n g ，n l u ) 或者计算语言学( c o m p u t a t i o n a ll i n g u i s t i c s ) ，是人工智 能领域中非常活跃的一个研究方向，其主要研究内容是利用计算机来理解自然语言的科 学1 1 9 ) 。从计算机诞生的那一天起，人们就开始试图研究用计算机处理自然语言。通过几 十年的研究，人们逐渐的形成了两种基本的处理方法：理性主义和经验主义。 自然语言理解作为一门学科其诞生的时间不长，自然语言理解所研究的主要内容包 含很多领域，如语言学、心理学、认知科学、逻辑学、生物学、声学、数学以及计算机 科学等等，在这些领域的交叉应用中，又以语言学为最根本的研究。当前研究学者针对 自然语言理解的研究已经逐渐包括了语音学、音系学语法学、认知科学、语义语言学、 语用语言学等的知识，并从实际应用的角度向现代语言学提出了一系列的需求与问题。 进入二十一世纪以来，自然语言理解所要处理的中心难题是人类的语言是怎样从大脑中 组织起来并向外界传输信息的，而人们在面对自然语言文本或是声音片段中又是怎样从 中提取信息的，作为人工智能学科的一个重要分支，自然语言理解的研究工作当前还处 于较低的水平。 最早从事自然语言理解的研究工作是乔姆斯基上世纪6 0 年代开始研究的语言学理 论，在当时产生了很广泛的影响，很多研究学者都从语言学理论开始研究自然语言处理 工作，并产生了一些实际成果，其主要是从语言规则的角度出发，研究语言的逻辑结构， 并试图通过一个标准化的语言模型来表示语言。主要的研究成果有两个方面，分别是语 音信息的理解和书面信息的理解。语音信息的理解主要是通过语音输入设备来获取外界 的语音信息，并通过计算机内部的处理程序来将音频转化为文字信息来输出。语言信息 处理主要采用的方法是将一些文字或单词的声学信息保存在计算机中，并使用这些信息 来匹配输入的语音信号信息。经过这个步骤之后还需要进一步的处理，因为仅仅凭声学 信息模式还无法辨认不同的话语之间、人和人之间、声音的先后发音之间的语音细微差 别，同时也无法辩认一个连续的语音流中的变化，因此必须综合应用语言学的知识，将 处理后的音频信息做进一步的切分和单词识别工作，分析出句子的句法结构和语义信息， 才能真正的理解语音内容。从6 0 年代初期一直到7 0 年代初期，研究学者一直将工作停 7 陕西科技大学硕士学位论文 留在具体的单词的语音识别上，并没有太大的进展。7 0 年代中期，研究学者建立了一个 实验系统，使得系统能够理解连续语音中的内容信息，主要能识别一些简单的没有复杂 词汇的的语句。 书面信息理解的处理对象是计算机中保存的文本信息，例如一些文本文件或网页信 息文件，这些都是人工输入或从网络获取的内容，计算机将这些文本内容作为输入信息， 并对内容进行分析处理，最后反馈的也是一些文本内容，作为计算机对输入文本的回答 内容。计算机处理文本内容的进展较快，在7 0 年代初期就已经有了突破，后来又一直不 断的发展，同时也产生了很多新的理论和方法。当前的书面信息理解系统已经能够在一 定的主题范围内检索资料，或是针对某一领域自动的回答问题，阅读一篇文章并理解其 中的关键信息，自动将一种语言的文本翻译成另一种语言的文本等，并且已经有了一些 实际应用的系统在使用书面信息理解。 在世界范围内，绝大多数语种所使用的是拼音文字，因此计算机识别拼音字母的工 作已经没有问题，并且文本内容的输入又是按单词分别拼写，中间有空格或者其他符号 分隔，书面信息理解没有切分音节和单词的问题存在，只需要从句子中直接分析出词汇、 句法和语义信息。对于中文来说，汉语用的是汉字，在文本信息中字与字、词与词之间 没有任何分隔信息，对于汉字信息的输入需要解决的一个难题就是切分单词。书面信息 理解的主要方法是将固定的词汇信息表、句法规则、语义规则、逻辑推理规则和领域知 识保存在计算机中。当有中文语句输入后，系统自左至右逐词扫描语句，根据词汇信息 表来辨认每个单词的词义和使用方法；然后根据句法规则确定词汇短语和句子的组合信 息；之后通过语义规则和逻辑推理规则获取输入语句包含的深层语义信息；最后查询领 域知识库，根据知识和自然语言生成规则组织出相应的语句作为回答来输出。已建成的 书面信息理解系统使用了不同的理论和方法，包括生成语法、系统语法、语义语法以及 格语法等等，都在实际应用中有一定的成效。 对于书面信息的理解工作当前主要存在两个难题：首先，语法分析理论限于分析文 章中一个孤立的句子，即缺少上下文信息和具体的语境信息，另外还缺少领域知识信息， 这些都影响系统执行的效果。在语言处理中经常会遇到的难题是分析句子包含歧义的字 或词、词语部分省略以及代词所指信息。另外同样的一句话在通过不同的人在不同的场 合说出来也包含有不同的含义，并且这些难题并没有明确的规律可以遵循，需要研究学 者加强语用语言学的研究归纳才能解决。另外，人们在分析一个句子或一篇文章时不但 依靠语法知识，同时还运用了大量的经验知识，例如生活知识、常识信息以及专业知识 等等，这些知识无法以合理的组织结构贮存在计算机里，只能从实验的角度来模拟一些 常用知识库来作为知识信息存储。因此从实际开发的角度看一个书面信息理解系统只能 构建在依靠词汇、句法结构和特定的领域范围内，当前大量的研究工作都是从受限领域 8 主观题自动判卷系统的研究与实现 出发。 在人们试图使用计算机来代替人类进行脑力劳动时，有两种实现方法：一种是让计 算机模拟人类大脑的计算过程，如四则运算；另一种是按照新的方法进行涉及，与人类 的大脑运算完全不同，如计算机使用信号处理的原理来进行语音识别的工作原理和人类 的听力原理完全不同。在上世纪自然语言处理早期，研究学者主要使用和人完全不同的 “分析方式”，然而遭到了挫折 2 0 l 。有学者提出自然语言处理需要回归到模仿人识别、理 解、掌握自然语言的方式。 n l p 技术通过分析一个句子的语义信息来与另一个不同的句子进行相关度匹配，并 试图找出两个句子是否表达的同一个意思。n l p 技术已经被应用于大规模t r e c 语料库， 并获得了一定程度的成功 2 1 1 。尽管研究学者声称，要使计算机语言处理达到其最佳潜能， 必须对自然语言文本进行更深层次的语义分析。但是，自动语义分析技术能否带来显著 的性能提高仍然有待证实。 2 2 中文自动分词 在中文信息处理中，词是最小的能够单独作为语义单元的有意义的语言结构成分， 汉语书面信息书写的单位是单个字，并且在每个词之间没有采用类似英语的空格符号来 切分，这给中文信息处理带来了很大的困难，并且随着汉语中每个字的语义信息不断增 加，对中文文本信息进行词法分析已经成为影响后续分析处理的重要环节，也是本课题 研究的主观题自动判卷系统中计算语句相似度过程中的一个重要环节矧。中文词语切分 也叫做中文分词，是文本信息处理第一个步骤，同时也是语法、语义和语用分析的第一 步，分词处理提供给后续操作的是一个切分好的词序列，有时根据需要还有标注上每个 词的词性信息。由于词语切分工作的重要性，在汉语处理中，分词是很有必要的一个工 作，同时也是重要的前期预处理工作，其处理结果直接影响到整个系统性能。 最早开始中文自动分词的工作始于上世纪8 0 年代，当时许多研究学者致力于将连续 的中文句子分割成单独的有语义信息的词串，从理论和实际应用上取得了一些突破性的 成果。在分词的过程中，研究学者也发现了二些新的难题影响分词的结