（计算机应用技术专业论文）基于向量空间的文本自动分类系统的研究和实现.pdf

兰州理t 大学硕上论文摘要 基于向量空间的文本自动分类系统的研究和实现 摘要 本文首先介绍了自然语言理解的一些基本概念和文本自动分类的背景，系统讨论 了文本自动分类与信息检索和信息抽取等领域的紧密联系，深入研究了实现中文文本 自动分类系统所涉及的各个方面的理论和技术。对文本分类中所涉及的关键技术，包 括向量空间模型、特征提取、机器学习方法，进行了详细的理论阐述和算法描述，并 借鉴了其他文本自动分类系统的优点，充分考虑了系统的召回率、准确率和系统可实 现性。 然后，本文提出了一个文本自动分类系统的实现方案，给出了一个基于向量空问 模型的文本自动分类系统的体系结构，借鉴了中科院的汉语词法分析系统i c t c l a s 利 概率句法分析器p r o p 对文本进行了分词和句法分析，使从文本抽取出的索引项更大 概率的趋向于焦点词，从而提高了系统的准确率和召回率，并利用j a v a 技术对中文 文本自动分类系统的功能模块进行了实现。在实现过程中，对分类算法一简单向量距 离分类法进行了改进，提出了阈值的概念，进一步加强了系统的分类功能。 最后，针对本系统在分类的准确率上不太理想的现状，对本课题下一步要研究的 内容进行了系统地总结，并提出了自己的一些看法。 关键词：信息抽取；信息检索；句法分析；汉语切词；阈值i 文本分类 中文信息处理；向量空间模型 兰| 理工大学硕十论文 a b s t r a c t r e s e a r c ha n di m p l e m e n t a t i o no ft e x tc a t e g o r i z a t i o ns y s t e m b a s e do nv s m a b s t r a c t t e x tc a t e g o r i z a t i o na d o p t ss o m et e c h n i q u e so fn a t u r a ll a n g u a g eu n d e r s t a n d i n g s o w ef i r s t l yd e s c r i b es o m eb a s i cc o n c e p to fn a t u r a ll a n g u a g eu n d e r s t a n d i n ga n dt h e b a c k g r o u n do ft e x tc a t e g o r i z a t i o n a n ds y s t e m a t i c a l l yd i s c u s s e st h er e l a t i o n s h i po ft e x t c a t e g o r i z a t i o n ，i n f o r m m i o nr e t r i e v a la n di n f o r m a t i o ne x t r a c t i o n i td e e p l ys t u d i e st h e r e l a t e dt h e o r ya n dt e c h n o l o g yt h a tc a nr e a l i z ec h i n e s et e x tc a t e g o r i z a t i o n a n di tg i v e sa r e s e a r c ht os e v e r a lk e yt e c h n i q u e sa b o u tt e x tc a t e g o r i z a t i o n ，i n c l u d i n gv e c t o rs p a c e m o d e l ，f e a t u r ee x t r a c t i o n ，m a c h i n el e a r n i n g t h e nc o n s i d e r i n gt h es y s t e m a t i cr e c a l l ， p r e c i s i o na n df e a s i b i l i t y t h e n 也i sp a d e r p u t s f o r w a r dar e a l i z e d p r o j e c to fc h i n e s et e x ta u t o m a t i c c a t e g o r i z a t i o na n dd e s c r i b e sat e x tc a t e g o r i z a t i o nm o d e lb a s e do nv s m t h a tt h e r e a l i z a t i o no fs e g m e n t a t i o na n ds y n t a c t i ca n a l y s i so ft e x tb vw i mo fc h i n e s ep h r a s e a n a l y s i ss y s t e m i c t c l a sa n dt h es y n t a c t i cp a r s e rb a s eo np c f g p r o po fc h i n e s e a c a d e m yo fs c i e n c e s i tm a k e st h ei n d e xi t e r ne x t r a c t e df r o mt h et e x tt oh a v em o r e p r o b a b i l i t yt r e n d yt o w a r d st h ef o c u sw o r d 刀m si m p r o v et h es y s t e m a t i cp r e c i s i o na n d r e c a l l - t h ep r a c t i c et os o m ef u n c t i o n so f t h ew h o l es y s t e mh a sb e e nc a r r i e do nu s i n gj a v a t e c h n o l o g y i nt h ep r a c t i c e ，i ti m p r o v e st h ec a t e g o r i z a t i o na l g o r i t h ma n dp u tf o r w a r dt h e c o n c e p to ft h r e s h o l d i te n h a n c e st h ec a t e g o r i z a t i o n f u n c t i o no ft h e s y s t e m a t i e r r e a l i z a t i o n ，i tg i v e st h ee v a l u a t i o n sa n dr e s u l t s f i n a l l y , b e c a u s et h ep r e c i s i o no fc a t e g o r i z a t i o ni sn o ti d e a l ，t h en e x tc o n t e n bo ft h i s s u b j e c ta r es u m m a r i z e ds y s t e m a t i c a l l ya n ds o m es u g g e s t i o n k e yw o r d s ：i n f o r m a t i o ne x t r a c t i o n ；i n f o r m a t i o nr e t r i e v a l ；s y n t a c t i cp a r s i n g ； c h i n e s ew o r ds e g m e n t a t i o n ；t h r e s h o l d ；t e x tc a t e g o r i z a t i o n ；c h i n e s ei n f o r m a t i o n p r o c e s s i n g ；v e c t o rs p a c em o d e l l i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了论文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得兰州理工大学或其他单位的学位 或证书而使用过的材料。与我共同： 作的同志对本研究所作的贡献均已在论文中作 了明确的说明。 作者掺名 f i ；【 j ：盘喳年互月上一h 关于学位论文使用授权说明 本人了解兰州理工大学有保留、使用学位论文的规定，即：学校有权保留学位 论文，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可 以采用复印、缩印或其它手段保存学位论文；学校可根据国家或甘肃省有关部门规 定送交学位论文。 作斯签名：互址导师签名 网 t 目刮 - - - l _ - _ 上 i 毋：逸q 年量j i 上i 兰州i 理工夫学硬十论文 第一章绪论 第一章绪论 1 1 背景 由于以因特网为主体的信息高速公路的不断普及和发展，信息技术已经渗透到 我们社会生活的各个角落，以前所未有的速度和能力改变着人们的生活和工作方 式，人们真正处于一个“信息爆炸”的时代。一方面，因特网上蕴含的海量信息远 远超过人们的想象；另一方面，面对信息的汪洋大海，人们往往感到束手无策，无 所适从，出现了所谓的“信息过载”和“信息迷向”的现象。于是，一个极富挑战 性的课题：如何帮助人们有效的选择和利用所感兴趣的信息，尽量剔除不相关的信 息，同时保证人们在信息选择方面的个人隐私权利，成为学术界和企业界所关注的 焦点。 在线文本日益增多，其中包括新闻、电子杂志、电子邮件、技术报告、文档以 及网上图书馆。如此众多的信息，紧紧依靠大脑来收集和整理所需要的信息显然是 不够的。所以，自动收集和整理所需要的各类信息，成为信息产业面临的新的挑战 和新的发展契机。根据不同的应用背景和不同的使用目的，信息处理技术已经演化 为信息检索、信息过滤、信息分类等方向。由于，目前网上信息的表现形式大多数 为文本，而且文本也是广大用户所习惯接受的形式，因此，本文主要讨论文本分类 的处理技术。 文本分类与文本处理领域的其他分支有十分密切的联系( 如文本检索、文本浏 览和文本摘要等) 。文本分类就是按照文本的主题以及事先制定的类别系统将具体 文本划归适当类别。现在许多检索工具网站，文献大多是通过手工分类，这样就大 大的浪费了人力和财力，也大大影响了网页的覆盖率。 文本自动分类技术是当今信息检索和情报检索的一个重要研究课题1 1 j ，本论文 把信息检索和信息抽取技术融合到了文本分类中，使文本分类更具有智能性，提取 出的关键词表也更加完善。最后在论文的第六章，提出了一套文本自动分类系统的 实现方案，并给予了部分实现。 1 2 中文搜索引擎的现状和不足 首先，介绍一下有关中文搜索引擎的内容。因为本论文的课题来源于甘肃省科 技攻关项目- - i n t e r n e t 智能信息搜索系统的研制，本论文研究的中文文本自动分类 系统也是智能信息搜索引擎中的一部分。 1 2 1 中文搜索引擎的现状 从1 9 9 4 年起，i n t c m e t 在中国开始蓬勃发展。从1 9 9 7 年国内开始发展面向中文 信息检索的中文搜索引擎【2 j l ”，到目前已经投入使用或试运行的主要有以下几个： 搜狐( h t t p ：w w w s o h u c o r n c n ) ：“搜狐”是由爱特信公司于1 9 9 8 年2 月2 5 日 在京隆重推出的有“中文网路神探”之称的大型网上中文查找工具，其技术是由麻 省理工学院支持的。它是以提供分类目录为主的中文搜索引擎，其分类原则是以图 书分类为基础，与日常应用习惯相结合，由编辑人员分类，因而分类质量较高，但 兰卅l 理工人学坝士论文 第一章绪论 更新速度慢，查全率较低。 天网( h t t p ：e p k u e d u c n ) ： “天网”是由北京大学订算机系统网络研究室开发 的网页资源索引的查找服务系统，是c e r n e t “九五”攻关项目的一部分，信息来 源是国内c e r n e t 、c h i n a n e t 、c a s n e t 、g b n e t 四大网络，采用r o b o t s 自动发现 和收集信息。该系统有中、英文两个界面，可进行中英文关键词的检索，支持复杂 查询，检索速度快，反馈信息丰富，包括网址、摘要、最后修改时间、长度、相关 度、编码类型等。 新浪( h t t p ：w w w s i n a ，t o m c a ) ：“新浪”是最大的中文门户网站，收录了全球资 讯逾万的中文网址，并分成娱乐休闲、商业经济、社会科学、教育就业、社会文化、 参考资料、政法军事、体育健身、科学技术、新闻媒体、文学艺术、电脑网络、医 疗健康、生活服务、参考资料、国家地域等1 5 大类，其下分多个小类；并提供了 中文关键词的搜索功能。 百度( h t t p ：w w w b a i d u c o r n ) ：由1 9 9 9 年底成立于美国硅谷的百度公司 ( b a i d u t o m ，i n c ) 开发。采用了基于超链分析的方法进行相关度评价，能够客观分 析网页所包含的信息，提高了检索结果相关性。为用户提供“网页快照”功能，在 快照中对用户的查询字符串用不同颜色在网页中标记，方便了用户的查询。 搜索客( h t t p ：w w w c s e e k c o m ) ，1 9 9 7 年1 1 月3 日，c h i n a b y t e 公司在北京发 布了中文搜索引擎“搜索客”。它采用机器人自动搜索技术，快速、准确地自动抓 取新增站点，并及时更新已抓取的站点。它还兼容中文简体( g b ) 和中文繁体( b i g 5 ) 两种检索方式。 悠游( h t t p ：w w w g o y o y o t o m c a ) ，悠游是由香港联克公司和北京优联克科技 开发有限公司共同开发的。它能对网上新网页和每日更新的信息进行自动搜索、识 别，并对电脑、科技、社会、时事、财经等1 2 个主题进行分类。它还能自动转换简 繁体，自动收集英文、中文国标码和大五码的网页。“悠游”不仅仅是一个中文搜 索引擎，而且能使用先进的技术，减少人工介入的工作量，进行大规模的中文信息 处理。 雅虎中文版( h t t p ：y a h o o t o m c n ) ，雅虎公司于1 9 9 8 年5 月4 日新设立的中文搜 索引擎。它并非英文版的全文翻译，而是按照英文版的铺排方法，将1 万多个中文 网址以1 4 个类别列出，提供i n t e r n e t 网上的中文站点目录信息检索服务，用户可以 利用繁体或简体中文进行搜索，返回的结果有序而连贯，但对结果的描述很概要。 目前，各种中文搜索引擎的数量越来越多，但是都有局限性【4 j 【5 ”j ，有的只适合 某个领域，查全率低，有些比较全面的又需要有大量的专业人员分类、索引，成本 高，更新时间长。总之，这些搜索引擎都有待改进。 1 2 2 中文搜索引擎的不足 由于网上信息呈现出的无组织、多结构、更新快等特点，导致搜索引擎信息检 索的查全率、查准率较低。这里，把中文搜索引擎的主要不足统计如下： ( 1 ) 搜索引擎对自然语言提问没有理解能力1 7 j i 驯； 目前，大多数搜索引擎只提供分类浏览的查询方式和关键词全文检索查询方 式，不支持自然语言理解； ( 2 ) 网络信息不断更新与搜索引擎相对不便之间的矛盾1 9 】； i n t e r n e t 上的信息源是动态变化的，搜索引擎无法做出调整，使用户及时得到 有关的信息； 兰仆l 理工人学硕上论义第一章绪论 ( 3 ) 没有用户兴趣反馈服务【1 w ； 没有个性化服务，对用户一贯查询的信息进行重复查找，也不能对用户的意见 进行跟踪，获取用户对查询结果的评价，以便为以后的查询做预先分析； ( 4 ) 收集范围有限1 i n t e r n e t 上信息资源具有分散、多结构、多服务类型的特点，搜索引擎很难收集 到全部信息，一般只能收集很少的一部分； ( 5 ) 用户和检索系统的交互方式比较单调。 现有系统普遍采用相关反馈技术作为用户和系统进行交互的主要手段，但这种 反馈相当简单，只停留在用户满意、不满意、一般这一层，并没有进行推理或机器 学习。 传统的搜索引擎归纳下来主要有两大缺点：1 分析索引模块中未采用自然语言 理解技术，导致无法分辨自然语言中的语义模糊性：2 人机界面单调，使用效率低， 检索方法不强大。 本文研究设计的中文文本自动分类系统就是针对上述第一个缺点进行的。该系 统可以应用在搜索引擎豹分析索引模块中，由于本系统中引入词法分析和句法分析， 实现了文本的分词和句法分析，也把自然语言技术引入了搜索引擎的分析模块中，使 搜索引擎增强了对自然语言的识别功能。 1 3 新一代智能搜索引擎的架构设计 新一代的智能搜索引擎主要针对传统中文搜索引擎的两大弱点，设法在知识标 引和良好的人机界面上从计算语言学研究成果中得到新的解决方法。这里，把自然 语言理解的相关内容更多的应用到有效检索的过程中是至为重要的。 系统的整体架构划分为五个主要模块；搜索模块、分析模块、数据库模块、检 索模块和人机界面模块。系统的结构框图如下所示。 图卜l 新一代智能搜索引擎的结构框图 兰州理1 = 大学硕上论文 第一章绪论 自然语言理解在中文智能搜索引擎的应用主要体现在两个方面。一个是在人机 界面中，另一个是在分析模块的对文档的处理过程中。 1 3 1 在人机界面中的应用 人机界面，即为人机进行对话和检索答案提供方式与提供形式。传统的人机界 面一般采用“按关键词检索”、“按作者检索”以及“按标题检索”等方式，即用户 输入想要查找文档的关键词、作者或标题，系统给出满足用户需求的相应文档。 但用户的需求往往是模糊的，让用户明确地提出要检索的关键词、作者或者标 题是比较困难的，这就要求有更自然的方法进行检索。所以，新一代智能搜索引擎 都采用自然语言提问方式组织人机界面。这样的人机界面更加友善，也增加了系统 的易用性，现在已成为检验现代检索系统最重要的指标之一。 1 3 2 在分析模块中的应用 自然语言理解相关技术在这个模块中的应用主要是用于文本自动分类，传统的 搜索引擎主要是依靠人工对文档进行分类，这样大大浪费了人力和财力不说，也大 大限制了检索工具检索的页面数目。新代的智能搜索引擎利用自然语言理解中的 分词、句法分析和语义分析技术来对文档进行自动分类，克服了传统的搜索引擎的 缺点，也提高了关键词提取的正确性和全面性，从而全面提高了搜索引擎的j 下确率 和召回率。 1 4 课题来源 本课题来源于甘肃省科技攻关项目- - i n t e r n e t 智能信息搜索系统的研制( 编 号：g s 0 2 1 一a 5 2 5 4 ) 。该项目主要探讨和实现基于i n t e r n e t i n t r a n e t 的主动性、 自然语言的理解、智能搜索引擎和智能浏览器制作的关键技术与信息过滤、信息检 索、潜在语义索引等实现方法以及数据库的接口及网络数据库模型的探索与实现。 1 - 5 本文的研究内容 本文主要研究和实践了一个完整的中文文本自动分类系统。首先介绍了自然语 言理解的一些基本概念和文本自动分类的背景。系统讨论了文本自动分类与信息检 索和信息抽取等领域的紧密联系，并对文本分类中所涉及的关键技术，包括向量空 间模型、特征提取、机器学习方法，进行了详细的理论阐述和算法描述。 本文接着提出了一个文本自动分类系统地实现方案，给出了一个基于向量空间模 型的文本自动分类系统的体系结构，并借鉴中科院的汉语词法分析系统i c t c l a s 和概 率句法分析器p r o p 对文本进行了分词和句法分析，使从文本抽取出的索引项更大概 率的趋向于焦点词，从而提高了系统的准确率和召回率。在本文中，还利用j a v a 技 术对整个中文文本自动分类系统的功能模块进行了实现。在实现过程中对分类算法 一简单向量距离分类法进行了改进，提出了阈值的概念，进一步加强了系统的分类功 能。在系统实现后，给出了评估方法和实验结果，并提出了参考意见。 最后，针对本系统在分类的准确率上不太理想的缺点，对本课题下一步要研究的 内容进行了系统地总结，并提出了自己的一些看法。 4 兰州理工大学硕士论文 第二章自然语苦理解概述 第二章自然语言理解概述 本论文所讨论的内容，包括信息抽取、信息检索和文本自动分类都是隶属于自 然语言理解方面的研究内容，因此在本章介绍一下有关自然语言的内容1 3 1 4 1 。 2 1 自然语言理解的基本概念 2 1 1 什么是自然语言 自然语言是相对于人工语言而言的。自从计算机问世以来，人工语言的研究就 蓬勃发展，已有数百种语言诞生，其中大部分人工语言随着计算机机型的淘汰而消 失了。自然语言是随着人类的诞生而产生的，随着社会的发展而发展。经过漫长的 社会演变，己形成了如今的八大语系：汉藏语系、印欧语系、亚非语系、阿尔泰语 系、乌拉尔语系、尼日尔一刚果语系、马来玻里尼西语系和德拉维达语系。现已查 明全世界有5 6 5 1 种不同的语言或方言。使用人口最多的自然语言如汉语、英语、 俄语、日语、法语和德语等。自然语言是人类用于交际和思维的主要工具。 2 。1 ，2 什么是自然语言理解 自然语言理解是指计算机理解自然语言。因此，自然语言理解分为两个方面： 书面语言的理解和口头语言的理解。所谓书面语言理解，是指将文字输入计算机， 计算机识别和理解文字、词、短语、句子、段落和篇章，使计算机“看懂”输入的 文字，并按照指定的目标做出相应的回答或反应。所谓口头语言理解，是指用口语 对计算机讲话，计算机识别和理解语音输入，把语音的音节流变换成文字流，然后 再按照书面语言理解，计算机“看懂”输入的文字并做出相应的回答或反应，最后， 利用声音合成将回答转换成声音输出。这就要求计算机具有“听懂”、“看懂”和“说 话”这三种本领。由此可见，自然语言理解的任务很艰巨。 2 1 3 关于理解 应该说各门学科都对自然语言感兴趣，并经过长期研究，站在本学科的侧面对 其做出解释。就“理解”而言，从事不同学科研究的学者，就有不同的说法。计算 机学者、人工智能学者或者智能工程人员，对理解的基本看法是属于行为或功能的 刺激反应论，由刺激而激发起系统的加工活动，最后的反应是输出一种行为或 一种功能。只要行为或功能正确，就是正确的理解，否则，就是错误的理解。因此， 美国认知心理学家g m o l s o n 曾提出四条语言理解的标志： ( 1 ) 能成功地回答输入语料中的有关问题； ( 2 ) 在接受一批语料之后，有就此给出摘要的能力； ( 3 ) 能用不同的词语复述所输入的语料； ( 4 ) 有从一种语言转换成另一种语言的能力。 本论文实现的文本智能分类系统就是属于其中的第二个系统。 兰州理工人学硕十论文第一二章自然语苦理斛概述 2 2 自然语言理解的困难度 自然科学研究和发现自然现象的规律，社会科学研究和发现社会现象的规律， 而思维科学只研究思维的规律和方法，不研究思维的内容，内容的研究是其它科技 部门的事。这样，就将宇宙中的一切事物，都包含在自然科学、社会科学和思维科 学之中了，其他各具体学科都隶属于三大领域之下。如形式逻辑只研究思维形式的 结构及其规律、规则，以及思维过程中经常使用的一些逻辑方法，不研究思维领域 的所有内容。当然，自然语言理解尚不成为一门学科，目前公认，自然语言理解隶 属于人工智能这一门工程技术。它研究的领域涉及面较广，它不仅要研究语言的规 律、交际的规律，也要研究思维的规律和规则，以及它在语言形式中的反映，还要 涉及到用语言描述的具体内容的某些规律，因此，自然语言理解是一个很难的课题， 它主要表现在： 1 语言规律难 语言难是众所周知的，冯诺依曼曾指出：人脑的语言不是数学的语占，思想 和语言存在不确切性，也就是说：人的思维和语言不是一个形式系统。近期的美国 学者也曾断言：自然语言理解根本不可能实现。乔姆斯基把语言看成：每个句子的 长度及其基本结构成分是有限的，一切口头形式的或者书面形式的自然语言，都是 这一意义上的语言。又说：l 语的语法就是生成符合l 语语法序列而不生成不符合 它的语法序列的一种手段。而今，人们深感不仅要研究语法，同时要研究语用和语 义。也就是说，语法、语义和语用要三位一体来研究。现在沿着这条路，已经能够 用计算机进行所谓自然语言分析了。较实用的机器翻译系统和智能文本分析系统也 在不断的出现。但是语言难点极多，就三段论推理而言，如：马克思主义者要实事 求是，我们是马克思主义者，所以我们要实事求是。这是完整的三段论推理，它是 由三个性质判断组成的，其形式为m a p + s a m s a p 。这种三段论的形式属于第一格第 一式a a a 。这里从语言学角度要研究的内容有： ( 1 ) 性质判断的联项一般不能省去，然而，从语言形式上看，有时可以省去。 如：这个孩子是聪明过入的一这个孩子聪明过人。 ( 2 ) 量词的表示形式。逻辑学中量词只分两类：存在和全称量词。自然语言+ 中 的量词大于这两种。如单称量词的语词形式有：这个、那个、你、我、他、一个以 及专有名词或数量为单数的名词；特称量词有：有些、一些、某些、部分等词，以 及非单数的量词短语；全称量词有：全部、一切、每一个、各个等表示论域中的每 一个的词语形式。 ( 3 ) 除了特称量词外，有些量词在某些语境下可以省去，这种省略的规律如何 界定。 ( 4 ) 对概念外延进行限制的短语中，量词和其他限制词的排序规律。 ( 5 ) 性质判断由肯定进入否定，否定词“不”、“非”、“无”等的选定规则，概 念变为矛盾概念的否定词的选定的规则，及这些否定词与动词或名词前的其它词排 序的规律，都需深入研究。 2 思维规律难 语言难，思维更难。在某种情况下，二者是不可分割的。自然语言理解研究思 维规律是紧密结合语言的。如判断、推理是思维规律，仅就演绎推理就有：联言推 理、直言推理、直占三段论推理、假言推理、选言推理和二难推理等。 “我们是马克思主义者，我们要实事求是”。“马克思主义是真理，因此，它是不怕 兰卅l 理丁大学硕士论文第二章自然语言理解概述 批评地”。“既然真理是不怕批评的，所以，马克思主义是不怕批评的”。“马克思主 义是真理，而真理是不怕批评的”。上面这些例子都是直言三段论推理，只是它们 各自在一定制约条件下的省略三段论形式。在自然语言中，完整的三段论形式是少 有的，不完整的三段论形式是常见。因此，我们要研究三段论的语用规则：在什么 情况下，可省去大前提，或省去小前提，或省去结论等。 3 内容难 自然语言理解要研究语言规律，要研究与语言结合在一起的思维规律，同时， 也涉及到用自然语言按一定的思维方式描述的客观内容。我们不是去研究、发现这 些内容的规律，而是涉及它们在口语或书面语中的表现形式。或者说内容就是论域 的指示，我们不仅要掌握语言已表达的显式知识，而且还要掌握语言未表达的隐式 知识。例如，上例中的三段论推理中的省略知识，要将它们恢复成完整的三段论推 理形式，即成为： “马克思主义者是实事求是的，我们是马克思主义者，所以，我们是实事求是 的”。 “马克思主义者是真理，真理是不怕批评的，因此，马克思主义是不怕批评的”。 这种恢复技能，不仅仅要有语言知识、思维知识，同时，也涉及到各个领域的 有关知识。 2 3 自然语言理解模型 这里叙述的自然语言理解模型，指的是站在计算机立场上的自然语言理解模 型。 1 目标或任务模型 目标： 捌i 信息( a ) 焉娶信息( 例) 另 戳 删i i 思想( a ) 卜磊_ 思想( 计算机) 其中a 是人或计算机。模型i 是人一机接口装置，是一个智能接口部件，它包括 声音识别和理解的输入输出系统；图形、图像识别和理解的输入输出系统；语言文 字的识别和理解的输入输出系统，以及这三者的集成系统。模型i i 是指人和计算机 之间交流思想，是通过自然语言这个工具进行的，或对用自然语言记载的信息进行 加工处理。这两个模型的目标树如下图所示，也向我们提出如下的问题： ( i ) 声、图、文信息能否在人机间进行传输； ( 2 ) 计算机能否理解自然语言： ( 3 ) 计算机能否思维； ( 4 ) 计算机如何模拟人的思维； 只有在理论上回答了这些闯题，在实践上解决了这些问题，才算完成了自然语言理 解的目标与任务。 兰州i 理_ t 大学硕士论文 第- 二章自然语著理解概述 l 自然语言识另 兰耋篓i 鍪霍妻豸豢 i m f m 。 自然语言生_ 耋：圣嚣孽 | 耋| | 嚣 图2 - 2 自然语言理解层次模型幽 兰州理工大学硕十论文第一二章自然语者理解概述 在上图中，足是第i 层的规则系统，f 是第i 层对i 一1 层的制约条件。此模型分五 个层次：分词层、短语层、语句层、段落层和篇章层。分词层是把彼此间没有符号 隔开的文字流( 书面语言) 或音节流( 口头语言) 在规则r 的作用下，变换为一个 个词组成的词序列( 或称词串) ，而词序列的n 三确性是受到上一层只的制约条件的 限制。短语层是把彼此孤立的词串在规则r ，的作用下，变换为一个个短语组成的短 语序列( 或称词组串) 。依此类推，把第i l 层的输出，作为第i 层的输入，通过 第i 层的规则将i 层的输入变换为i 层的输出。而输出的正确性是受到第i 层f 。的 制约条件验证的。 2 4 语言及汉语的特点 从自然语言的功能模型上可以看出，语言既是交际的工具，又是思维的工具。 这个工具确实是触摸不到的，而且一下子全部显露出来也是做不到的，它只能在个 别说话者的部分表演中，或在书面语言的表演中，不完全地表露出来。交流思想时， 双方使用这个工具，可以说是运用自如地表达自己的思想，因此，语言具有它独特 的特点 1 5 a 6 , 1 7 】。 2 4 1 自然语言的基本特征 1 任何自然语言都是简约性和复杂性的统一体。 自然语言是一种复杂的符号系统，它的特定符号与特定的概念相对应。从而使 符号与概念联系在一起。语言有两个基本表现形态，即书面语言和口头语言，用它 来表达自然现象和社会现象，从而达到交流思想的目的。现象的复杂性决定了表达 现象的语言的复杂性。语畜既可以描述一维的线性现象，也可以描述多维的立体的 现象。语言是由相互依赖的诸成份组成的系统。也可以说是符号及符号之间的诸多 关系而构成的结构，因此，语言是个复杂的系统。但是，任何自然语言还具有简约 性。复杂的语言系统可以用最简单的规则粗略的解释。最基本的语言知识几乎轻易 的就能掌握。这就保证了本民族的成员都能掌握本民族的语言。因此说语言是复杂 性和简约性的统一体。 2 任何自然语言都是稳固性和变化性的统一体。 语言的稳固性是由其作为交流思想的工具这一特性决定的。语言如果经常变 化，人们就无法用它交流思想。但是从另一方面看，语言是一种社会现象，它要随 着社会的发展而发展，旧的东西不断消失，新的东西不断产生。 3 任何自然语言都是统一性和差异性的统一体。 矛盾的普遍性寓于特殊性之中。世界上根本没有“汉语”，而只有“东北话”、 “北京话”、“甘肃话”等这些有差异的语言。，由于我们找到了它们的统一性，才 将其概括为“汉语”。 所以，从自然语言这些基本特征来看，简约性、稳固性和统一性是语言的主要 的一面，而复杂性、变化性和差异性是它次要的一面。这就决定了语言存在简约的、 9 兰州理t 人学硕j ：论文第二章自然语苦理解概述 稳固的和统一的语言规律，这正是用计算机来理解自然语言的着眼点。 2 4 2 汉语的特点 汉语是指汉族中多种方言的共性语言，是以普通话为标准的语言。汉语在下面 几个层次上拥有自己的特点。 1 汉语普通话是一种以单音节构字为基础的语言。一一个音节有三部分组成：声 母、韵母和声调。遵照声韵拼合规律，汉语对应的音节有4 0 0 个左右。考虑到四声， 有1 2 0 0 个左右。 2 汉字是汉语的书面表示的文字符号系统。它随着社会的演变在不断的变化。 现在社会上通用的字有一万个左右。而常用字并不很多。按汉字使用频率统计表明， 常用汉字的数量一般在3 0 0 0 - - 4 0 0 0 ，通常汉字的数量为7 0 0 0 余字。为使计算机进 行中文信息处理，我国颁布了国标b d 2 3 1 2 8 0 汉字库：一级字库3 7 5 5 个字，二级字 库3 0 0 8 个字，合计为6 7 6 3 个字。 3 汉语中的一个音节( 或音调) 对应多个汉字( 一音多字) ，或出现了一个汉 字对应多个音节( 一字多音) ，这为汉字处理带来了一些难点。以“j i ”这个音为 例，就有1 3 7 个字与之对应。加上四个声调也分别为4 7 、3 3 、1 2 和4 5 个字。 4 汉子从使用角度来看，在国标一级字库中，使用频率最高的前1 6 3 个字，在 文章中的覆盖率已超过5 0 ，前1 2 0 0 个字的覆盖率已达9 3 3 9 ，前2 4 0 0 个字已达 到9 8 8 9 。 5 词是语言中的一个独立层次。它是具有固定语音形式并能独立运用的最小结 构意义的单位。固定的语音形式是词的外部特征，而词的意义是它的内在特征。汉 语的词分为单音节词、双音节词、三音节词、四音节词、五音节词、六音节词和七 音节词。据统计，现代汉语中双音节词占优势，约占7 3 ，单音节词占9 4 ，三音 节词占1 7 ，四音节词以上的词仅占0 5 。而且，在汉语中词和词之间紧挨着排 列，无间隔标志。因此，对汉语进行自然语言处理时，分词成为第一步首要做的事 情。 6 短语层比词层高一个层次，它对词的意义做了进一步的限定或扩大。各民族 对概念的限制或扩大遵循的规律是一样的。如概念的限制就是通过增加内涵，从而 使一个外延大的属概念过渡到一个外延较小的种概念。而概念的扩大是通过减少概 念的内涵，从而使一个外延较小的种概念，过渡到一个外延较大的属概念。汉语对 概念的限制或扩大一律采用前置法。 7 句子的定义无统一的规定。如：英语句子必须有一个限制性的动词，而汉语 则不然，不仅在句子中可以有多个动词，而且也可以没有动词出现。如汉语中的连 动句或非主谓句。非主谓句中如“今天星期三”、“那个人黄头发”等。 1 0 兰州理工人学硕士论文 第三章文奉分类与文本检索的关系 第三章文本分类与文本检索的关系 简单的说，自动信息检索就是根据用户的信息需求，利用计算机及其程序，从 大量信息中挑选出来满足用户需求的信息。完成这种任务的程序系统一般可以称为 信息检索系统。由于网上信息大部分为文本信息，因此这里我们只考虑文本信息检 索系统。在本论文中出现的信息检索系统都统指为文本信息检索系统。国际互联网 上常见的搜索引擎都是典型的信息检索应用系统。当用户输入想要查找文档的关键 词、作者或标题后，系统就会给出满足用户需求的相关文档。 文本分类与文本检索有着极为密切的联系。分类实质上是建立在检索的基础之 。h 的，因为它借鉴了许多检索的表示方法和技术。文本检索技术的发展已经有3 0 年的历史，取得了很大的成就，产生了大批实用的检索系统，积累了许多成熟的技 术。这对于文本分类的形成和发展起到了极大地推进作用。 3 1 信息检索系统的组成 当用户用查询语言明确描述了信息需求后，接下来就把这种描述信息需求的查 询表达式提交给信息检索系统，信息检索系统维护着一个很大的文档库，文档库中 通常存放着各种领域的文档，检索系统正是在这个文档库中寻找用户感兴趣的内 容。对于互联网上的搜索引擎而言，这些文档一般是通过名为“蜘蛛”的后台程序 从整个互联网上自动收集得到的。在信息检索系统中，由于文档库中文档数量巨大， 而用户又期望有很快的检索速度，所以检索系统通常需要对文档库中的文档建立索 引，把表征文档关键信息的特征，主要是关键词信息，罱入索引之中，形成易于检 索系统处理的文档表示，加快检索速度【l 引。下图就是典型信息检索系统的逻辑组成： 图3 - 1 信息检索系统的逻辑组成 根据文档和查询的表示方法以及检索的实现方式，目前主要有三种信息检索模 型：( 1 ) 布尔检索模型( b o o l e a n m o d e l ) 、( 2 ) 向量空间模型( v e c t o rs p a c e m o d e l ) ( 3 ) 概率模型( p r o b a b i l i s t i cm o d e l ) 【1 9 】。本论文采用的是第二种一向量空间模 型。 3 2 布尔检索模型 布尔模型是基于特征项的严格匹配模型。首先，建立一个二值变量的集合，这 兰州理工大学硕二l 论文 第三章文奉分类与文本检索的关系 些变量对应于文本的特征项。文本用这些特征变量来表示，如果出现相应的特征项， 则特征变量取“t r u e ”；否则，特征变量取“f a l s e ”。查询由特征项和逻辑运算符 “a n d ”、“o r ”和“n o t ”组成。文本与查询的匹配规则遵循布尔运算的法则。 布尔模型在2 0 世纪六七十年代得到了较大的发展，出现了许多基于布尔模型 的商用检索系统，如d i a l o g ，s t a i r s ，m e d l a r s 等。其主要优点是：速度快；易于 表达一定程度的结构化信息，如同义关系( 电脑o r 微机0 r 机算机) 或词组( 文 本a n d 过滤a n d 系统) 。其缺点是：把布尔模型作为文本的表示很不精确，不能反 映特征项对于文本的重要性，缺乏定量的分析；过于严格，缺乏灵活性，更谈不上 模糊匹配，这往往忽略了许多满足用户需求的文本1 2 。 3 3 向量空间模型 在向量空间模型中，查询和文档都表示成n 维空间中的向量，检索系统计算查 询向量和所有文档向量之间的相似性，并按照相似性的大小对文档排序返回给用 户。这里介绍几个向量空间模型中的基本概念： 1 索引项( i n d e xt e r m ) ：是一组从文档中预先选择出来的可以代表文档内容的 关键词。通常，索引项是名词或名词组，索引项一般简称为项。一般选择那些刻意 凸显文档主体的名词或名词组，如对计算机科学领域中的文档，可以选择“体系结 构”、“总线”“数据库”等这样的词来充当索引项，索引项的个数也是根据检索 系统的实际情况而定的，有的检索系统把文档中所有的词都选作索引项。 2 词汇表( v o c a b u l a r y ) ：所有索引项构成一个词汇表。若一个词汇表包含n 个索引项，分别为互、正、瓦，那么该词汇表可定义为一个n 维空间。文档 和查询都可蛆表示为这个空间中的n 维向量。向量的定义可有多种方式，例如可以 根据项在文档中是否出现来建立文档向量，如果项在文档和查询中出现，就在向量 的相应位置上置1 ，如果没有出现，就在相应的位置上置0 ，例如，文档碹可以表 示为下面的n 维向量： 互疋”l d l = ( 1 0 1 ) 这说明在文本4 中包含项互和，当不包含正。这样建立向量的方法过于简单，向 量第i 维的值一般称为项的权值( t e r m w e i g h t ) 。可以看出，以项在文档或查询中 是否出现作为权值是缺乏科学性的。当前有许多文献以项在文档中出现的次数作为 权值，这种方法也是不可取的，因为文档的长度各异，出现次数的多寡并不一定就 代表文档的主题。本论文中实现的系统是选取在文档中出现的表现能力强的词，然 后应用t f - i d f 公式来计算向量空间中的每个项的权重。这是一种比较好的求取权 值的方法。 向量空间模型认为和查询最为相关的文档是那些在用词规律和查询最类似的 文档。在向量空间中，这种相关性可以通过文档向量和查询向量间距离的大小来衡 量。如果某个文档向量和查询向量的距离最小，就认为该文档和查询向量之间的距 离最小，就认为该文档和查询最为相关。按照文档向量和查询向量之间的距离大小， 2 兰州理t 大学颁士论文第三章史奉分类与文本检索的关系 就可以对文本进行排序，把和查询相关的文档排在前面。 衡量两个向量距离的办法有多种，到目前为止并没有最好的办法。本系统采用 的是一种称为“夹角余弦”的方法。在这种方法中，利用向量之问的夹角来衡量两 个文档或文档和查询问的相关性，两个向量间的夹角越小，说明这两个向量所代表 的文档越相关，两个向量间的夹角越大，说明越不相关。这里，根据计算夹角的余 弦值来确定夹角的大小。设查询向量是f = 嗡，g ，a 吼) ，文档向量为 j 存= ( d ，d ，ad 。) ，则可以采用下面的公式来进行计算： 。( 曼昂； q ，d i = l 臀謦 因为夹角的余弦值是降幂排列的，因此，当两个文档的夹角或文档和查询向量的夹 角越大时，余弦值就越小。因此，余弦值越大，文档的相关性就越大。 向量空间模型的优点在于：将文本和查询简化为项及权重集合的向量表示，从 而把检索操作变成向量空间上的向量运算，其权重计算可以通过简单的频数统计来 完成，通过定量的分析，匹配文本和查询。在这个基础上，引入各种成熟的统计方 法，更大程度的挖掘文本中蕴含的语义信息。如主成分、因子分析、聚类分析等。 向量空间模型的缺点在于项之间线性无关的假设。在自然语言中，词或短语之 间存在着十分密切的联系，即存在“斜交”想象，很难满足假定条件，因此对计算 结果的可靠性造成一定的影响。此外，将复杂的语义关系归结为简单的向量结构， 丢失了许多有价值的线索。因此，有许多改进的技术，以获取深层潜藏的语义结构 1 2 0 ，2 1 ，2 2 23 1 3 4 概率模型 在信息检索中，由于文本信息相关性判断的不确定性和查询信息表示的模糊 性，促使人们使用概率的方法解决这方面的问题。信息检索的概率模型是基于概率 排序原则：对于给定用户查询q ，对所有文本计算概率，并从大到小进行排序，概 率公式为p ( r i d ，q ) 。其中，r 表示文本d 与用户查询q 相关。另夕卜。用r 表示文 本d 与用户查询q 不相关，有p ( r l d ，q ) + p ( r 1 l d ，q ) = 1 ，也就是二值形式判断相 关性。 把文本用特征向量表示：x = ( x l ，x ：，a ，矗) 。其中，为特征项的个数，x ，为0 或1 ， 分别表示特征项i 在文本中出现或不出现。 在信息检