（计算机应用技术专业论文）中文文档分类中若干关键技术的研究.pdf

湖北工业大学硕士学位论文 摘要 随着信息技术的发展，我们步入了一个信息化的社会，信息量呈几何级数增 加。人们对信息资源的依赖性越来越大，如何实现信息的自动分类，尤其是中文 文本信息的有效分类是目前中文信息处理研究的一个重要分支领域。 文本分类是指对于带有类别的文本集合，根据每一个类别的文本子集合的共 有特点，找出一个分类函数或分类模型，根据该模型可以把其它文本映射到已有 类别中的一个，从而实现对文本的自动分类。它使得用户不但能够方便地浏览文 档，而且可以通过限制搜索范围来使文档的查找更为容易。 本文研究了文本分类的背景和发展现状，阐述了其系统结构。在系统的构建 过程中，重点针对中文分词技术，文本表示，特征选取算法和分类算法四部分进 行了详细的分析和深入的研究，并在现有方法的基础上分别予以改进。在下面的 四点中，分别简单介绍了本文针对以上四个关键部分所做的主要工作。 ( 1 ) 在中文分词部分，针对基于字典的分词方法中词典的容量有限，随现代 社会发展迅速，新词不断出现导致分词方法极大地受到了词典的约束这个问题， 我们提出了一种渐进式扩充词典的分词方法，在这种方法中结合了基于字符串匹 配和基于统计相结合的分词方法。我们可以用统计的方法识别出词典中没有的新 词，并将其补充进词典中，不断地扩大词典的规模，从而极大地提高了分词的准 确度。 ( 2 ) 在文本表示这一部分，本文通过分析经典的t f - i d f 公式存在的问题： 该公式在计算特征词权重时，仅考虑了词频因素而忽略了特征词在文章中的位置、 特征词的长度、特征词出现在类内类问的文本频数这三个因素对词条权重的影响， 提出了一种新的特征词权重的计算方法，该方法将这三方面的因素考虑进来，在 t f - i d f 公式的基础上又进行了进一步的改进。 ( 3 ) 在d f 方法中，笔者发现以整篇文章为单位来衡量词条的重要程度往往 没有以段为单位更精确些。另外，词条所属类的文本总段数与整个训练文本集的 文本总段数的比例对词条的代表性也有很大的影响。本文针对这两方面的特点对 d f 公式进行了改进，简称为n d f 。 ( 4 ) 文本分类算法是一种有监督的学习算法，它需要一个分类好的，类别己 标识的文本数据集来t j l i 练分类器。本文通过将聚类的无监督性和样本的先验知识 结合起来进行文本的分类，构造了应用范围更加广泛的分类学习模型。利用未标 湖北工业大学硕士学位论文 识文档进行学习的半监督学爿算法已成为分类算法研究的重点。 关键词：文本分类，中文分词，字符串匹配分词方法，特征选取，半监督学习 i i 湖北工业大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to ft h ei n f o r m a t i o nt e c h n o l o g y , w eh a v ec o m ei n t oa ni n f o r m a t i z a t i o ns o c i e t yw h e r ei n f o r m a t i o ni si n c r e a s i n ga sg e o m e t r i cp r o g r e s s i o n t h e p e o p l e sd e p e n d e n c et o t h ei n f o r m a t i o nr e s o u r c e si sa l s om o r ea n dm o r eb i g , e s p e c i a l l y , t h e e f f e c t i v ea u t o m a t i cc l a s s i f i c a t i o nf o rt h ec h i n e s et e x ti n f o r m a t i o ni sa ni m p o r t a n tf i e l d s t u d i e di nc h i n e s ei n f o r m a t i o np r o c e s s i n ga tp r e s e n t t e x tc l a s s i f i c a t i o nm e a n sf i n d i n go u tac l a s s i f i c a t i o nf u n c t i o no rc l a s s i f i c a t i o n m o d e la c c o r d i n gt ot e x tl a b l e ds u b s e tc o m m o nc h a r a c t e r i s t i c so fe a c hc a t e g o r y a c c o r d i n gt ot h em o d e l ，o t h e rt e x t sc a nb er e f l e c t e dt oo n ec a t e g o r yh a v i n ga l r e a d ye x i s t e d ，t h u s c a r r y i n go u tt h et e x ta u t oc l a s s i f i c a t i o n b ys od o i n g ，c u s t o m e rn o to n l yc a n b r o w s et e x t e x p e d i e n t l y , b u ta l s oc a nl o o kf o rt e x tm o r ee a s i l yb yl i m i t i n gs c o p e t h i st e x ts t u d i e dt h eb a c k g r o u n da n dt h ed e v e l o p m e n tp r e s e n to ft e x tc l a s s i f i c a t i o n a n de l a b o r a t e di t ss y s t e ms t r u c t u r e d u r i n gc o n s t r u c t i n gt h es y s t e m ，w em a k ed e t a i l e d a n a l y s i sa n dr e s e a r c ho nf o u rm a i np a r t s ：c h i n e s ew o r d ss e g m e n t a t i o nt e c h n i q u e s ，t e x t e x p r e s s i o n ，f e a t u r es e l e c t i o na l g o r i t h m sa n dc a t e g o r i z a t i o na l g o r i t h m s i nt h ef o l l o w i n g f o u rp a r t ，t h e r ei sab r i e fi n s t r u c t i o na b o u tt h e t e x t sm a i nw o r ka i ma ta b o v ef o u rk e y p a r t ( 1 ) o nt h ep a r to fc h i n e s ew o r ds e g m e n t a t i o n ，a i m a tt h ep r o b l e mt h a tt a k i n g d i c t i o n a r ya sf o u n d a t i o nw o r ds e g m e n t a t i o nm e t h o di sl i m i t e db yt h ew o r d s q u a n t i t yi n t h ed i c t i o n a r y w i t ht h er a p i dd e v e l o p m e n to fm o d e ms o c i e t y , n e ww o r d sa p p e a r c o n t i n u o u s l ya n dt h e nt h i sm a t c h i n gm e t h o dc a n tr e c o g n i z et h o s ew o r d sa c c u r a t e l y , s o t h i sp a p e rp u tf o r w a r dt h ew o r ds e g m e n t a t i o nm e t h o do fe n l a r g i n gd i c t i o n a r yg r a d u a l l y w h i c hc o m b i n e ds t r i n gm a t c h i n gs e g m e n t a t i o nm e t h o dw i t hs t a t i s t i cs e g m e n t a t i o nm e t 。 h o d s o ，w ec a na p p l yt h es t a t i s t i c sm e t h o dt oi d e n t i f yt h en e w w o r d st h a ta r ei n e x i s t e n t i nt h ed i c t i o n a r y i tc a nh e l pu st oe n l a r g et h es c a l eo ft h ed i c t i o n a r yg r a d u a l l y t h i s m e t h o dc a nr a i s et h ef u n c t i o no fw o r ds e g m e n t a t i o nl a r g e l y ( 2 ) o nt h ep a r to ft h et e x te x p r e s s i o n ，t h et e x ta n a l y z e dt h ee x i s t e n tp r o b l e mo f c l a s s i c a lt f i d ff o r m u l a t h ef o r m u l ac o n s i d e r e dt h ef a c t o ro ff e a t u r ef r e q u e n c yw h e n c o m p u t i n gf e a t u r ew e i g h t ，b u tn e g l e c t e do t h e rt h r e e f a c t o r si n f l u e n c eo nf e a t u r e w e i g h t t h et h r e e f a c t o r sr e s p e c t i v e l ya r e ：p o s i t i o no ff e a t u r ei nt h ea r t i c l e ，l e n g t ho f 1 1 i 湖北工业大学硕士学位论文 f e a t u r e ，t h et e x tf r e q u e n c yi na n do u to fc a t e g o r y i na c c o r d i n gt ot h et h r e ep o i n t s ，w ep u t f o r w a r dan e wf e a t u r ec a l c u l a t i o nm e t h o da n dm a d eaf u r t h e ri m p r o v e m e n to nt h e f o u n d a t i o no ft h ef o r m u l ao ft f i d e 0 ) i nt h em e t h o do fd f , w ef o u n dt h a tt a k i n gt e x t ss e g m e n ta su n i tt om e a s u r et h e i m p o r t a n c eo ft h et e r mi sm o r ea c c u r a t et h a nt a k i n gt h ew h o l ea r t i c l e a su n i t i n a d d i t i o n ，t h er a t i ot h a tt h et o t a ls e g m e n t so ft h et e x t so ft h ec l a s sw h i c ht e n mb e l o n gt o o nt h ew h o l es u b s e t i sv e r yi m p o r t a n tf o rt e r m r e p r e s e n t a t i o n i na c c o r d i n gt ot h et w o p o i n t s ，w ea l s om a d eai m p r o v e m e n t0 1 1t h ef o u n d a t i o no fd ff o r m u l a i tc a l lb ec a l l e d n d e ( 4 ) t h ea l g o r i t h m so ft e x tc l a s s i f i c a t i o na l es u p e r v i s e dw h i c hm e a n st h ec l a s s i f i c a - t i o nt r a i n i n gn e e ds o m eh u m a nl a b e l e dd a t ao ff i x e dc l a s s e s i nt h i st e x t ，i tc o m b i n e st h e c l u s t e r i n g sn o n s u p e r v i s o r ya n ds a m p l e sb e f o r ek n o w l e d g e s t h ew i d e ra p p l i c a t i o n c l a s s i f y i n gl e a r n i n gm o d e li sb u i l tu s i n gt h em e t h o d t h ea l g o r i t h m so ft e x tc l a s s i f i c a t i o ne m p h a s i z e so ni m p r o v e m e n to fs e m i s u p e r v i s e dc l a s s i f i c a t i o na l g o r i t h m s k e y w o r d s ：t e x tc l a s s i f i c a t i o n ，c h i n e s ew o r ds e g m e n t a t i o n ，s t r i n gm a t c h i n gs e g m e n t a t i o n m e t h o d ，f e a t u r es e l e c t i o n ，s e m i s u p e r v i s e dl e a r n i n g 佩1 l 主工案火港 学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作所取 得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经 发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方 式标明。本声明的法律结果由本人承担。 学位论文作者签名：王教 日期：2 0 q 年6 月6 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授 权湖北工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采 用影印、缩印或扫描等复制手段保存和汇编本学位论文。 学位论文作者签名：王萄处 日期：z d 口7 年岳月6 日 指导教师签名：乞为叶化 日期：卿年6 月l ，日 湖北工业大学硕士学位论文 第1 章引言 1 1 课题研究的背景及意义 随着互联网的快速发展，网上文本信息资源以指数级的速度增长。目前网上 普遍存在着“信息爆炸”的问题，即信息极大丰富而知识相对匮乏。这一方面增 加了对于快速、自动的文本分类的迫切需求，另一方面又为基于机器学习的文本 分类方法准备了充分的资源。基于机器学习的文本分类技术可以在较大程度上解 决目前网上信息杂乱无章的现象，帮助人们将大量的文本进行自动分类，有利于 人们更加准确快速地定位文本信息。因而，文本自动分类成为目前文本信息处理 中的一个重要环节，是重要的研究课题之一。简单地讲，文本自动分类就是指， 在给定的分类体系下，根据文本内容自动判别文本类别的过程i “。文本自动分类技 术是面向i n t e m e t 搜索引擎技术中的重要研究方向和关键技术。 文本分类技术可以弥补传统搜索引擎的不足，过滤掉用户本不需要的文章， 并将检索结果分门别类地提供给用户，使用户能够更加清晰地发现自己感兴趣的 内容。例如：“制造业和服务业是两个不同的行业”和“我们出口日本的和服比去 年有所增长”中都有“和服”，而被当作同类来处理，结果是检索“和服：的相 关信息，会将他们都检索到。在信息量少的情况下，似乎还能够忍受，如果是海 量信息，这样的结果就会令人讨厌了。同样，在政府机关或企业的邮件接收器中 使用文本分类技术，可以根据邮件标题和正文的内容将邮件分类，分发到与之相 关的部门，对其进行处理，从而提高了工作效率l “。 1 2 国内外研究现状 国外对于文本分类的研究开展较早，建立了o h s u m e d 、r e u t e r s 等标准的分 类熟语料和统一的评价方法【3 1 。早在1 9 6 0 年，m a r o n 就发表了关于文本自动分类 的第一篇论文。1 9 6 4 年，m o s t e l l e r 和w a l l a c e 在鉴别文章作者身份的工作中开创 了文本分类的新阶段。随后许多著名的情报学家如r m n e e d h a m 和k s p a r c h ， g s a l t o n 等都在这一领域进行了卓有成效的研究。在国外，文本分类经历了三个发 展阶段，自动分类的可行性研究自动分类的实验研究自动分类的实用化， 并且到目前为止已经有了很多比较成熟的分类软件。例如，i b m 公司开发的 i n t e l l i g e n tm i n e r f o r t e x t ，实现了商业文档的分类、聚类和总结；s a r 公司丌发的 湖北工业大学硕士学位论文 n e t o w l e x t r a c t o r 产品，实现了面向投资者和金融分析家的文本聚类、总结与e m a i l 分类：t e m i s 公司开发的i n s i g h td i s c o v e r e rc a t e g o r i z e r 产品，实现了商业文档、 e m a i l 的分类、聚类与知识管理。国外在文本分类方面的研究已经从最初的可行 性研究经历了实验性研究进入到了实用化阶段【4 l o 国内学术界也很重视文本分类技术的研究，但相对国外来说，起步较晚，尚 没有通用的标准语料和评价方法。1 9 8 1 年，侯汉清教授对计算机在文本挖掘工作 中的应用做了探讨，并介绍了国外计算机管理分类表、计算机分类检索、计算机 编制分类表、计算机自动分类等方面的情况。国内文本分类的研究大体上经历了 可行性探讨辅助分类系统自动分类系统三个发展阶段。到目前，我国有 很多著名的大学和机构在自动分类方面做了大量的研究工作，也出现了一些研究 成果和学术论文，尤其是在汉语自动分词方面的技术相对成熟，在汉语自动校对 方面也有了较好的应用系统。但我国目前的文本分类技术的研究还处在消化吸收 国外相关的理论和技术与小规模实验阶段，还没有形成完整的适合中文信息处理 的文本挖掘理论与技术体系 5 1 。因此有必要研究实用化的中文文本自动分类理论与 技术。 1 3 自动分类系统模型简要介绍 文本分类是指对于带有类别标记的文本集合，根据每一个类别的文本子集合的 共有特点，找出一个分类函数或分类模型，根据该模型可以把其它文本映射到已 有类别中的一个，从而实现对文本的自动分类【6 l 。它使得用户不但能够方便地浏览 文档，而且可以通过限制搜索范围来使文档的查找更为容易。 文本的自动分类是一种典型的有教师的机器学习问题，整个分类系统可以分为 两部分，如图1 1 所示。一部分是左边的训练过程，另一部分是右边的测试过程。 这两部分是紧密相连的，左边通过训练所得的分类器为右边的测试部分所应用， 同时通过对右边测试结果的评价又反馈给训练部分，从而更好地改进训练方法【7 。 以此循环，直到对测试结果的评价达到设计人员的满意。 2 湖北工业大学硕士学位论文 训练史奉集 训练过程 图1 1 分类系统框架 测试文奉集 文本颅处理 特征集的建立 二= 二 特征项抽取 二二 确定词的权重 二二 分类 二二 分类结果 分类模式质量评估 测试过程 训练阶段： ( 1 ) 确定已定义好的类别集合c = c ，c 2 ，c - n ) ，这些类别可以是层次 式的，也可以是并列式的； ( 2 ) 给出训练文档集合s = s 1 ，s 2 ，吣，每个训练文档s i 被标上所属的类别 标记c i ： ( 3 ) 统计s 中所有文档的特征矢量v ( s ；) ，确定代表c 中每个类别的特征矢量 v ( c i ) ； 分类阶段： ( 1 ) 对于测试文档集合t = d 1 ，d k ，d r ) 中的每个待分类文档d k ，计算其特 征矢量v ( d k ) 与每个v ( c i ) ( c i c ) 2 _ l n j 的相似度s i m ( d k ，c i ) ； ( 2 ) 选取相似度最大的一个类别作为d k 的类别。 在计算s i m ( d k ，c i ) 时，有多种方法，最常用的方法是考虑两个特征向量之间 的夹角余弦，即： s i m ( d k ，c i ) = v ( d k ) i v ( c i ) ( iv ( d k ) i 1v ( c i ) 1 ) ( 1 ) 1 4 本论文主要工作内容 本论文对中文文档的分类中所涉及的各项技术进行了全面的论述，并对文档分 湖北工业大学硕士学位论文 类研究中的四项关键技术中文文本的分词、文本表示、特征选取、分类算法 进行了深入的研究和改进： ( 1 ) 提出了一种渐进式扩充词典的分词算法，在该分词算法中对未登录词采用 统计词频( 高频优先与词长优先相结合) 的方法进行处理，将一些达到阈值的可能 为词的字符串，加入到词典中来逐渐扩充词典，并结合逆向最大匹配分词方法进 行中文文本的分词。 但) 对t f i d f 方法计算特征项权重时所忽略的问题：位置和特征词的长度以及 出现特征词的文本在类内类间的分布，在t f - i d f 公式的基础上又进行了进一步的 改进。 ( 3 ) 在文本分类中的特征项选取这项技术上，提出了一种新的特征选取方法， n d f 。针对d f 方法，笔者发现我们把文本以段为单位割分开来，然后以段为单位 来衡量词条的重要程度时将会比d f 方法更精确些。另外，词条所属类的文本段总 数与整个训练文本集的所有文本段总数的比例对词条的代表性也有很大的影响。 如果词条所属类的文本段总数与整个训练集文本段总数之比很小，这样会使得统 计出的含有该词条的文本段总数也相对较少，这样在d f 算法中很容易漏掉该词 条，显然这也是很不合理的。本文针对这两方面的特点对d f 公式进行了改进，简 称为n d f 。 ( 4 ) 提出了一种新的分类算法，将聚类的无监督性和样本的先验知识结合起来， 较好地解决了无类别标记训练集在文本分类中的瓶颈问题。 。 本文的主要内容如下： 第一章为概述； 第二章介绍中文文档的分词技术，把基于词典的分词方法和基于统计的分词方法 结合起来，解决了在分词过程中，由于词典容量的局限性而导致无法识别新词的 问题： 第三章介绍了中文文档的文本表示，提出了一种新的计算权重的方法i t f i d f 方 法： 第四章介绍了特征项的选取算法，并在d f 方法的基础上，提出了n d f 方法，以 文本段为单位来更准确地衡量词条与文本的相关性； 第五章介绍了文档分类中一些常用的分类算法以及作者针对获得有标记训练样 本的困难所设计的种新的分类算法，并给出了文档分类系统的评价方法； 第六章总结了本论文的研究工作并对后面的工作进行了展望。 4 湖北3 - 业大学硕士学位论文 第2 章中文分词的处理 2 1 文本分词技术概述 2 1 1 什么是中文的自动分词 现代社会是一个高度信息化的社会，为了更好地利用计算机来处理大量以自 然语言为载体的信息，让计算机理解自然语言，做到“能看会想，能听会讲”，首 先就要让计算机理解人类的语言，只有计算机理解了人类的语言文字，才使得人 与机器的交流成为可能。再反观我们人类的语言中，“词是最小的能够独立活动的 有意义的语言成分”，所以对于中文来讲，将词确定下来是理解自然语言的第一步， 只有跨越了这一步，中文才能像英文那样过渡到短语划分、概念抽取、主题分析 以至于自然语言理解。对于汉语的自然语言理解来说，汉语自动分词是文本分析 的第一个步骤。 词是最小的、能够独立活动的、有意义的语言成分，是计算机处理信息的基 本单位。词界( w o r db o u n d a r y ) 是词语之间的间隙。词界的标志是两个词之问的间 隔符。汉语分词的过程也就是找出词界的过程。词、语素、短语之间的界限模糊， 没有统一的分词标准，这给汉语分词造成了不小的困难【“。鉴于这种情况，国家技 术监督局公布了信息处理用现代汉语分词规范，在其中提出“分词单位”的概 念，指“汉语信息处理使用的、具有确定的语义或语法功能的基本单位，包括本 规范的规则限定的词和词组”，并且给出一些元规则来判断分词单位。现在多数自 动分词系统都是以该规范为确定词的基础p j 。 分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。在英文文 本中，单词之间是以空格作为自然分隔符的，但中文文本只是字、句和段可以通 过简单的分界符来划界，唯独词没有一个形式上的分隔符。虽然英文存在短语的 划分问题，但是在词这一层上，中文比英文要复杂得多，困难得多1 9 j 。例如，英文 句子ia mas t u d e n t ，用中文则为：“我是一个学生”。计算机可以很简单地通过空格 知道s t u d e n t 是一个单词，但是不能很容易明白“学”、“生”两个字合起来才表示 一个词。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切 词。我是一个学生，分词的结果是：我是一个学生。中文文本一般是无分隔符 的字符串，词与词之间没有分隔标志。为了对文本进行表示，我们需要对中文文 本进行分词。因此，如果将句子中的“词”自动切分出来，即让计算机能够辨别 5 湖北工业大学硕士学位论文 哪儿个汉字结合起来是一个词，让计算机将等问距排列的汉字字串序列按词分丌， 并打上切分标志，这就是中文文本自动分词问题。中文文本自动分词成了中文信 息处理中特有的基础性问题，句法分析、语句理解、自动文摘、自动分类和机器 翻译等，也都少不了词的详细信息，这些技术的实现都是建立在分词的基础上的。 2 1 2 中文文本自动分词的研究现状 2 1 2 1 研究方向 自中文自动分词这一问题提出后，国内外许多专家学者开始涉足这一领域， 目前，对中文文本自动分词的研究主要有三个方向： ( 1 ) 计算机和人工智能。汉语自动分词在很大程度上依赖于神经网络、专家 系统、知识工程等人工智能技术研究的新进展。我们主要利用自动分词成果从事 自然语言理解和研究，如语义分析，自动编辑文摘，知识工程，机器翻译，专家 系统和智能计算机等。从人工智能技术的发展和汉语自动分词的要求出发，比较 理想的自动分词系统应该综合词法、句法和语义信息，而用计算机对语义、语法 进行自动分析尚处在研究阶段。因而，已经推出的汉语分词与标引系统只能采用 以机械分词为主，辅之以能部分反映词法、句法和语义规则的改进算法，但仍难 以解决复杂的汉语组词关系。因此，今后应注重汉语句法和语义的自动分析研究， 并将其应用到汉语自动分词领域。 ( 2 ) 情报信息。汉语自动分词主要在信息检索、自动标引、自动文摘、机器 翻译、语言文字研究、搜索引擎研究、自然语言理解和中文信息处理等方面的应 用取得了可喜的成绩。 ( 3 ) 汉语语言学。现有的分词方法和人工智能技术不能有效地解决汉语词自 动切分中的困难，必须有一种新的思维方式来引导汉语自动分词的研究，那就是 要研究汉语语言本身的特点和规律。从事汉语言文字研究可以促进中文分词的自 动切分，将汉语语言的特点与其它语言作比较，建立中文计算语言学分词规范。 2 1 2 2 当前的研究成果 近年来，由于计算机技术的飞速发展，汉语自动分词研究取得了突破性进展， 其应用研究也越来越受到人们的重视，应用范围也越来越广。汉语自动分词是机 器翻译、文献标引、智能检索、自然语言理解与处理的基础，也是中文文本分类 中一个比较关键的环节。这一中文信息处理领域的重大命题吸引了计算机界和语 言学界的许多志能人士。自从8 0 年代初期中文信息处理领域提出自动分词以来， 有关方面的众多专家、学者为之付出了不懈的努力，涌现出了许多成功的汉语自 湖北工业大学硕士学位论文 动分训系统，主要有1 】： f 1 ) t h l 西大学刘开瑛研究出的a b w d 分词系统，其知识库包含8 类规则，分词 速度为1 5 字秒，正确率为9 9 4 。 ( 2 ) 北大计算语言所的分词系统。该系统将分词和词类标注结合起来，系统的 语言模型实现了通用性与多样性的有效结合，并达到了极高的速度。 ( 3 ) 北航的c d w s 和c w s s 。其中，c d w s 是国内公开的第一个实用性汉字分 词系统，分词速度为1 0 - 1 3 字秒；其后的c w s s 分词速度为2 4 0 字秒。 h ) 清华大学黄昌宁、马晏等开发出的s e g 系统。这是一个基于评价的全切分 汉语自动分词系统，分词速度为2 5 8 字秒，正确率为9 9 3 0 。 ( 5 ) 复旦分词系统。该系统由四个模块构成：预处理模块、歧义识别模块、歧 义字段处理模块、未登录词识别模块。 ( 6 ) 东北大学姚天顺建立的基于规则的汉语分词系统。 f 7 1 南京大学王启祥、王锡江实现的w s b n 分词系统。 ( 8 ) 哈工犬统计分词系统。该系统运用统计方法，将串频统计和词匹配结合起 来进行中文分词。 f 9 ) 微软公司汉语句法分析器中的自动分词系统。该系统使用了语法规则并以 概率模型作导向，将语法和分析器独立开，取得较好的实验效果和商业应用。此 外，中国科学院计算技术研究所在多年研究基础上，耗时一年研制出了基于多层 隐马模型的汉语词法分析系统i c t c l a s ( i n s t i t u t eo fc o m p u t i n gt e c h n o l o g y , c h i n e s el e x i c a l a n a l y s i ss y s t e m ) ，该系统的功能有：中文分词、词性标注、未登录 词识别。分词正确率高达9 7 5 8 ( 最近的9 7 3 专家组评测结果) 。北航、人大和北 大等十几个单位在1 9 8 1 年到1 9 8 5 年问进行的现代汉语词频统计是迄今为此国内 进行的最大规模的一次。国内还提出了一些初步的汉语理解模型和生成模型，并 建立了一批汉语理解实验系统，如中国科技信息所的i s ti c i 型英汉题录机译系 统，清华大学的自然语言理解与人机接口等【1 1 】。这些系统的研制成功标志着汉语 自动分词的研究成果已进入局部实用阶段。 2 2 汉语自动分词中的难题 2 2 1 分词规范的问题 语言学界虽然对于词在概念上有一个十分清晰的定义，即，“词是最小的能够 独立活动的有意义的语占成分”，但计算机分词中“词”的概念卸不是这样明确。 分词标准的问题实际上是汉语词与语素、词与词组的界定问题，这是汉语语法的 湖北工业大学硕士学位论文 个基本、长期的问题。它涉及到许多方面： 词的变形结构：汉语中有些动词和形容词可以产生变形结构，如“拍手”、“开 心”、“好玩”、“相信”可能变形成“拍拍手”、“开开心”、“好好玩”、“相不相信” 等。可以切分出“拍拍，手”，但“开开心”就不合理。“好好玩”说得过去，“相 不，相信”就说不过去了。 核心词表【1 2 1 3 】：分词需要有一个核心( 通用、与领域无关的) 词表，凡在该词 表中的词，分词时就应该切分出来。对于哪些词应当收进核心词表，己提出各种 收词条件，但这些条件本身难以操作，目前尚无合理的可操作的理论和标准。 词缀的问题：语素“者”在现代汉语中单用是没有意义的，因此“记者”、“学 者”、“研究者”内部都不能切开。依据这个标准，“为人民服务者”、“为革命的胜 利而牺牲者”、“爱好花草树木者”、“见证那段历史过程者”也不能切分开，但这 样复杂的结构与词的定义相矛盾。 2 2 2 分词算法的困难 。 在中文信息处理中，分词算法扮演着非常重要的角色，它甚至在提高检索系 统的查询准确率方面，比一些普通的机器学习算法还要有效。要将汉语文本的字 序列切分成词的序列，即使确定了一个合适的分词标准，要实现这个标准也还存 在算法方面的困难。 n ) 歧义的识别 分词系统要处理的第一个难题是文本中歧义切分字段的判别。对汉语切分会 产生切分歧义，切分歧义是影响分词系统切分正确率的重要因素，也是分词阶段 最困难的问题。歧义是指同样的一句话，可能有两种或者更多的切分方法。 汉语中最基本的歧义切分字段有以下三种类型【1 2 l ： 1 ) 交集型歧义。据统计，这种歧义字段占全部歧义的8 5 以上所以这也是分 词系统所要重点解决的问题。例如：表面的，因为“表面”和“面的”都是词， 那么这个短语就可以分成“表面的”和“表面的”。这种称为交叉歧义。像这种 交叉歧义十分常见，“化妆和服装”可以分成“化妆和服装”或者“化妆和服装”。 由于没有人的知识去理解，计算机很难知道到底哪个方案诈确。 2 ) 组合型歧义。交叉歧义相对组合歧义来说还算是比较容易处理的，组合歧义 就必需根据整个句子来判断了。例如，在句予“这个门把手坏了”中，“把手”是 个词，但在句子“请把手拿丌”中，“把手”就不是一个词；在句子“将军任命了 一名中将”中，“中将”是个词，但在句子“产量三年中将增长两倍”中，“中将” 就不再是词。这些词计算机又如何去识别? 湖北工业大学硕士学位论文 3 ) 真歧义。如果交义歧义和组合歧义计算机都能解决的话，在歧义中还有一个 难题，是真歧义。真歧义意思是给出一句话，由人去判断也不知道哪个应该是词， 哪个应该不是词。例如：“乒乓球拍卖完了”，可以切分成“乒乓球拍卖完了”、 也可切分成“乒乓球拍卖完了”，如果没有上下文其他的句子，恐怕谁也不知 道“拍卖”在这里算不算一个词。 ( 2 ) 未登录词识别1 1 2 1 未登录词，也就是那些在字典中都没有收录过，但又确实能称为词的那些词。 中文词汇是一个开放集合，无论建立多么庞大的词典，都不可能穷举所有的词。 最典型的是人名，人可以很容易理解句子“王飞鸿去广州了”中，“王飞鸿”是个 词，因为是一个人的名字，但要是让计算机去识别就困难了。如果把“王飞鸿” 做为一个词收录到字典中去，全世界有那么多名字，而且每时每刻都有新增的人 名，收录这些人名本身就是一项巨大的工程。 新词中除了人名以外，还有机构名、地名、产品名、商标名、简称、省略语 等都是很难处理的问题，而且这些又正好是人们经常使用的词，因此对于搜索引 擎来说，分词系统中的新词识别十分重要。目前新词识别准确率已经成为评价一 个分词系统好坏的重要标志之一。当采用匹配的方法来切分词时，由于词典中没 有登录这些词，就会给正确分词造成困难。未登录词的识别对于各种汉语处理系 统不仅有直接的实用意义，而且起到基础性的作用，尤其在文本分类中，若没有 正确的词频信息，就计算不出每个词的权重了，更无从进行特征选择了。 2 3 中文分词方法介绍 中文分词技术属于自然语言处理技术范畴，对于一句话，人可以通过自己所 掌握的知识来明白哪些是词，哪些不是词，但如何让计算机也能像人那样理解其 处理过程就是分词算法。 通过分词算法，我们可以把文本表示成计算机可以识别的数据结构，目前较 成熟的文本表示方法是向量空间模型( v e c t o rs p a c em o d e l ) ，在该模型中，文本空间 被看作是一组由词条向量组成的向量空| 、日j 。当前自动分词普遍采用的方法是使用 一个预定义的通用词表对文本进行切分。这种方法的主要缺点是为了保证词语的 覆盖范罔往往需要一个非常大的词表，这必将大大增加系统的运算复杂度，而且 使用固定词表分词无法解决不断出现新词这一问题【i 。于是有人提出一种基于统 计语言模型的分词方法，这种方法计算一些统计量，根据这些数据构建一个适用 于和语料库文本同类型的文本的分词词表，从而进行分词1 1 ”。 9 湖北5 - 业大学硕士学位论文 汉语自动分词系统的实现及效果依赖于分词理论与方法。现有的分词方法可 分为三大类：机械分词方法、基于理解的分词方法和基于统计的分词方法。 ( 1 ) 机械分词【1 6 】 机械分词方法，又叫做字符串匹配的分词方法，它是按照一定的策略将待分 析的汉字串与一个“充分大的”机器词典中的词条进行匹配，若在词典中找到某 个字符串，则匹配成功( 识别出一个词) 。按照优先匹配的词长和扫描方向的不同， 有四种常见方案，即正向最大匹配、正向最小匹配、逆向最大匹配和逆向最小匹 配。按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相 结合的一体化方法。常用的几种机械分词方法如下： 1 ) 正向最大匹配法( 由左到右的方向) ； 2 ) 逆向最大匹配法( 由右到左的方向) ； 3 ) 最少切分( 使每一句中切出的词数最小) 。 还可以将上述各种方法相互组合，例如，可以将正向最大匹配方法和逆向最 大匹配方法结合起来构成双向匹配法。由于汉语单字成词的特点，正向最小匹配 和逆向最小匹配一般很少使用。一般说来，逆向匹配的切分精度略高于正向匹配， 遇到的歧义现象也较少。统计结果表明，单纯使用正向最大匹配的错误率为1 1 6 9 ， 单纯使用逆向最大匹配的错误率为1 2 4 5 。但这种精度还远远不能满足实际的需要。 实际使用的分词系统，都是把机械分词作为一种切分手段，还需通过利用各种其 它的语言信息来进一步提高切分的准确率。一种方法是改进扫描方式，称为特征 扫描或标志切分，优先在待分析字符串中识别和切分出一些带有明显特征的词， 以这些词作为断点，可将原字符串分为较小的串再来进机械分词，从而减少匹配 的错误率。另一种方法是将分词和词类标注结合起来，利用丰富的词类信息对分 词决策提供帮助，并且在标注过程中又反过来对分词结果进行检验、调整，从而 极大地提高切分的准确率。 机械分词方法简单，易于实现。但是由于自然语言丰富的表达方式，汉语句 法构成的复杂性，新词汇的不断涌现，使得机械分词方法面临着很多问题。如：一 词多义问题、歧义切分问题和未登录词识别问题，这些问题直接影响了分词的准 确率。 ( 2 ) 基于理解的分词【1 6 】 基于理解的分词方法这种分词方法是通过让计算机模拟人对句子的理解，达 到识别词的效果。其基本思想就是在分词的同时进行句法、语义分析，利用句法 信息和语义信息来处理歧义现象。它通常包括三个部分：分词子系统、句法语义 子系统、总控部分。在总控部分的协调下，分词子系统可以获得有关词、句子等 o 湖北工业大学硕士学位论文 的句法和语义信息来对分词歧义进行判断，即它模拟了人对句子的理解过程。这 种分词方法需要使用大量的语言知识。由于汉语语言知识的笼统、复杂性，难以 将各种语言信息组织成机器可直接读取的形式，因此目前基于理解的分词系统还 处在试验阶段。 ( 3 ) 基于统计的分词【1 6 1 由于汉语词定义的模糊性，有些学者利用统计方法，通过对大规模真实文本 的统计，让计算机自己判断什么是词，这样就产生了基于统计的分词方法，又称 为无词典( d i c t i o n a r y - f r e e ) 分词。这类方法分词的依据和主要思想是：词是稳定的字 的组合，因此在上下文中，相邻的字同时出现的次数越多，就越有可能构成一个 词。因此字与字相邻共现的频率和概率能较好地反映成词的可信度。可以对语料 中相邻共现的各个字的组合频率进行统计，计算它们的互现信息。互现信息体现 了汉字之间结合关系的紧密。 定义两个字的互现信息，计算两个汉字x 、y 的相邻共现概率。当紧密程度 高于某一个阈值时，便可认为此字组可能构成了一个词。这种方法只需对语料中 的字组频度进行统计，不需要切分词典，因而又叫做无词典分词法或统计取词方 法。但这种方法也有一定的局限性，会经常抽出一些共现频度高、但并不是词的 常用字组，例如“这一”、“之一”、“有的”、“我的”、“许多的”等，并且对常用 词的识别精度差，时空开销大。实际应用的统计分词系统都要使用一部基本的分 词词典( 常用词词典) 进行串匹配分词，同时使用统计方法识别一些新词，即将 串频统计和串匹配结合起来，既发挥匹配分词切分速度快、效率高的特点，又利 用了无词典分词结合上下文识别生词、自动消除歧义的优点。 到底哪种分词算法的准确度更高，目i j i 并无定论。对于任何一个成熟的分词 系统来说，不可能单独依靠菜一种算法来实现，都需要综合不同的算法。在具体 的应用中，要根据具体的情况来选择不同的分词方案。不同分词方案的正确性很 大程度上取决于所建的词库，一个词库应具有完备性