（计算机应用技术专业论文）词义消歧及其在跨语言信息检索中的应用研究.pdf

复旦大学硕士学位论文：词义消歧及其在跨语言信息枪索中的应用研究 摘要 作为自然语言理解的一项基础工作，词义消歧( w o r ds e n s ed i s a m b i g u a t i o n , w s d ) 一直是研究的重点。在信息检索、机器翻译等应用中都存在一词多义的问 题。5 0 多年来，词义消歧的研究进展并不顺利，消歧算法离实用还有一段距离。 本文的核心内容是词义消歧算法以及这些算法如何应用于跨语言信息检索 领域。本文首先对词义消歧进行了综述，然后重点描述了基于w o r d n e t 的消歧 算法和基于支持向量机的消歧算法。这两大类方法可以说是目前主流的方法，效 果相对好些。本文尝试将词义消歧应用于跨语言信息检索。跨语言信息检索结合 了传统文本信息检索技术和机器翻译技术，在多方面涉及到多义性问题，是词义 消歧良好的切入点。两者的结合主要体现在两方面：1 、词义消歧应用于查询扩 展，目的是使扩展的内容与原查询有更高的相关性。2 、词义消歧应用于信息检 索，目的是提高检索的精度。 本文提出了相对客观的评价标准。比如为了单独衡量词义消歧的性能，本文 使用s e n s e v a l 一3 的语料进行训练和测试；为了衡量词义消歧应用于跨语言检 索后的性能本文又使用了1 r i 也cc l i r 的语料、查询和结果集进行评估，这使 得我们的实验结果相对公正客观，具有一定的可比性。本文改进了原跨语言信息 检索系统，完善了预处理模块，增加了词干提取、词法分析等功能，并将词义消 歧的各类算法集成于该系统。 综上，本文综合分析了主流的词义消歧算法，并提出了l e s k ，c 算法以及s v m 消歧算法，给出了词义消歧的尝试性应用，希望能给相关领域的研究者有所借鉴。 关键词：词义消歧、跨语言信息检索、支持向量机、w o r d n e t 中图分类号：t p 3 9 1 复q 大学硕t 学位论文：词义消歧及其在跨语言信息榆索中的应用研究 a b s t r a c t a sa l li m p o r t a n tw o r ki nt h ef i e l do fn a t u r a ll a n g u a g ep r o c e s s i n g ，w o r ds e n s e d i s a m b i g u a t i o n ( w s d ) h a sb e e nar e s e a r c hf o c u ss i n c e1 9 5 0 t h et a s ko fw s di s v e r yd i f f i c u l tt os o l v e ，a n dm o s to f m o d e ma l g o r i t h m sf a i lt or e a c ha ni d e a ll e v e l t h i sa r t i c l ef o c u s e so nw s d a l g o r i t h m sa n di t sa p p l i c a t i o ni sc r o s sl a n g u a g e i n f o r m a t i o nr e t r i e v a l g e n e r a l l ys p e a k i n g ，w s da l g o r i t h m sc a l lb ec l a s s i f i e da s s u p e r v i s e dl e a r n i n ga n du n s u p e r v i s e dl e a r n i n g a sf o rw s da l g o r i t h m sb a s e do n u n s u p e r v i s e dl e a r n i n g ，w em a i n l y f o c u so nw o r d n e tw h i c hc o n t a i n sm u c h i n f o r m a t i o ns u c ha sw o r ds e n s ed e f i n i t i o na n dh i e r a r c h y f o rt h es u p e r v i s e dw s d a l g o r i t h m s , w ei n t r o d u c ec l a s s i f i c a t i o na l g o r i t h m si n t ow s d b a s e d0 1 1e x p e r i m e n t r e s u l t s ，s u p p o t tv e c t o rm a c h i n ei ss e l e c t e d b e s i d e s ，w ea t t e m p tt oa p p l yw s dm o d u l et oc r o s sl a n g u a g ei n f o r m a t i o n r e t r i e v a i ( c l i r ) ，w h i c hl i e si n ： 1 q u e r ye x p a n s i o n , 、】v i mt h ea i mo fo b t a i n i n gh i 曲r e l e v a n c eb e t w e e n o r i g i n a la n de x p a n d e dq u e r i e s 2 i n f o r m a t i o nr e t r i e v a l ，f o rt h ep u r p o s eo f b e t t e rp r e c i s i o n t h i sa r t i c l ea l s o p r o p o s e d s o m ee v a l u a t i o na l g o r i t h m so fw s d 。w eu s e s e n s e v a l - 3c o r p u st oe v a l u a t et h ep e r f o r m a n c eo fw s d a l g o r i t h m sa n du s et r e c c l i rc o r p u s ，t o p i c st oe v a l u a t et h ep e r f o r m a n c eo fc l i r o u re x p e r i m e n td a t ai s g e n e r a l l ya c c e p t e d ，w h i c hm a k e so u r r e s u l k sm o r eo b j e c t i v ea n dc o m p a r a b l e b e s i d e s ， w em o d i f i e dt h eo f i g i i l a lc l i rs y s t e m ，f i n i s h e dt h ep r e - p r o c e s s i n gm o d u l e ，a d d e d $ o m ef u n c t i o n ss u c h 豳s t e m m i n ga n dp a r s i n g a n dw ei n t e g r a t e dm a n yw s d a l g o r i t h m si n t oi t i ns u m m a r y , w em a k eas u r v e yo fm o d e mw s da l g o r i t h m sa n dp r o p o s et h e l c s k ca l g o r i t h ma n da p p l ys v mt ow s da l g o r i t h ma n dw ea l s ot r yt oa p p l yw s d a l g o r i t h m st oc l i rs y s t e m k e yw o r d s ：w o r ds e n s ed i s a m b i g u a t i o n ( w s d ) ，c r o s s - l a n g u a g ei n f o r m a t i o n r e t r i e v a l ( c l i r ) ，s u p p o r tv e c t o rm a c h i n e ( s v m ) ，w o r d n e t c l cn u m b e r ：t p 3 9 1 v 论文独创性声明 本论文是我个人在导师指导下进行的研究工作及取得的研究成果。论文中除 了特别加以标注和致谢的地方外，不包含其他人或其它机构已经发表或撰写过的 研究成果。其他同志对本研究的启发和所做的贡献均已在论文中作了明确的声明 并表示了谢意。 作者签名：王麴耋日期：丝里z ：! ， 论文使用授权声明 本人完全了解复旦大学有关保留、使用学位论文的规定，即：学校有权保留 送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内 容，可以采用影印、缩印或其它复制手段保存论文。保密的论文在解密后遵守此 规定。 作者签名：至盈聋导师签名：翟球 日期：兰里1 2111 复日- 大学碗t 学位论文：词义消歧及其在跨语言信息检索中的应用研究 1 1 词义消歧简介 第一章引言 自然语言中存在大量的一词多义现象。例如，英语中的“b a n k ”有银行、堤岸 等词义。汉语中的多义词也是是大量存在的。翻开汉语词典，我们就不难发现， 许多词条下面都注有不止一种意义，越是常用的基本的词，这种多义性越明显。 比如“打”，现代汉语词典一共列了2 5 个义项。根据j i a n m i ny a o 1 l 等人的最 近实验结果，汉语中单字词的多义词比例达到了4 6 。然而多义词在实际使用时， 或者说在具体的上下文中通常只表示其中的一个意义。 词义消歧( w o r ds e n s ed i s a m b i g u a t i o n ) 就是决定某个多义词在具体上下文中 的含义。例如，在一个英译汉的机器翻译系统中，一旦遇到英语多义词“b a n k ”， 就需要将它翻译成银行、堤岸或者其它。词义消歧的典型应用在机器翻译、语音 处理、文本处理等系统中，不是自然语言处理中的一个最终任务，通常是一个系 统的中间环节，因而词义消歧是自然语言处理中的一项基础工作1 2 1 【3 1 1 4 】。 词义消歧主要涉及到两个关键问题： ( 1 ) 如何确定单词的词义及其个数。 ( 2 ) 如何从这些词义中做出选择。 在有关问题( 1 ) 的解决方案中，可直接利用词典定义，也可根据训练语科确 定。在不同知识源中，词义定义往往有差别。例如，不同的词典对同一个单词的 解释往往采用不同的表达方式，而且很可能列出的词义个数也不同。总之，在不 同的知识源中，词义的定义及其个数往往是不一致的。由于这种不一致性，确定 问题( 1 ) 的答案就意味着限定了消歧所采用的知识源，所以似乎短期内这个问题 很难确定。另外，词义还有一个粒度的问题。对于同一个歧义词。在某些上下文 中可能需要区分其两个词义，在另外一些上下文中又可能没必要如此处理，这往 往取决于任务要求和具体的上下文。 问题( 2 ) 是词义选择的问题，也就是如何从多个词义中选择一个最合适的词 义，通常，这个选择是唯一的。首先应该说明的是。尽管这种选择方法有其相对 的简单合理之处，但并不绝对正确。比如“他走了。”这一句，其中的歧义词“走” 既可以理解为“离开”，又可以理解为“死了”，在某些无法确定的情况下，强 行做出唯一的选择显然是不合理的。如何确定最合适的词义，是词义消歧算法的 核心任务。 复旦大学硕士学位论文：词义消歧及其在跨语言信息检索中的应用研究 1 2 消歧方法概览 词义消歧的方法是多种多样的，而且可以根据不同的标准划分。本文采用的 是一种传统的划分方法，即根据有无训练预料，划分为有监督消歧和无监督消歧 方法。常见的方法基本上是本节中所述的几种方法及其变种，或者是它们的混合。 最近一二十年以来，大规模语料和机器可读词典( m a c h i n er e a d a b l e d i c t i o n a r y , m e d ) 不断发展和完善，为词义消歧提供了良好的平台。按照采用的 知识源不同消歧算法可以划分为基于语料的方法和基于词典的方法。而按照有 无i j i i 练语料，又可分为有监督的方法和无监督的方法。基于语料的有监督方法从 训练语料中挖掘歧义词的相关信息再进行消歧，可以看作是一个分类任务，典型 方法有贝叶斯( b a y e s i a n ) 、信息论等方法。基于语料的无监督方法通常是一个聚 类任务，有效地避免了 l 练语料资源不足的现实，因而具有一定的吸引力，如 y a r o w s k y l 5 1 所提出的方法。词典是除语料之外的另一种知识源，其发展趋势是包 含越来越多的语义信息，因而基于词典的方法也在不断的升温。其中典型的词典 有w o r d n e t 【6 】、h o w n e t l 7 1 等。目前，词义消歧算法种类繁多，但是其性能往往和 上界( 人类所能达到的水平，约9 5 ) 还有相当的差距，暂时很难取得实用价值。 在第三届词义评估会议s e n s e v a l 3 t 卅中的英文样本上表现最好的系统的准确 率是7 2 9 ( 细粒度) ，仍然具有很大的提升空间。 1 3 基于语料的有监督消歧 基于训练语料的有监督的消歧需要训练语料，一般采用统计的方法，其中包 含两个重要方法：贝叶斯和信息论方法。 ( 1 ) 贝叶斯( b a y e s i a n ) 方法 该算法由g a l e 等人提出。假设在某个上下文c o n t e x t 中，存在歧义词w ，其 第个词义用s e n s ek 表示，那么对于这个上下文，取p ( s e n s e l c o n t e x t ) 最大值 对应的s e n s ek 作为w 的词义。 根据贝叶斯公式： p ( c o n t e x tls e n s e 如果使用简单贝叶斯假设，那么： 堕? f s e ，拈e 柚 2 复旦大学硕士学位论文：词义消歧及其在跨语言信息检索中的应用研究 p ( c o n t e x ts e n s e | | ) = n 。c o m , p ( f e a t u r eis e n s e 七) = n 。塑篆铲 其中，f e a t u r ei 是上下文中的特征词，p ( f e a t u r ef ，s e n s e ) 和p ( s e n s ek ) 可以 通过训练得到。 这种方法把歧义词所在上下文看作是没有顺序的一组单词集合( 词包，b a go f w o r d s ) ，从而综合利用上下文窗口中单词的信息进行消歧。它用到了两个不太合 理的假设：第一、单词之间的出现是相互独立的。这一假设没有真实的反应实际 情况。比如， c o m p u t e r 在含有“r i o u s e 这个词的上下文中出现的可能性要比在 含有“c a t 这个词的上下文中出现的可能性大，从统计的角度看，这些单词之间不 完全独立。该方法的另外一个假设是，词包中所有单词的权重相同。这意味着上 下文中的所有单词对于决定歧义词词义的贡献一样，而事实并非如此。假设采用 歧义词所在句子作为上下文，那么在“昨天我独自一人去打篮球了。”一句中， “昨天”、“我”、“独自”等特征词对于决定多义词“打”的词义的作用几乎为零， 实际起决定作用的是特征词“篮球”。给予“昨天”等无效特征和“篮球”相同 的权重，显然会影响消歧的效果。丽且。引入的无效特征越多，影响就越大。 ( 2 ) 信息论方法 ( 1 ) 中的简单贝叶斯假设平等对待上下文中出现的特征词，并且采用了独立 性假设。b r o w n 等人提出的信息论方法则不同，在上下文中寻找唯一的一个特征 词，仅依赖这个特征词来判断歧义词的词义。表1 1 列出了b r o w n 等人的一个 法语歧义词“p r e n d r e ”的例子。例如，当 p r e n d r e ”的宾语是“d 6 e i s i o n ”时就译为 m a k e ”，该决策过程根据互信息最大化的原则而迭代产生。 i 歧义词 指示器例子：指示器值一词义 p r e n d r e 宾语 m e s u r e t ot a k e d e c i s i o n 一t om a k e 表1 1 一个法语歧义词的指示器 b r o w n 等人指出，在将该信息论算法运用到一个机器翻译系统中之后，性 能提高2 0 。然而，对于每个歧义词，完全人为地指定指示器极其困难。另外， 所有歧义词都存在合理的指示器是值得怀疑的；在歧义词出现的所有上下文中， 指示器一定同时出现也不太可能。 复旦大学硕士学位论文：词义消歧及其在跨语言信息检索中的应用研究 1 4 基于语料的无监督消歧 正如刚才所提及，人工标注好的训练语料有时难以获取，于是，一部分人开 始研究如何直接对未标记的语料进行消歧。值得一提的是，这里所说的无监督消 歧并不是绝对的，通常会用到词典的定义和人工辅助。 基于语料的无监督消歧算法主要有两类： ( 1 ) 自举的( b o o t s t r a p p i n g ) 无监督算法：先人工标注一小部分( 例如2 ) ，然 后利用这些信息对所有语料进行消歧，如y a r o w s k y 5 】的方法；y a r o w s k y 宣称其 无监督的消歧算法性能已超过有监督的消歧算法。利用两个约束条件：同一语段 同一词义( o n e l 雠p e rd i s c o u r s e ) 1 ，同一搭配同一词义( o n es e n s ep e r c o l l o c a t i o n ) 2 ，其测试准确率是9 6 5 ，超过有监督的消歧算法性f l e ( 9 6 1 ) 。 y a r o w s k y 的实验试图对 p l a n t ”有两个词义，植物和工厂，在图1 1 中分别 用a 、b 表示) 进行消歧。首先他进行人工标注，得到一个初始的决策表，如图 1 1 所示。 i n i t i ad e c i s i o nl i s tf o rp l a n t ( a b b r e v i a t e d ) l o g l - c o l l o c a ti o ns i ，u h ， 8 1 0 p l a n tl i f e ja 7 5 8 m v m u f a c t u r i n gplant=，b 7 3 9l i f e w i t h i n 士2 1 0w o r d s l辛a 7 2 0 m a n u f a c t u r i n g ( i n 士2 - 1 0w o r d s ) jb 6 2 7a n i t aa if w i t h m 士2 - 1 0w o r d s ) = 争a 4 7 0 e q u i p m e n t ( w i t h i n4 - 2 1 0w o r d s )等b 4 3 9 e m p l o y e e1 w i t h i n 士2 1 0w o r d sj辛b 4 3 0 a s s e m b l yp l a n t辛b 4 1 0p l a n fd ( q s u r ejb 3 5 2 p l a n ts p e c i e sja 3 4 8a u t o m a t e ( w i t h i n 士2 1 0w o r d s 净b 3 4 5 m i c r o s c o p i cp l a 耐 ja 图1 1o n es e n s e p e r c o l l o c a t i o n 使用的初始决策表( 摘自y a r o w s k y 5 】) 利用o n es e n s ep e rc o l l o c a t i o n 约束，使歧义词所在的上下文与决策表中的搭 配进行从上到下的匹配，一旦匹配成功就进行歧义词赋值。然后利用匹配成功的 文本和o n es e n s ep e rd i s c o u r s e 约束更新决策表。再利用新的决策表进行匹配。 不断进行迭代，从而使已消歧文本不断增加，最后所有的歧义词“p l a n t ”得到消歧。 1 d i s c o u r s e 在这里的意思不仅指一篇文章也可以是含2 ，3 个句子的文章片断。 2 c o l l o c a t i o n 在这里更多的是指单词之间的位置关系，而不涉及单词组合后可能存在的词义改 变，如 r a i nc a t sa n dd o g s 4 复旦大学硕土学位论文：词义消歧及其在跨语言信息榆索中的应用研究 ( 2 ) 直接根据上下文信息进行聚类，然后对每个类中的歧义词赋予相同的词 义。 p e d e r s e n 和b r u c e l 9 1 把每个上下文用向量表示，这个向量包含了很多有关上 下文的特征，如词态、词性、搭配等。假设同一个歧义词出现在n 个上下文中， 那么这些上下文可以表示成n 个向量。通过构造大小为n x n 的相似( 或不相似) 矩阵，就可以利用这个矩阵进行聚类。p e d e r s e n 和b r u c e 使用了三个不同的聚类 算法，即w a r d 、m c q u i t t y 和e m 算法，结果表明总体上m c q u i t t y 算法占优，而 对于名词，e m 算法效果最好。值得注意的是，该相似矩阵很可能过于稀疏。 s c h f l t z e 1 0 l 采用另一种方法来表示上下文，把一个上下文中的所有特征词投 影到一个高维的单词空间，再把这些向量求和并归一化，以此向量间接地表示这 个上下文，最后对这些向量进行聚类。 p a r a n d a r e 和p e d e r s e n “j 对这两种方法做了比较，实验结果表明：当某个歧义 词数据集较大时( 即该歧义词出现次数较多) ，第一种方法好些，反之，第二种 方法好些。 1 5 基于词典的消歧 基于词典的消歧算法利用各种词典进行消歧，包括普通词典、语义分类词 典、双语词典等传统词典，也包括w o r d n e t 等。对于传统词典。通常可以直接 利用其定义、主题等信息；而对于w o r d n e t ，还可以利用它所蕴涵的词义间的各 种关系来进行消歧。 1 5 1 基于普通词典 在基于普通词典的方法中，l e 副1 2 1 算法最为经典。l e s k 直接利用词典中词 义的定义，分别计算歧义词每个词义与上下文中所有特征词在词典定义中的单词 交叠个数，选择交叠个数最多的那个词义，其正确率大约在5 0 到7 0 之问。 该方法存在一个问题：组成单词定义的单词数量往往不够多，从而导致数据稀疏 问题。 1 5 2 基于主题分类的词典 w a j k 一引提出一种基于主题分类词典的方法：令“s k ) 表示歧义词w 的词义 s k 的主题代码。在w 的上下文中，可能t ( s k ) 是某些特征词的主题代码，分别计 算与每个词义的主题代码相同的特征词的数量，最后选取相同数量最多的那个词 复黾大学硕士学位论文：词义消歧及其在跨语言信息检索中的应用研究 义。这里假设：对于一个歧义词来说，不同的词义对应于不同的主题代码。b l a c k ”卅 把该算法应用于一个包含5 个消歧难度比较大的歧义词( “i n t e r e s t ”， p o i n t ， p o w e r ，“s t a t e ”， t e r m s ”) 的样本时，仅取得一般的结果：正确率约为5 0 。 不难发现，上述基于普通词典和主题分类词典的不同之处在于单词之间相似 度的计算，l e s k 使用了定义之间的相似度，而后一种方法利用了主题之间的相 似度。值得注意的是，这两种消歧算法的模型可以相同。 p e d e r s e n l i 5 等人提出了一个利用相关度3 进行消歧的通用模型。假设上下文窗 1 3 中的单词用w l ，w 2 ，表示，其中w i ( 1 s t ，1 ) 是需要进行消歧的歧义词，另 外，任意单词w 具有鸭个可能的词义，分别表示为勘，j 。，s 。消歧的目标就 是从集合 ，墨：， 中选择一个词义赋值给w 。p e d e r s e n 等人的消歧模型如 下：a r g m a x t 1 删zr e l a t e d n e s s ( 岛, ，) 其中，埘，4 ，p 砌j p = 船1 j r ，s 。) 表示两个词义之间的相关度。在模型确定之后，最关键 问题就是如何计算相关度。 1 5 3 基于w o r d n e t w o r d n e t 是一个在线的词典参照系统，由普林斯顿大学认知科学实验室负责 开发，其中收录了英语的名词、动词、形容词和副词。目前，w o r d n e t 最新版是 2 1 版，w o r d n e t 2 0 中包含了1 1 5 4 2 4 个词义( 同义词集合) 。w o r d n e t 的最具特色 之处是试图根据词义而不是词形来组织词汇信，并以同义词集合( s y n o n y ms e t ) 作为基本建构单位。为了对英语词汇知识进行建模，w o r d n e t 在同义词集合之间 建立了一些关系，如上下位关系，整体部分关系、继承关系等【1 6 j 。 在确定消歧模型以后，基于w o r d n e t 的消歧算法的核心在于相似度( 或相关 度) 的计算。考虑到w o r d n e t 在词义组织方式上的特点，相似度的计算方法有 很多，大体分为三类：扩展词义定义、基于w o r d n e t 中的路径信息以及基于信 息含量。 1 5 3 1l e s k 扩展算法 l e s k 扩展算法通过扩展词义定义，在一定程度上克服了经典l c s k 算法的数 据稀疏问题。 e k e d a h l 和g o l u b 1 7 l 通过使用w o r d n e t 对l e s k 算法作了调整，通过查找 相似度可以看作是相关度的一个特例。 6 复旦大学硕士学位论文：词义消歧及萁在跨语占信息榆索中的应用研究 某个词义4 的最近的两个上位词( h y p e r n y m ，例如，动物是狗的上位词) ，来扩 充用于计算重叠个数的词义定义。不过，作者的实验结果( 4 5 ) 还是低于下界( 6 0 1 。 p c d e r s c n ! ”1 等人采用了另一种扩展方法，考虑到了与某个词义在w o r d n e t n 构上直接相连的所有词义，包括上位词，下位词等。在相同条件下，该算法比传 统的l e s k 算法在性能上有显著地提高。 1 5 3 2 基于路径的相似度计算 在w o r d n e t 中，名词是以层次结构来组织的，其中超过7 0 的关系是i s - a 关 系。名词存在九个层次结构，彼此相互分离。通过人为的建立一个根节点，可以 生成一棵名词的层次结构树，其最大深度是1 6 。w o r d n e t 中的动词也存在层次结 构，但结构比较松散。动词共有6 2 8 个独立的层次结构，每个层次结构的深度一 般是- n 五层。如果用一个根节点把它们连接成树，则这棵树中的节点分布会很 分散，这对于区分词义很不利。大部分形容词和副词不存在层次结构，因而它们 在w o r d n e t 中不是以层次结构来组织。 基于路径的方法把w o r d n e t 层次结构看成是一个图，然后利用路径信息来计 算相似度。r a d a ，h i r s t 和s t o n g e ，l e a c o c k 等人先后提出了不少方法。在基于路 径的方法中，一个比较直接的想法是：两个节点的距离越近，那么它们之间的相 似度越大。r a d a ”1 等人根据这个思想，提出使用最短路径来计算相似度的方法。 w u 和p a l m e r 1 9 1 采用了另一种思想，即如果两个单词的公共上位词离它们越近， 则这两个单词的相似度越大。 1 5 3 3 基于信息含量( i n f o r m a t i o nc o n t e n t ) 笆j 算法 在信息论中，出现的概率越小，信息量越大。类似地，在层次结构树中，层 次越深，出现的可能性越小，信息含量也越多。信息含量类似于信息论中的信息 量，定义为1 c ( s e n s e ) = l o g ( p ( s e n s e ) ) 。其中，p ( s e n s e ) 是词义s e n s e 出现的概 率，通常需要通过训练获得。必须指出，在训练时每出现一个词义，其上层也要 计数。所以越上层，出现概率越大，信息量越小。 r e s n i k l 2 0 l 最早提出了基于信息含量的相似度计算方法，他认为两个词义的相 w o r d n e t 中的词义不是独立存在的而是和它的同义词共同组成了同义词集合同一个同义词集合中的 所有词义都使用相同的定义所以本文所指的w o r d n c i 中的词义定义实际上是指其所在同义词集合的定义 7 复巨大学硕士学位论文：词义渭歧及其在跨语占信息检索中的应用研究 似度越大，则它们共有的信息越多。于是，他把相似度定义为共有信息的信息量： a m r ( s e n s e i ，s e n s e 2 ) = i c ( i c s ( s e n s e t ，s e n s e 2 ) ) 其中，l c s ( s e n s q ，s e n s e z ) 是词义s e n s e ，和s e n s e 2 的所有公共上位词中信息量最大， 即深度最大的上位词。 j i a n g 和c o n r a t h 2 1 i 的方法主要使用了上下位关系。他们认为，子类词义( 下 位词) 到父类词义( 上位词) 的语义距离和条件概率p ( c l p a r e n t ( c ) ) 相关。如果 父类词义出现后，子类同时出现的概率越大，即子类在父类的所有子类中占的比 例越大，则它们之间距离越小。对于任意两个词义。它们之间的距离是两者的最 短路径上的所有子类一父类的语义距离之和，最终可以证明： d i $ 1 j c ( s i ，s 2 ) = i c ( s 1 ) + i c ( s 2 ) - 2 x l c ( t c s ( s l ，s 2 ) ) o j i a n g 和c o n r a t h 所提出的方法在性能方面的表现通常要比其它基于w o r d n e t 的方法好一些。 1 6 问题讨论 1 6 1 上下文的选取 在基于语料的方法中，不管是有监督的方法还是无监督的方法，都涉及到上 下文的选取。理论上，可以选择歧义词所在的句子或者所在句子的一部分作为上 下文，也可以选择与歧义词有关的句群作为上下文。而在实际系统中，通常采用 “上下文窗口”的方法，即选取歧义词前后若干个特征词作为上下文。对于上下 文窗口的大小，y a r o w s k y 建议：局部消歧时，上下文窗口只要3 或4 就可以： 对于语义消歧，则需要2 0 5 0 个单词。而l e a c o c k 认为窗口3 比较合适， p a r a n d a r e 和p e d e r s e n i l l 的实验中是5 。这些不同的观点暗示着对于不同的歧义 词，合适的窗口大小可能不是固定的。 1 6 2 算法的性能比较 随着词义消歧算法的不断涌现，对消歧算法的性能进行评估逐渐成为研究热 点。显然，人工评估费时费力。同时，对词义消歧系统进行自动评估也相当困难。 主要原因包括采用的知识源种类繁多；训练语料、测试语料的不同；没有统一的 ( 性能) 上界、下界等。 在g a l e 、r e s n i k 、y a r o w s k y 等人在这方面做出了一系列尝试之后，一个全面 评估各种词义消歧系统的公共平台s e n s e v a l l 2 2 1 诞生了s e n s e v a l ( s e n s e 复日| 大学硕士学位论文：词义消歧及其在跨语言信息检索中的应用研究 e v a l u a t i o n ) 是由a c ls i g l e x 等组织主办的词义消歧评估会议，自1 9 9 8 年首 次举办以来，目前已经举办了四届。该会议试图建立一套针对词义消歧的评测系 统，包括训练集、测试集、计分方法等1 2 ”。 在第一届s e n s e v a l 会议( 简写为s e n s e v a l 1 ) 中，有监督的细粒度的 英语最佳消歧系统的正确率为7 4 - - 7 8 ，而其它无监督的消歧系统的正确率相 对要低些。在s e n s e v a l 3 会议中表现最好的有监督方法是对简单贝叶斯方法 的改进；在无监督的方法中，表现最好的是l c s k 的一个变种。 除了s e n s e v a l 外，a g i r r e 和m a r t i n e z 2 4 】对于使用各种知识源( 机器可读词 典m r d ，知识本体o n t o l o g y ，语料库c o r p u s 以及它们的组合等) 的算法进行了 比较，结果发现基于人工标注的语料库的消歧算法准确率最高，这与s e n s e v a l 的结果相符合。但遗憾的是，他们没有对无监督的算法进行比较。y a r o w s k y 宣 称无监督的消歧算法的性能超过有监督的消歧算法但没有被普遍认同。 在s e n s e v a l 1 中，有监督的细粒度的英语最佳消歧系统的正确率为 7 4 - - 7 8 ，这一正确率可以认为是相对客观的当前消歧算法所能达到的水平。 总的说来，词义消歧的性能还不稳定。而且准确率偏低。 1 6 3 词义的粒度 歧义词的词义划分成几个才合理? 聚类算法中应该聚成几个类? 这些问题 没有固定的答案。不同的歧义词词义个数不同；同一个歧义词有时需要区分其两 个词义，有时可能并不需要，这往往取决于上下文。 1 7 本文研究工作概述 本文主要的研究工作有： 冷设计并实现了常用的消歧算法，主要包括基于w o r d n c t 的无监督算法以 及基于语料库的有监督消歧算法。 完成了对各类消歧算法的评估程序，使用的语料，查询都由相关领域的 著名会议提供，使得我们的评价结果比较客观可信。 夺为研究词义消歧模块在实际软件系统中的作用，本文将词义消歧应用于 c l i r 平台，并对此进行了评估。 实现了跨语言信息检索系统，各种相关算法都可以方便的在系统中进行 集成，成为一个研究跨语言信息检索的实验平台。系统的设计思想，充 分体现了模块化和扩展性，为将来的研究提供了便利条件。 论文中的主要创新点在于提出了l e s k c 算法；将s v m 用于词义消歧；引入 9 复臣犬学硕士学位论文：词义消歧及其在跨语言信息检索中的应用研究 了t r e c 语料进行算法的评价，使评价结果更加客观。 1 8 本文的组织结构 本文主要包括六章内容。 第一章引言，首先介绍了本课题的研究背景及其意义、国内外研究现状等。 然后对词义消歧方法进行了分类和综述。将消歧方法分为两大类：有监督和无监 督的消歧算法。 第二章首先w o r d n c t 做了介绍，然后重点描述了基于w o r d n e t 的各种消歧算 法，同时提出了l e s k - c 算法。 第三章介绍了s v m 理论，完成了支持向量分类机的理论证明。将分类算法 应用于词义消歧，并说明了如何从上下文中进行特征抽取。 第四章将词义消歧引入跨语言信息检索领域。先介绍了跨语言信息检索的概 况，然后将词义消歧应用于其中的查询扩展和信息检索模块。 第五章首先介绍了系统的设计与实现，包括w o r d n e t 编程，w e k a 的使用以 及预处理技术等。然后对本文提到的主流w s d 算法进行了相对客观的评估。同 时也对词义消歧应用于跨语言检索后的性能也进行了评估。 第六章对全文进行了总结。给出了进一步的研究方向和展望。 复日| 大学硕t 学位论文；词义消歧及其在跨语言信息榆索中的应用研究 第二章基于w o r d n e t 的无监督消歧方法 2 1w o r d n e t 简介 w o r d n e t 是一个在线的词典参照系统，由普林斯顿大学认知科学实验室负责 开发，其中收录了英语的名词、动词、形容词和副词。目前，w o r d n e t 最新版是 2 1 版，w o r d n e t2 0 中包含了1 1 5 4 2 4 个词义( 同义词集合) 。w o r d n e t 的最具特 色之处是试图根据词义而不是词形来组织词汇信，并以同义词集合( s y n o n y ms e t ) 作为基本建构单位。为了对英语词汇知识进行建模，w o r d n e t 在同义词集合之间 建立了一些关系，如上下位关系、整体部分关系、继承关系等。当然，w o r d n e t 也存在不足之处。w o r d n e t 的编纂者主要考虑的是如何把相近的词义组织起来， 却忽视了如何把不同的词义区分开来，这样就造成有些单词的词义区分不明显。 h a y n e s | 2 s l 也提到w o r d n e t 在词义聚类、词义覆盖，词义区分方面存在不足。此 外，w o r d n e t 划分词义的粒度较小( 尤其是动词) ，这也加大了消歧的难度。 2 2 基于w o r d n e t 的无监督消歧模式 基于w o r d n e t 的消歧算法的核心在于同义词集合之间的相似度( 或相关度) 计算。考虑到w o r d n e t 在词义组织方式上的特点，相似度的计算方法有很多种， 大体上分为三类：扩展词义定义、基于路径信息以及基于信息含量。其基本框架 如图2 1 所示。 图2 1 基于w o r d n e t 的无监督消歧算法的基本框架 复旦大学硕士学位论文：词义消歧及其在跨语言信息榆索中的虑用研究 2 2 1l e s k 及其扩展算法 经典的l e s k 算法把词义的定义看作是无顺序的词包，并用定义之问的单词 交集来衡量相似度。l e s k 认为词义相近的单词的定义所使用的单词也是相似的。 该方法存在一个问题：组成定义的单词数量往往不够多，从而导致数据稀疏问题。 为解决这一问题，后来的研究者提出了几个扩展算法。 2 2 2 已有的l e s k 扩展算法 l e s k 扩展算法通过扩展词义定义，在一定程度上克服了经典l e s k 算法的数 据稀疏问题。 e k e d a h l 和g o l u b l l 通过使用w o r d n e t 对l e s k 算法作了调整，通过查找 某个词义的最近的两个上位词，来扩充用于计算重叠个数的词义定义。不过， e k e d a h l 和g o l u b 的实验结果( 4 5 ) 还是低于下界( 6 0 ) 。 p e d e r s e n l 9 l 等人采用了另一种扩展方法，考虑到了与某个词义在w o r d n e t 结 构上直接相连的所有词义，包括上位词，下位词等，同时赋予词组更大的权重。 作者宣称，在相同条件下，该算法比传统的l e s k 算法在性能上有显著地提高。 l e s k 的扩展算法最常用的信息的上位词信息，上位词，b p w o r d n e t 中的父亲 节点，是词义的进一步抽象。本次实验选择的上位词个数有两种，直接上位词和 最近的两个上位词。 2 2 3 基于同等词( c o o r d i n a t et e r m s ) 的扩展算法：l e s k - e 现有的l e s k 扩展算法主要考虑与某个词义在w o r d n e t 层次结构中直接相连 的语义信息，特别是上位词，对词义的定义进行了扩展，一定程度上克服了数据 稀疏问题。这些方法有效的利用了w o r d n e t 结构中的直接的信息，却疏忽了某些 非常有用的间接信息。基于同等词( c o o r d i n a t e t e r m s ) 的l e s k 扩展算法( 以下简称 l e s k c ) 可以进一步扩展词义的定义。在这里，同等词定义为某个词义所在的同 义词集合在w o r d n e t 层次结构中的兄弟节点。比如“b a s k e t b a l l ”的同等词有： “f o o t b a l l ”“v o l l e y b a l l ”等。显然，一个同义词集合与它对应的同等词必然存在一 个公共父亲节点。 l e s k c 算法通过引入一个词义的所有( 或者一部分) 同等词的定义来扩展该 词义的定义，其思想是建立在以下假设之上的，即任何词义和它的同等词对于确 定上下文中的歧义词所起的作用是一致的。根据这个假设，考虑到“b a s k e t b a l l ”， “f o o t b a l l ”， v o l l e y b a l l ”是一组同等词，那么在“p l a y b a s k e t b a l l ”，“p l a y f o o t b a l l ”， 2 复旦大学硕士学位论文：词义消歧及其在跨语言信息检索中的应用研究 “p l a y v o l l e y b a l l ”等短语中，歧义词“p l a y ，的词义应该是相同的，即都是“p a r t i c i p a t e i ng a m e so rs p o r t ”。对于传统的l e s k 算法，如果消歧 p l a yv o l l e y b a l l ”时， p l a y ”的 其中一个定义 p a r t i c i p a t ei ng a m e s o rs p o r t 与 v o l l e y b a l l ”的定义之间没有单词交 集，就无法得到正确的结果。而采用l e s k - e