（计算机应用技术专业论文）基于本体的web跨语言信息检索研究.pdf

华北电力入学硕士学位论文摘要 摘要 网络信息的日益丰富，人们已经不能满足于仅仅在同一语种中进行相关信息检 索，跨语言信息检索( c l i r ) 因而受到人们的关注。虽然已经存在某些c l i r 系统， 但是它们使用的是传统的全文信息检索策略，这种检索策略得到的信息仅仅是字面 本身的信息，无法提供基于概念的智能检索，检索效率低。 本文重点分析研究了跨语言信息检索的中文词典分词机制，查询翻译方法，本 体扩展，检索策略。针对用户通常输入关键字组合作为查询条件的情况，设计了一 种基于领域本体的跨语言信息检索模型，利用本体在描述事物上的优势，对用户的 查询进行扩展，使检索上升到了语义层面。通过实验表明，该模型一定程度上改善 了检索性能。 关键词：领域本体，中文分词，概念相似度，查询扩展，跨语言信息检索 a b s t r a c t w i t ht h ei n c r e a s i n g l yr i c ho fn e t w o r ki n f o r m a t i o n ，p e o p l ea r en o ts a t i s f i e dw i t h r e t r i e v i n gi nt h es a m ek i n do fl a n g u a g e ，s oc r o s s l a n g u a g ei n f o r m a t i o nr e t r i e v a l ( c l i r ) r e c e i v e sp e o p l e sm o r ea n dm o r ec o n c e r n a l t h o u g ht h e r ea r ea l r e a d yh a v e s o m ec l i rs y s t e ma tp r e s e n t ，b u tt h e yu s i n gt r a d i t i o n a lr e t r i e v a ls t r a t e g y , i tc a n o n l yg e tt h ei n f o r m a t i o nw h i c hi sl i t e r a l l ym a t c h ，i tc a nn o tp r o v i d et h ei n t e l l i g e n t r e t r i e v a lb a s e do nc o n c e p t ，a n di t sp e r f o r m a n c ei sl o w t h ea r t i c l em a d e d e e pa n a l y s i sa n ds t u d ya b o u tt h es e g m e n t a t i o nm e c h a n i s m o f c h i n e s ed i c t i o n a r y , m e t h o do fq u e r yt r a n s l a t i o na n dr e t r i e v a ls t r a t e g yf o rc l i r i n o r d e rt om e e tt h ec o n d i t i o nt h a tu s e ro f t e ne n t e rk e y w o r d sa sq u e r ys e n t e n c e s ，t h i s p a p e rd e s i g na nw e bc r o s sl a n g u a g ei n f o r m a t i o nr e t r i e v a lm o d e lb a s e do nt h e d o m a i no n t o l o g y ，u s i n gt h ea d v a n t a g eo fo n t o l o g yi nd e s c r i b i n gt h i n g st oe x t e n dt h e q u e r y , l e a dt h er e t r i e v a lr i s et os e m a n t i cl e v e l b ye x p e r i m e n t ，i ti l l u s t r a t et h a tt h e r e t r i e v a lr e c a l la n dp r e c i s i o no ft h em o d e la r ci m p r o v e d g u oh a o j u n ( c o m p u t e ra p p l i e dt e c h n o l o g y ) d i r e c t e db yp r o f c h e n gx i a o r o n g k e yw o r d s ：d o m a i no n t o l o g y , c h i n e s es e g m e n t a t i o n ，c o n c e p ts i m i l a r i t y , q u e r y e x t e n s i o n ，c r o s sl a n g u a g ei n f o r m a t i o nr e t r i e v a l ( c l i r ) 华北电力入学硕士学位论文摘要 摘要 网络信息的日益丰富，人们已经不能满足于仅仅在同一语种中进行相关信息检 索，跨语言信息检索( c l i r ) 因而受到人们的关注。虽然已经存在某些c l i r 系统， 但是它们使用的是传统的全文信息检索策略，这种检索策略得到的信息仅仅是字面 本身的信息，无法提供基于概念的智能检索，检索效率低。 本文重点分析研究了跨语言信息检索的中文词典分词机制，查询翻译方法，本 体扩展，检索策略。针对用户通常输入关键字组合作为查询条件的情况，设计了一 种基于领域本体的跨语言信息检索模型，利用本体在描述事物上的优势，对用户的 查询进行扩展，使检索上升到了语义层面。通过实验表明，该模型一定程度上改善 了检索性能。 关键词：领域本体，中文分词，概念相似度，查询扩展，跨语言信息检索 a b s t r a c t w i t ht h ei n c r e a s i n g l yr i c ho fn e t w o r ki n f o r m a t i o n ，p e o p l ea r en o ts a t i s f i e dw i t h r e t r i e v i n gi nt h es a m ek i n do fl a n g u a g e ，s oc r o s s l a n g u a g ei n f o r m a t i o nr e t r i e v a l ( c l i r ) r e c e i v e sp e o p l e sm o r ea n dm o r ec o n c e r n a l t h o u g ht h e r ea r ea l r e a d yh a v e s o m ec l i rs y s t e ma tp r e s e n t ，b u tt h e yu s i n gt r a d i t i o n a lr e t r i e v a ls t r a t e g y , i tc a n o n l yg e tt h ei n f o r m a t i o nw h i c hi sl i t e r a l l ym a t c h ，i tc a nn o tp r o v i d et h ei n t e l l i g e n t r e t r i e v a lb a s e do nc o n c e p t ，a n di t sp e r f o r m a n c ei sl o w t h ea r t i c l em a d e d e e pa n a l y s i sa n ds t u d ya b o u tt h es e g m e n t a t i o nm e c h a n i s m o f c h i n e s ed i c t i o n a r y , m e t h o do fq u e r yt r a n s l a t i o na n dr e t r i e v a ls t r a t e g yf o rc l i r i n o r d e rt om e e tt h ec o n d i t i o nt h a tu s e ro f t e ne n t e rk e y w o r d sa sq u e r ys e n t e n c e s ，t h i s p a p e rd e s i g na nw e bc r o s sl a n g u a g ei n f o r m a t i o nr e t r i e v a lm o d e lb a s e do nt h e d o m a i no n t o l o g y ，u s i n gt h ea d v a n t a g eo fo n t o l o g yi nd e s c r i b i n gt h i n g st oe x t e n dt h e q u e r y , l e a dt h er e t r i e v a lr i s et os e m a n t i cl e v e l b ye x p e r i m e n t ，i ti l l u s t r a t et h a tt h e r e t r i e v a lr e c a l la n dp r e c i s i o no ft h em o d e la r ci m p r o v e d g u oh a o j u n ( c o m p u t e ra p p l i e dt e c h n o l o g y ) d i r e c t e db yp r o f c h e n gx i a o r o n g k e yw o r d s ：d o m a i no n t o l o g y , c h i n e s es e g m e n t a t i o n ，c o n c e p ts i m i l a r i t y , q u e r y e x t e n s i o n ，c r o s sl a n g u a g ei n f o r m a t i o nr e t r i e v a l ( c l i r ) 声明尸州 本人郑重声明：此处所提交的硕士学位论文基于本体的w e b 跨语言信息检索 研究，是本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究工作 和取得的研究成果。据本人所知，除了文中特别加以标注和致谢之处外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得华北电力大学或其他教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡 献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名：雅弪日期： 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权 保管、并向有关部门送交学位论文的原 牛与复印件；学校可以采甩影印、缩印或 其它复制手段复制并保存学位论文：学校可允许学位论文被查阅或借阅；学校 可以学术交流为目的，复制赠送和交换学位论文；同意学校可以用不同方式在不同 媒体上发表、传播学位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 日 期：毕 日 期： 华北电力大学硕士学位论文 1 1 课题背景及意义 第一章引言 w e b 经过十几年的飞速发展，已经成为一个巨大的全球化信息空间。据统计表 明，w e b 的增长速度可以达到每6 个月翻一番，两通过w e b 检索获取甩户需要知识 的方式已经得到普遍青睐。面对这种信息以指数级速度增长的情形，使人们陷入了 “知识爆炸而又“渴求知识 的困境，如何在浩如烟海的信息海洋中找到自己所 需的信息成了很多人关注的焦点。因此，w e b 信息检索技术就成为时代发展的迫切 需要。 全球网络化信息快速增长，激发了人们对信息检索的急剧性需求。然融面对 互联网这个涵盖了多种语言的知识库，人们能理解的信息往往只是冰山一角。数据 显示，非英语互联网用户占总用户数的6 8 ，其中中文用户增长速度最快，大约占 总用户的2 1 ，而其他非英语语种用户也有不同程度的增长【lj 。对于大多数不精通 外语的用户而言，熟练地使用夕 语查询所需要的掇关语种信息较为圉难，雨使甩母 语查询条件检索出相关的外语信息，再借助于辅助翻译工具浏览这些相关信息较为 容易。因此，自动将用户的母语查询条件翻译为相关的其他语种查询条件，再使用 相关检索系统检索出所需的信息，是方便用户获取网上资源的有效途径。跨语言信 息检索( c l i r ：c r o s sl a n g u a g ei n f o r m a t i o nr e t r i e v a l ) 研究的正是这方而的内容，它 是信息检索为克服语言障碍而发展出来的一个分支。随着互联网的蓬勃发展，跨语 言信息检索已成为世界范围内一个亟待解决的关键问题，研究开发优秀的跨语言信 息检索系统显得刻不容缓。 跨语言信息检索作为实现全球知识共享和存取的关键技术，是以一种语言的提 问式检索出其他语言信息的检索方法。然丽，除了当前信息捡索技术存在的缺陷外， “如何准确翻译相关概念一也是制约其发展的难题。上世纪9 0 年代初，知识工程 领域在建立知识库的方法上产生了一种革命性思想。即有关构建本体( o n t o l o g i e s ) 和本体工程( o n t o l o g ye n g i n e e r i n g ) 的思想。本体能够很好地描述概念的内涵及其 概念问关系，具有良好的概念层次结构和对逻辑推理的支持，能较好地为语义检索 和概念检索提供知识基础。互联网创始入t i mb e r n e r s l e e 于2 0 0 0 年1 2 月1 8 同在 x m l 的会议上正式提出语义网。语义网的目标是使得w e b 上的信息具有计算机可 以理解的语义。满足智麓软件代理对万维两上异构私分布式信息钓有效访问和按 索。 传统的w e b 信息检索方法只是对用户输入的关键词衽w 西文档进行机械的匹 华北电力大学硕士学位论文 配，而没有去理解用户的查询意图。于是，有必要去理解用户的查询意图，然后基 于更全面的用户需求来对w e b 文档进行处理。跨语言信息检索本身就要以语义的准 确转化为前提，只有了解用户的查询目的才能提高信息检索的效率和准确性。所以 利用本体的潜在优势来刻画不同语言对应的领域知识，解决查询语言与检索语言转 换中的语义损失和曲解等问题，以及对基于语义的检索进行探索和研究是具有现实 意义的。 跨语言信息检索研究的意义主要体现在：从应用角度来讲，对跨语言信息检索 的研究在很大程度上可以提高人们对知识的利用，使网络信息之间的语言障碍不再 对人们产生束缚，提高了用户之间知识共享的可能。从学科发展的角度来讲，跨语 言信息检索属于信息检索领域的一个分支，对它进行研究，对于进一步完善信息检 索理论体系、丰富信息检索理论具有重要作用。以前对信息检索的研究基本是集中 在提问式语言和文件语言具有一致性前提下的信息检索问题，无论是从用户实际信 息需求的可能情况来说，还是出于理论完整性的需要，对跨语言信息检索进行研究 都具有十分重要的意义。 1 2 国内外研究现状 1 2 1 跨语言信息检索国内外研究动态 跨语言信息检索的研究早在二十世纪六十年代就已经提出并开始研究了，但是 此后由于信息检索理论、网络信息技术以及资金的投入上的多种限制，针对跨语言 信息检索研究的进展比较缓慢。近年来跨语言检索的研究在欧洲语言问取得成功， 亚洲语言问结果还不理想。目前，跨语言信息检索技术的基本框架都是从单语言信 息检索继承发展而来，主要有基于机器翻译系统的方法、基于双语词典的方法以及 基于平行语料库的方法。此外，各种信息检索评测会议相继开展了跨语言信息检索 的推动性研究工作，其中包括t r e c 、c l e f 、n t c i r 。随着信息检索技术的发展， 交互式跨语言信息检索开始受到特别关注，其中的代表机构美国马里兰大学，欧洲 的评测会议c l e f 也开始单独举行交互式的评测项目i c l e f 。同时，整合翻译和检 索过程问题也受到重视，中间语言方法也开始兴起。最近两年，真正的跨语言搜索 引擎得到飞速发展。目前，通过g o o g l e 的“使用偏好”选项可以进行跨语言信息检 索，g o o g l e 支持的查询语言有1 1 5 种，可以检索用3 5 种语言所写成的网页【2 j 。 当前，国内学者针对跨语言信息检索模型的研究比较少，主要研究方向是面向 机器翻译的全文检索系统理论研究。国内高校中，复旦大学计算机学院是比较早接 触跨语言信息检索的，并且参加了2 0 0 0 年的t r e c 第九次会议【3 1 。近两年，随着语 义检索技术的提出，王进等提出了基于语义的跨语言信息检索模型。随着i n t e r n e t 2 华北电力大学硕士学侥论文 以及全球化经济的大力发展，国内许多科研人员开始着手对中英文跨语言信息检索 模型进行研究。 1 2 2 基于本体检索的国内外研究现状 2 0 0 1 年5 月，万维网创始人t i mb a r n e r s l e e 发表了1 1 1 es e m a n t i cw e b 一文， 该文提出了语义w e b 的体系结构，描绘了语义w e b 的美好前景。随后，w 3 c 提出 了一系列相关技术和标准来推动语义两的发展，如r d f ，r d f s ，o w l 等。本体技术 在语义网中起着支撑作用，这方面的研究国外一直走在前列，其中英国的曼彻斯特 大学的描述逻辑推理，德国的卡尔思鲁厄大学和荷兰的阿姆鲰特丹大学对语义网的 一些开创性工作比较有代表，北美斯坦福大学开发了本体建设工具并创建了一种本 体描述语言。目前，本体应用在信息检索中的著名项目包括基于网络代理搜索本体 的本体、基于本体的分布式半结构化信息获取和可升级知识合成。国外基于本体推 理和应用的产品都已经投入使用，成型的本体检索系统有o n t o s e e k o n t o b r o k e r 等 h 5 】 o 国内在这方面的研究处于起步阶段，特别是本体论在信息管理领域中的应用还 没有形成完整的体系，但国家对本体的研究非常重视，2 0 0 2 年，8 6 3 计划就已将语 义w e b 技术与本体技术列为十五期间计算机技术的重大课题。中科院软件所、中科 院计算所、哈工大等正在致力于本体及本体应用的研究。b 前国内本体论的研究主 要集中在知识工程、信息管理和语义w e b 三个方面。 1 3 本文主要研究内容 本课题主要研究的是将领域本体应用于用户通常输入关键词作为查询条件的 跨语言信息检索的相关问题。主要作了以下几个方面的工作，具体如下： ( 1 ) 对跨语言信息检索主要技术及发展情况进行了研究，分析并总结了目前 跨语言信息检索技术存在的主要缺点和问题； ( 2 ) 对于英汉跨语言信息检索，中文文档集分词的效果直接影响到文档索引 的建立和后续检索的性能。本文采用基于词典分词的中文分词机制，利用双字哈希 表词典机制来提高词典的查询效率，给出了基于丰富式词典的分词算法进行中文分 词，一定程度上提高了分词效辜、分词准确度，孵决了词义歧义、未登录谒等分词 过程中的问题； ( 3 ) 跨语言信息检索可以简单的看作是查询条件的髓译和单一语种的信息检 索。文章分析了当前查询条件翻译方法的利弊，针对用户通常输入关键词作为查询 条件的情况，改进了将领域语料库和领域专业词典结合进行查询词翻译算法使其 3 华北电力大学硕士学位论文 更适合于领域本体内的英汉跨语言信息检索； ( 4 ) 深入研究本体的概念、建模元语、描述语言以及在信息检索系统中的应 用问题； ( 5 ) 对本体的概念相似度计算及文档的空问向量模型进行研究，通过改进概 念相似度计算方法和表示文档的空间向量模型，可以更准确的进行用户查询扩展， 提高检索匹配精度。将领域本体应用于跨语言信息检索中，给出了一种实现基于概 念的智能检索的模型，很大程度上解决了单纯的基于关键字的全文检索中检索查全 率和查准率低的问题。 1 4 本文的组织 本文的组织如下： 第一章引言： 第二章跨语言信息检索理论及技术； 第三章跨语言信息检索关键技术研究； 第四章基于本体的w e b 跨语言信息检索模型构建； 第五章基于本体的w e b 跨语言信息检索系统； 第六章总结与展望。 4 华北电力大学硕士学位论文 2 1 引言 第二章跨语言信息检索理论及技术 随着互联网在全世界范围内的普及，网上的信息数量呈指数级增长。与此同时， 网上信息和网络用户的来源也日益广泛多样。为解决这种从海量信息中查找所需信 息的问题，人们发展了信息检索技术。初期，这个领域的研究者针对各自的母语或 者网络上的主流语言一英语提出了各种信息检索方法，目前信息检索技术已经较好 地解决了单一语言的信息获取润题，其代表性技术搜索弓l 擎已经成为互联网的主流 应用。 据统计，目前全球6 亿多网民所使用的语言依次为：英文3 8 3 ，中文1 1 2 ， 日文1 0 ，德文6 8 ，西班牙文3 1 ，葡萄牙文3 1 ，俄文3 ，其他1 0 6 。而 同时期w e b 网页所使用的语言依次为：英文6 8 4 ，日文5 9 ，德文5 8 。中文 3 9 ，法文3 ，西班牙文2 4 ，俄文1 9 ，意大利文1 6 ，葡萄牙文1 4 ，韩 文l _ 3 ，其他4 4 t 6 1 。随着不同母语的人们交往同益密切，信息获取需求呈现国际 化的特点，网络资源语种的多样性却给人们自由地获取和利用这些信息设置了障 碍。人们迫切希望只需提交用一种语言构造的查询，就能获得与此相关的多种语言 的信息。在科学研究、市场调研、数字图书馆等领域，这种需求更为迫切。如果用 户掌握多种语言，那么最直接的办法就是用每一种语言构造查询语句，提交给相应 语言的搜索引擎去查找相关信息。然后再人工把所有的结果汇总整理。但这种方法 无疑加重了用户的使用负担，而且也不适用于那些不掌握相关语言或者不能很好地 用相关语言构造查询的用户。因此，跨语言信息检索的研究应运而生，成为当今信 息检索系统，尤其是网络信息检索系统为解决信息资源语种的多样性和信息用户语 言能力的差异这一对矛盾而提出的新的解决方案，j 下在受到越来越多的关注。跨语 言信息检索闯题根据访问数据类型的不同，可以分为跨语言文本检索和跨语言多媒 体检索等，本文中研究的是英汉跨语言文本检索。 2 2 信息检索技术 信息检索系统的目标就是向用户返回一组满足其信息需求的结果。用户信息需 求通常用一组词或句子来描述，即我们通常所说的“查询”，而需要搜索的数据则 称为“文档 。信息检索的基本目标是在庞大的文档库中根据使用者自身的需求 提供相关数据的特征以检索出所要的数据。因此，信息检索的基本架构主要有三个 方面： 5 华北电力大学硕士学位论文 ( a ) 将文档内容形式化表示出来； ( b ) 将所要文档的特征形式化表示出来； ( c ) 比较上述两项表示式，以找出满足条件的文档。 这个过程如图2 1 所示： 查询的 查询 髟式化函数 1r 查询的形式化表示 文档的 文档 ；式化函数 1r 文档的形式化表示 二竺兰二二7 i 赢磊i 1 、，一、。_ j 6 华北电力大学硕士学位论文 问式进行处理，系统的匹配模块将处理后的提问式与反映文献特征的文献表示进行 比较；根据比较，将与提问式具有一定相似度的文献作为检索结果按照某种顺序返 回给用户；经常会有这样的情况，用户只通过一次检索并不能使自己的信息、需求 得到满足，这时，用户会主动或指定系统自动根据用户对先前检索结果的评价修改 提问式，再次进行检索，直至信息需求得到适度满足为止。 2 3 跨语言信息检索和相关技术 跨语言信息检索涉及到多种新的概念，是各种技术的有机结合。 2 3 1 单语种信息检索和跨语言信息检索 提问语种和信息语种相同的信息检索称为单语言信息检索( m o n o l i n g u a l i n f o r m a t i o nr e t r i e v a l ，m l i r ) ，传统的计算机信息检索就属于单语言信息检索；反 之，使用一种提问语种可以检索得到多种信息语种的信息检索称为跨语言信息检索 ( c l i r ，起源于多语言信息检索) 。 2 3 2 提问语种和信息语种 提问语种，又称为源语种，是用户查询提问式所属语种，一般为查询用户母语 或熟悉的第二语种；信息语种，又称为目标语种，是被检索对象信息( 如文档或语音) 所使用的语种。信息系统中所有存在的语种都有可能成为信息语种。跨语言信息检 索的目的就是能够通过使用提问语种的提问式在信息系统中检索出符合要求的多 种信息语种的相关信息。因此，如何在提问语种和信息语种之间建立起沟通桥梁是 目前c l i r 技术研究最核心和最关键的问题。 2 3 3 计算机信息检索技术 信息检索在经历了手工检索、半自动检索和计算机自动检索的发展后，已经形 成了成熟的计算机信息检索技术与理论体系。传统的计算机信息检索是单一语种信 息检索，其基本过程是：通过搜索程序自动收集单一语种信息；然后对收集到的信 息进行统一标准化处理，并自动标引形成索弓l 数据库；用户提交检索式后，计算机 根据数据库信息的组织结构建立检索模型。把检索式和信息进行匹配，按检索模型 计算检索式与信息的相关性，最后按相关性强弱顺序输出检索结果。在整个过程中， 涉及到自动搜索、自动处理、自动标引、检索模型建立和自动匹配等多种技术。跨 语言信息检索实现信息检索的原理和方法与传统的单一语言计算机信息检索是相 同的，只是在检索过程中加入了语言自动处理技术，使一种语言能够与多种语言相 对应。 7 华北电力人学硕士学位论文 2 3 4 语言自动处理技术 信息系统中存在多种语言，对多种语言( 包括源语种和目标语种) 进行统一标准 化处理，并将其转化为同一种标准语言，然后使用成熟的计算机检索技术对标准语 言信息进行检索，即可以实现跨语言信息检索。上述采用的语言处理技术包括两个 方面：语言的标准化处理和机器自动翻译技术。语言标准化处理是使用某一语种的 标准语法检查该语种信息：机器自动翻译技术则是采用计算机程序将某一语种的信 息自动翻译成另一语种信息。翻译的标准是保持两个语种的语义对等。语言处理技 术的关键是机器自动翻译，由于涉及到复杂的计算机语义分析，而语种间词法与语 法的差异性，有的甚至无法直接转化，导致了机器翻译的效果还远未达到人们所期 望的水平。语言的标准化处理是自动翻译的前提，标准化处理的效果会直接影响到 机器自动翻译的准确性，而自动翻译的准确性又直接决定检索的准确性。 计算机信息检索技术和语言自动处理技术是c l i r 中所使用的主要技术，但不 是两者的简单叠加而是有机结合。由于计算机检索技术的成熟和语言自动处理技术 的缺憾，c l i r 所要解决的本质问题实际上是语言自动处理( 机器翻译) 问题。可以这 么说：解决了机器自动翻译技术问题，就等于基本上实现了c l i r 。 2 4 现代c l i r 系统模型和匹配策略 2 4 i c l i r 系统模型 跨语言信息检索技术是传统计算机信息检索技术和语言自动处理技术的有机 结合，因此c l i r 过程一般可以分为三个步骤：a 多语种信息的搜集以及多语种信 息数据库的建立；b 应用语言自动处理技术实现提问语种和信息语种的统一；c 应 用单语种信息检索技术实现提问式与数据库信息的匹配。其中，步骤b 是实现c l i r 的关键。 为了更加精确的描述一个跨语言信息检索系统，本文给出如下八元组进行说明： 其中q 表示源语言查询条件；t 表示目标语查询条件：d 表示目标文档集；o 表示索引词汇表，函数同样表示从d 中抽取$ 的过程，：d _ ，r _ ( f ) ：f 表 示翻译函数，t ：q r ；函数表示索引词汇。在文档d ，中出现的次数， 仉，d ，) 净l r d i e ( r ) = ，j ；矽函数表示出现m ； 的文档数 ， 妒( ；) ：= l 娩d 】l j f d ；m ( r ) = ，f ；m 表示匹配函数 华北电力大学硕七学伍论文 m 一真，当 r = r f f t ，r 2 、 l 假，否则 下面通过图2 2 来描述跨语言信息检索的过程，图中采用英文查询条件到中文 文档集的检索为铡。如图2 2 所示，首先用户信息需求的英文表示经过文本预处理， 通过查询翻译模块转换为中文的用户需求，然后由查询条件组织模块组织出中文的 查询条件，随后进行传统的单语信息检索。汉语单语检索完成后系统将返回一个排 序的中文文档，将其显示在用户界面上。 用j 户l 反 馈： 冈； 1 j 1 一 2 4 2 匹配策略 文本 图2 2 跨语言信息检索系统结构图 汉英跨语言信息检索系统中，用户通过英语( 或汉语) 提问检索相关汉语( 或英语) 文献。相对于同种语言如汉语之间或者英语之问单一语言的信息检索，在跨语言信 息检索中提问和文件之间的匹配使得信息检索变得复杂，所有的跨语言信息检索系 统，包括汉英跨语言信息检索系统，都需要应用一些不同的翻译资源来解决这些问 题。 目前，提问语种和信息语种的统一主要有三种模式( 方向) ：提问语种转化( 翻译) 成信息语种；信息语种转化成提问语种；将信息语种稃提鹤语种均转化成另一中问 9 二一库一 上童 华北电力人学硕十学位论文 语种【刀。根据语种转化的三个方向，目前实现c l i r 主要可以使用以下四种常见的 匹配方法：同源匹配，文件翻译，中i b j 语种翻译方法和提问式翻译。其中提问式翻 译是最经常使用的方法，本文也主要是基于提问式翻译策略进行研究。 2 4 2 1 同源匹配 同源匹配是指在一个语言中不熟悉的词，通过与其它语言单词的拼写和读音的 相似来猜测。例如，法语就可以被看作有拼写错误的英语单词，直接对英语文件执 行信息检索，而不用相互翻译。康奈尔大学的b u c k l e y 等人开发了一个英语到法语 跨语言信息检索程序，该程序将英语单词视为可能拼错的法语单词，从而可借助于 该程序实现英语提问式与法语文献的直接匹配。 在中英文跨语言信息检索中，在对专有名词的处理会用到同源匹配，就是针对 英语的专有名词在汉语中的翻译一般采用音译，以及汉语的专有名词在英语中一般 直接应用拼音表示的特点，利用其汉语的拼音和英语词汇之问的相似，用汉语拼音 和英语单词或者音标来进行模糊匹配。国立台湾大学咨询工程学系陈信希教授利用 同源匹配策略研究中英文跨语言信息检索。 同源匹配可以单独使用，但是这个方法的局限性比较大，因为在跨语言信息检 索的操作中，一般都是截然不同的两个语种之间进行信息检索，实现同源匹配的可 能性比较小，因此在跨语占信息检索中同源匹配方法较少地得到应用，同源匹配大 多是和其它的方法结合起来进行应用。 2 4 2 2 文件翻译 文件翻译是另外一种方法，这种策略将所有的文件或者文件表示翻译为系统支 持的语言进行信息检索。由于文件具有完整的文献语境，原则上来讲，可以利用较 好的语境信息实现语义排歧。翻译文献全文的做法还可以通过为用户提供文献译 文，帮助用户理解检索出的文献以及判断它们的相关性。然而，考虑到数据库文件 信息的海量存储，应用文献翻译策略所需的处理时阈较长，两且计算量过于庞大， 成本会很高。翻译文献全文的做法还会导致数据库中的数据量成倍增加，使得文献 集合的规模受限。因此，极少有系统采用翻译文献的策略。 一般采用将机器翻译工具整合到跨语言信息检索系统中的方法来得到对文献 的翻译。然而，事实上，对于一般人而言，要真正理解一段文字尚且不是简单的工 作，更何况是使用机器进行翻译。但是机器翻译在专业科技领域取得较好翻译质量 的可能性相对较高，已有的机器翻译系统也证实了这一点。因此，e r b a c h 等人主张， 只在某些专业领域的小型文献集合上利用文献翻译策略来实现跨语言信息检索的 可行性较高【引。 l o 华北电力大学硕士学位论文 2 4 2 3 中间语种翻译方法 将源语言和目标语言都转换成一种中间语种以实现c l i r ，这种将提问式和文 献信息均翻译成由中间语种表示的c l i r 实现方法称为中间语种翻译技术方法。中 间语种翻译方法将提问式和文献都“翻译一为同一种语言来表示。基于多语种叙词 表的受控词表跨语言信息检索技术是这种方法的一个典型代表。由于受控词表中的 每个词都与一个概念相对应，通过为每个概念赋予一个独立于语言的标识，这样就 可以在受控词表不同语言的词之间建立起对应关系。受控词表方法要求用户输入的 提问词是来自受控词表的词，标引文献所用的词也来自于受控词表，这样就可以以 概念标识为桥梁，实现跨语言信息检索。 有关研究人员还利用对齐的平行语料库开发出了全自动中介语言技术，例如跨 语言潜语义标引( l a t e n ts e m a n t i ci n d e x i n g ) ，其原理是：检查不同语词所在“上下文一 的相似性，并产生一种特征空间的描述，在这种特征空间里，出现在相似上下文中 的不同语词有接近的向量描述，在产生一个关于不同术语使用意义相似性的描述之 后，就可以将这个描述用于检索。就是将提问式和文献都映射为向量空间中的点或 向量，然后计算点之间的距离或者向量夹角的余弦值，据此衡量提问式和文献之间 的相似度，实现跨语言信息检索。 在跨语言信息检索中遇到两种语种( 源语种和目标语种) 之间无法进行直接翻 译，甚口两者进行直接翻译的语言资源( 如双语词典等) 不存在时，只能借助于中间语 种将源语种翻译成目标语种( 源一中间一目标) 或将源语种和目标语种均翻译成中问 语种( 源一中闻一目标) 。在这种情况下，使用中间语种翻译方法实现c l i r 将是一个 不错的选择。 2 4 2 4 提问式翻译 提问翻译方法在跨语言信息检索系统试验中是应用最广泛的方法，它是在信息 检索之前，将提问式的语种转化翻译成所要被检索信息的信息语种。这种转化方式 是目前实现c l i r 的主流思想，它可以很容易地和传统单语种信息检索技术紧密结 合；仅对提问式进行语言翻译，工作量小；但是检索返回的结果是用目标语言描述 的，这将增加用户利用信息的难度。到目前为止，提问式翻译可以通过以下技术来 加以实现：基于字典方法( d i c t i o n l r y - b a s e d m e t h b d ) 、基于语料库方法( c o r p u s b a s e d m e t h o d ) 、字典语料库混合方法( h y b r i dm e t h o d ) 、提问式构造方法( q u e r ys t r u c t u r i n g m e t h o d ) 以及提问词再赋权重方法( q u e r yt e r mr e w e i g h i n gm e t h o d ) 。对于中英文 跨语言信息检索，就是把汉语( 或英语) 提问检索式进行翻译从而和系统中的文件 进行匹配。当前绝大多数的跨语言信息检索系统都是应用提问翻译策略，因为提问 翻译是相对容易实现并且检索效率比较高，而且可能是最有效的方法。一个现实中 华北电力大学硕士学位论文 的信息检索系统可以比较容易地转换成一个中英文跨语言信息检索系统，通过在提 问处理模块上增加一个提问翻译程序。本课题也是针对提问检索式进行翻译处理来 构建汉英跨语言信息检索模型。 2 5 跨语言信息检索中翻译方法的实现 2 5 1 基于机器翻译的方法 机器翻译系统( m a c h i n et r a n s l a t i o ns y s t e m ，m t s ) 接受用户的输入检索并提供输 出的翻译结果。在文献翻译方法中，机器翻译系统能够执行文献信息翻译成提问语 种而且能够提取索引词，能够执行深层次的语法分析，并能够利用丰富的上下文信 息解决词义模糊、歧义等问题。例如i b m 公布的i b mh o m e p a g ed i c t i o n a r yt m 2 0 0 0 就提供英泽汉的机器翻译功能，它包含一个4 8 0 k 的英汉字典，字典中包含单词、 常用词组、缩写以及专有名词，对大部分单词翻译的模棱两可的情况都能有效解决。 2 5 2 基于语料库的方法 语料库是将同一信息或者同一主题的信息用两种或者多种语言进行描述，并由 人工或者计算机建立不同语种间信息联系的集合，来源于对单词用法的统计。这种 方法的中心思想是通过语料库中不同语种同一信息的对应关系对提问进行翻译并 且过滤提问翻译后产生的非正常翻译结果。通常情况下，提问语种语料库中的单词 ( 或词组) 出现的概率大小与对应的检索语料库中的概率大小有关，这样就可以比较 它们出现的概率协助曲调干扰项并确定一个最佳翻译。 2 5 3 基于词典的方法 主要是利用机读词典，将用户提交的检索式翻译成目标语种进行检索。在查询 翻译后，需要解决的问题是一词多义、一义多词和词典的覆盖度( 专有名词) 。解决 一词多义的方式，主要选择第一个词义、前n 个词义、所有词义等。对于专有名词 ( 人名、地名) ，可以采取不翻译的办法；而对于新词汇，可以通过及时更新词典的 方式来解决；对于专业名词的处理，一般是通过普通词典与专业词典相结合的方式 来解决。 2 5 4 字典与语料库混合方法 这种方法结合字典和基于语料库方法各自的优点。首先使用词典对提问式进行 翻译，在翻译过程中可能会出现多个结果或者翻译含糊不清的情况，此时，利用专 业语料库中相关术语的对应关系来净化翻译结果。这种方法体现了字典翻译的方便 性和语料库翻译的准确性、专业性各自的优点，因此采用基于字典和语料库混合的 1 2 华北电力大学硕士学佟论文 方法是比较好的做法。 2 6 跨语言信息检索方法分类 当前，跨语言信息检索的方法主要有受控词表跨语言信息检索和自由文本跨语 言信息检索两种方法，其检索的方法分类如图2 - 3 所示。 厂 c l i r i 一一j 2 6 1 受控词汇检索 图2 3 跨语言信息检索分类图 受控词汇检索( c o n t r o l l e dv o c a b u l a r y ) 是指文档集通过手工对预先选择好的词汇 进行索引，用户也是从这些受控词汇中选择词汇构建查询条件，然后对文档进行检 索。在该类检索系统中，多语言主题词表用于将被选择的每一种语种的词汇和与语 种无关的概念识别器相联，文档的检索是通过概念识别器的匹配实现的。受控词汇 跨语言检索系统中包含两个过程：将文档与查询条件都用受控词汇来表示。对文档 的标识其实是对文档的翻译过程，而对查询条件用受控词汇来构建其实是对查询条 件的翻译过程。它主要用于文档集的概念是可控的一些领域，例如图书馆中的文献 检索。受控词汇检索的不足在于： 用受控词汇表中的检索词来标识每一篇文档通常是手工完成的，其使用范 围受到很大的局限： 培训用户学会有效地使用受控词汇来构建查询条件是一件非常困难的工 作。 2 6 2 自由文本检索 对于文本检索，是一种不同于受控词汇检索的方法是用文档集中出现的语词来 标识其文档，这种检索方法称作“自由文本检索( f r e et e x tr e t r i e v a l ) 。跨语言信 1 3 华北电力大学硕士学位论文 息自由文本检索的三个基本方法是：基于机器翻译的方法( m a c h i n et r a n s l a t i o n m e t h o d ) 、基于知识的方法( k n o w l e d g eb a s e dm e t h o d ) 和基于语料的方法( c o r p u s b a s e dm e t h o d ) 。 2 6 2 1 基于机器翻译的方法 实现跨语言检索系统最直接的方法是将机器翻译系统应用于检索过程中。一种 方法是将用户查询条件翻译为与文档相同的语种。另一种方法是将文档集中的文档 翻译为与查询条件相同的语种，然后再用单语种的信息检索系统进行检索。目前全 自动机器翻译系统的主要缺点是翻译系统只能在受限的领域才具有较高的翻译质 量。f l u h r 等人的研究表明，检索系统能较好地解决翻译中出现的语法错误，但无法 解决翻译中出现的语义翻译错误，这主要是因为缺乏语词在不同领域的使用知识信 息，因此将机器翻译应用到跨语言信息检索中会受到一定的限制。 对于较短的查询条件，由于没有上下文信息和领域信息，无法消除翻译中出现 的歧义，其翻译质量会更差。而对于将翻译文档翻译成与查询条件相同的语种方法， 虽然可部分克服查询条件较短，缺少上下文的缺点，翻译文档中出现一些错误可通 过其他正确的翻译结果来弥补，但同单语种的信息检索系统相比，其检索性能要低 很多。这主要是因为对于原文档中的多义词，在翻译过程中选择了最可能的语义进 行翻译，而实际上也许并不准确，因此检索系统在翻译文档集上的检索性能要比在 原文档集上的检索性能低。当原文档集所涉及的领域很广时，如互联网上的网页， 全自动机器翻译的精度较低，更加影响了系统的检索性能。同时，目前全自动机器 翻译系统的效率很难满足信息检索系统的要求。 2 6 2 2 基于知识的方法 基于知识的方法包括基于机读双语词典的方法和基于主题词表的方法。 基于机读双语词典的方法( m a c h i n er e a d a b l ed i c t i o n a r ym e t h o d ) 是跨语言信息 检索领域中最为关注的方法f 9 , 1 0 j 。它的基本思想是将查询条件的检索词用恰当的目 标语种的一个或者一组检索词来代替。该方法主要有三个方面的因素需要考虑。一 是许多检索词在基于双语词典的翻译过程中，它们的译项并不是唯一的，而且这些 译项中所表达的意思也可能根本不