（计算机应用技术专业论文）定义类问题回答研究.pdf

摘要 本文对定义类问题回答( q a ) 进行了系统的研究，介绍了一种基于 外部资源的定义类问题回答方法。定义类问题回答系统很大程度上依 赖于它所采用的知识源，我们尝试利用在线知识库、结构化模板等多 种外部资源来提高定义类问题回答系统的性能。我们采用可行并且有 效的方法综合利用问题目标词语在多个在线知识库中的定义。在基于 g d s 的定义抽取算法中，我们基于每个候选句子与这些外部知识的 相似度来对候选句子集合进行排序；而在基于e d s 的定义抽取算法 中，我们首先从这些外部知识中提取出关于目标词定义的关键点，然 后在语料库中投影出这些关键点所对应的句子，从而实现定义句抽取 的目标。由于定义性的句子通常以某种特定的句式叙述，我们同时利 用结构化的模板进行补充。为了对系统进行准确的、可比较的评价， 我们参加了t r e c 2 0 0 4 和t r e c 2 0 0 5 的定义类q a 任务的评测。在 与同类系统的比较中可以看到，我们的基于外部资源的定义抽取方法 取得了令人满意的成绩一一两次评测分别位于2 8 个参评系统的第2 位和3 0 个参评系统的第2 位。 对系统返回的结果进行主观的、手工的评价十分耗时费力，会影 响定义类问题回答方法研究的进度。本文提出了一种定义类问题回答 系统的自动评价方法。该方法综合考虑了系统返回的答案和t r e c 提供的答案的n - g r a m ( n = l ，2 ，3 ) 共现率，并且为了方便与t r e c 提供 的人工评价结果进行比较，沿用了t r e c 的f 分值机制。该方法是 完全自动进行的，无需人力的参与。实验结果显示，该方法可以很好 的模拟人工评价，快速并正确地评价系统返回答案的质量。 关键词：自然语言处理信息检索定义类问题回答自动评价 中图分类号：t p 3 a b s t r a c t 1 1 1 i sp a p e rp r e s e n t sad e f i n i t i o nq u e s t i o na n s w e r i n g ( q a ) a p p r o a c h ， w h i c hi sb a s e do nt h ee x t e r n a ir e s o u r c e s i no r d e rt oa u t o m a t i c a l l y i d e n t i f yd e f i n i t i o ns e n t e n c e sf r o mai a r g ec o l l e c t i o no fd o c u m e n t s w eu t i l i z et h ee x i s t i n gd e f i n i t i o n so ft h eq u e s t i o nt a r g e ti nt h ew e b k n o w l e d g eb a s e s e f f e c t i v em e t h o d sa r ea d o p t e dt om a k ef u u s e o ft h e s ee x t e r n a lr e s o u r c e s i nt h eg d sb a s e da l g o r i t h m w er a n k t h ec a n d i d a t es e n t e n c e sb a s e do nt h e i rs i m i l a r i t i e sw i t ht h i s e x t e r n a ik n o w l e d g e ；i nt h ee d sb a s e da l g o r i t h m 。w ef i r s t l ye x t r a c t t h ed e f i n i t i o n a in u g g e t so ft h eq u e s t i o nt a r g e tf r o mt h i se x t e r n a l k n o w l e d g ea n dt h e np r o j e c tt h e s en u g g e t so nt h ec o r p u st og e tt h e d e f i n i t i o n a is e n t e n c e s 。w ea l s ou s es o m es t r u c t u r e d p a t t e r nt o c a p t u r e t h o s ew e l l - f o r m e dd e f i n i t i o ns e n t e n c e st h a ta r en o t s t a t i s t i c a l l ys i g n i f i c a n ti n t ot h ea n s w e rs e t w ea p p l i e do u rs y s t e m i nt h et r e cd e f i n i t i o nq at a s ka n da c h i e v e da ne n c o u r a g i n g p e r f o r m a n c e w h i c hw a sr a n k e d 2 ”o a m o n g2 8s y s t a m s i n t r e c 2 0 0 4a n d2 ”oa m o n g3 0s y s t e r n si nt r e c 2 0 0 5s e p a r a t e l y m a n u a le v a l u a t i o no ft h ea n s w e r st od e f i n i t i o nq u e s t i o n si sc o s t l yt o a p p l ya n dt h e r e f o r ei m p r a c t i c a if o rt a s k st h a tr e q u i r ef r e q u e n t e v a l u a t i o ns u c ha ss y s t e mt u n e u p t h i sp a p e rp r e s e n t sa n a u t o m a t i ce v a l u a t i o na p p r o a c h ，w h i c hi sb a s e do nt h en g r a m c o - o c c u r r e n c e so ft h es y s t e r nr e s p o n s ea n dt h et r e ca n s w e r n u g g e t s e x p e r i m e n t sw i t ht h et r e cd e f i n i t i o nq a t r a c k si n d i c a t e t h a tt h er a n k i n g sp r o d u c e db yo u rm e t r i cc o r r e l a t eh i g h l yw i t h o f f i c i a ir a n k i n g s w eh o p et h i sw i l ie n a b l ef a s t e re x p l o r a t i o no ft h e d e f i n i t i o nq ar e s e a r c ha r e a k e y w o r d s - n a t u r a ll a n g u a g ep r o c e s s i n g ，i n f o r m a t i o nr e t r i e v a l ， d e f i n i t i o nq u e s t i o na n s w e r i n g ，a u t o m a t i ce v a l u a t i o n 复旦大学硕士学位论文定义类问题回答研究 第1 章引言 1 1 问题回答 如今，高度的信息化、电子化和网络化使得每个人每天面对浩如烟海的电子 文档，这就需要大量的人力来管理和处理这些电子文档，以便满足使用者对这些 信息的需求。其中，一项最重要、最复杂与最急迫的任务就是如何从这些文档中 快速地获取知识或者快速地回答使用者所面l f 函的问题。由于文件的信息量非常的 大，现在若要靠人力来逐一整理与过滤出知识是不可行的，我们若想从这些文件 里自动地找寻相关资料就必须依靠信息检索技术。 目前，搜索引擎已经成为人们获得信息不可或缺的工具。人们可以利用搜索 引擎，通过关键字检索来找寻所需要的信息。用户向搜索引擎提交一个查询，搜 索引擎会返回与这个查询相关的若干文档。例如，当用户想要知道“世界上最长 的河流是哪条? ( w h i c hi st h el o n g e s tr i v e ri nt h ew o r l d ? ) ”时，他也许会将“t h e l o n g e s tr i v e ri nt h ew o r l d ”作为一个查询提交给搜索引擎，搜索引擎会返回与该 查询相关的成千上万的文档，问题的答案是隐藏在这些文档中的；用户必须阅读 这些搜索引擎返回的大量的文档，从中找到他的问题的答案。传统的搜索引擎进 行的只是依赖关键字检索的工作，而非真正的信息检索。关键字检索并不能立即 获取所要的知识或者立即回答使用者的问题，它的可用性和易用性还有待进一步 提高。比如，在上面提到的例子中，用户还要浏览这些搜索引擎返回的大量文档， 找到究竟世界上最长的河流是哪条。 概括起来，目前基于关键字检索的搜索引擎的局限主要有两点：第一，搜索 引擎用户输入的关键词是决定能否找到目标网页的决定因素，由问题转换到查询 关键词，既不方便，又需要有构思恰当的关键词的经验；第二，搜索引擎会返回 大量的网页，用户必须亲自阅读搜索引擎返回的多篇文档，从中提炼出自己所需 的信息。这个过程不仅需要花费很多精力和时间，而且用户获得的信息也不够集 中，不够系统。这些局限就造成了用户的期望和系统的检索能力之间的鸿沟，并 且，随着信息超载的情况的日益严重，这个鸿沟将会越来越大。 因此，需要问题回答( q u e s t l o na n s w e r i n g 。简称q a ) 系统束解决这个问 题。用户可以用自然语言向一个q a 系统提问，而不需要考虑关键字和关键字组 合的问题；系统将会自动地在庞大的文档集( 通常称为q a 语料库) 中找到关于 这个问题的答案，而不需要用户在大量的返回文档中自行查找。一个优秀的问题 回答系统应该可以快速而准确地找到问题的答案，并且能够提供足以支持这个答 复旦大学硕士学位论文 定义类问题回答研究 案的上下文。 为了从庞大的语料库中寻找到这个自然语言提出的开放领域的问题的准确 答案，问题回答系统需要整合传统的信息检索( i n f o r m a t i o nr e t r i e v a l ，简称i r ) 、 自然语言处理( n a t u r a ll a n g u a g ep r o c e s s i n g ，简称n l p ) 、机器学习( m a c h i n e l e a r n i n g ，简称m l ) 以及信息抽取( i n f o r m a t i o ne x t r a c t i o n ，简称i e ) 等多个 领域的若干技术。目前，问题回答的研究正在发展当中，其主要的研究方向可分 为以网络上的信息为潜在的答案来源及以固定的测试文集来当作答案来源两大 类。为了与同类系统进行比较，我们这里研究以固定的测试文集作为答案来源的 问题回答。 1 2 定义类问题回答 根据用户提出的问题及其所需的答案的不同形式，可以将问题分为如下三 类：事实类问题、定义类问题和列举类问题。由于问题和答案的形式各有不同， 通常，在系统内部会分别采用不同的方法对这三类问题的回答加以实现。定义类 闯题是其中形如“w h a ti sh a l eb o p pc o m e t 7 ”或者“w h oi sf l o r e n c e n i g h t i n g a l e ? ”的一类问题。 定义类问题回答任务的描述为：对于任意一个问题目标词语( q u e s t i o n t a r g e t ，关于问题目标词语的定义参见3 1 节) ，从大规模的文档集合中抽取包 含尽可能多的关于该词语的描述性信息，并将这些信息概括成关于该词语的定 义。这类问题可以询问一个人物的传记、一个组织的概要信息，也可以询问其它 的实体、术语甚至某个事件的定义。 图i定义类问题回答系统 一个定义类q a 系统的大体框架如图1 。当用户向一个定义类q a 系统提 问：“w h oi sf l o r e n c en i g h t i n g a l e ? ”，系统经过一系列的分析、检索、抽取、融 2 复旦大学硬士学位论文定义类问题回答研究 合等操作，从语料库中快速准确的找到这个问题的答案( 即，关于这个问题的目 标词语“f l o r e n c en = g h t i n g a l e ”的描述性信息) ，返回给用户。 近年来，关于定义类问题回答的研究在q a 领域备受关注。定义类问题在网 络搜索引擎日志中的出现率比较高【10 】，这充分显示了此类问题的重要性，同 时也就迫切的需要该领域研究的进展。另外，定义类问题回答的成果也可以比较 容易地扩展为其他应用。例如，我们可以将该问题的研究移植到专门领域的百科 全书的生成；也可以将人物类的定义类问题回答方法应用到人物传记的产生；等 等。所以，定义类问题回答的研究具有重要的意义。 1 3 本文概貌 本文的余下部分组织如下： 第二章介绍定义类问题回答领域著名的评测会议t r e c 、该领域的研究背景 和相关工作以及本文的贡献。 第三章描述了系统的体系结构以及定义类问题回答的具体实现方法；其中包 括本文提出的、在t r e c 的评测中取得较好成绩的“基于在线知识库的定义问 题回答方法”的描述。 第四章介绍一种自动的定义类问题评价方法。 第五章给出了实验数据、实验背景和各方法的评价和结果分析，并给出了自 动评价与人工评价的性能比较。 第六章小结了本文的主要工作以及对未来的展望。 3 复旦大学硕士学位论文 定义类问题回答研究 第2 章研究背景 2 。1t r e c 的问题回答任务 由美国国家标准技术局( n i s t ) 和国防部高级研究计划局( d a r p a ) 组织 召开的文本检索会议( t e x tr e t r i e v a lc o n f e r e n c e ，简称t r e c ) 是文本检索领 域最具权威的国际评测会议。从1 9 9 2 年开始，迄今己举办了1 4 次。t r e c 会 议的宗旨主要有三条【8 】：通过提供规范的大规模语料( g b 级) 和对文本检索 系统性能的客观、公正的评测，来促进技术的交流、发展和产业化；促进政府部 门、学术界、工业界间的交流和合作，加速技术的产业化；发展对文本检索系统 的评测技术。它为参加的单位提供统一的语料和统一的评测标准，并对参加单位 提交的结果进行评比。 从1 9 9 9 年的第八届t r e c 会议开始，为开放域的问题回答任务提供大规模 的评价。该项任务的目的就是为了促进开放领域问题回答系统的研究的发展。对 于一个问题，该任务的目标是：系统的返回是该问题的“答案”而不是“文档”。 为了促进该研究领域的发展，t r e c 的问题回答任务的要求在逐年变化着。 t r e c 8 ( 1 9 9 9 ) - - t r e c l l ( 2 0 0 2 ) 并没有对问题进行分类的评测，也没 有明确地提出定义类( d e f i n i t i o n ) 问题的概念。最初的任务只是要求每个问题 返回包括答案的一段一定长度的片断；随着该领域研究的进一步发展，仅返回包 含答案的片断已经不够，随后的任务要求要返回“确切”的答案，这就要求系统 必须更加精确地找到并抽取问题的答案。 2 0 0 3 年，t r e c 开始对定义类问题进行完整的评价【1 1 】。t r e c 2 0 0 3 的 m a i n 任务中有三类不同的问题：事实类( f a c t o i d ) ，列举类( l i s t ) 和定义类 ( d e f i n i t i o n ) 问题。f a c t o i d 问题只有一个答案，而且答案一般都比较简短，用 一个单词或词组即可表达；u s t 问题会有多个分布在不同文档的答案；d e f i n i t i o n 问题要求系统返回一段描述形的文字作为答案，比如问题：“w h oi sc o l i n p o w e l l ? ”或者“w h a ti sm o l d ? ”，仅用几个单词无法回答这类问题，提出这类 问题的用户往往希望系统能够提供更加详细的信息。 t r e c 2 0 0 4 提供了6 5 个问题系列，每个系列包含4 至6 道问题。同一系列 中的问题都是围绕一个主题提出的，问题的类型可以是f a c t o i d ，u s t 或者 d e f i n i t i o n 。系统在回答后面的问题时，可以利用同一个系列中的面问题的信息。 这模拟了用户在真实世界中获取信息的过程：他们可以利用回答前一个问题时所 获得的信息来更好地回答后面的问题。 4 复旦大学硕上学位论文定义类问题回答研究 t r e c 2 0 0 5 继续沿用了问题系列的形式，共包括7 5 个问题系列。与 t r e c 2 0 0 4 不同的是，这些问题的目标词( t a r g e t ) 所涉及的类别更为广泛。不 仅包含了以往的人物、组织名、其它实体名，而且还包含了事件类的问题目标词。 这对系统回答问题能力的要求有进一步的提高。 t r e c 对问答系统的任务要求和评测标准的逐年提高，使得问题回答领域的 算法和系统架构逐步地成熟。t r e c 提出的评测方法已成为该领域的标准，用来 衡量问答系统的性能。 2 2 相关工作 目前，定义类问题回答在问题回答领域仍是有待解决的问题。标准的事实类 问题回答技术的目标是抽取一个单一的答案片断，并不能直接地应用于定义类问 题回答任务。 现有的系统采用不同的技术和资源，来解决这个问题。在采用的技术方面， 定义类问题的回答任务的解决，需要用到很多相关领域的技术，包括：信息抽取、 多文档文本摘要以及答案融合等等。在采用的资源方面，目前的大多数问题回答 系统利用了一些外部资源，来提高系统的性能，这些资源包括：w o r d n e t 、w e b 资源和模板等等。 自从m m s o u b b o t i ne ta 1 【3 5 】将手工编纂的模板应用到事实类问题回答 中以来，模板匹配的方法在问题回答领域开始了广泛的应用。目前，大多数定义 类问题回答系统都使用了不同形式的模板匹配方法来抽取定义性句子。早期的 t r e c 系统，诸如k o u y l e k o ve ta 1 3 3 1 ，采用简单的、手工建立的模板来抽取 定义性的短语。近几年来，很多系统采用了更为复杂的技术。s a s h a e t a l 【3 7 】提 出了一种数据驱动的统计方法和有监督的机器学习到的规则相结合的方法来抽 取定义。c u ie t a l 【16 】使用无监督的学习得到的模板，通过软匹配的方法识别定 义性的句子。所谓的软匹配是指，在用模板与候选句子进行匹配时，采用的是基 于概率的模糊匹配，而不是基于正则表达式的硬匹配。总之，此类的方法需要或 多或少的人力来建立模板或标注语料。 x ua ta 1 【2 7 】，e c h i h a b ie ta l i 【1 】和c u ie ta 1 【15 】都采用基于外部知识的统 计方法来对句子排序，从而抽取出定义性的句子。除了采用语料库上的统计信息 之外，对于那些包含在外部知识( 例如：人物传记网站) 中出现的高频词的句子 的权重也会有一定的增加。另外，他们还利用了w o r d n e t 做为一种外部的知识 来源。y a n ge t a l 【1 9 还利用了g o o g l e 搜索到的片断来增强系统对候选的句子 的排序能力。他们普遍采用了一种基于文档集的质心( c e n t r o i d ) 的排序方法。 5 复旦大学硕士学位论文定义类问题回答研究 对于每个问题，首先形成一个外部信息的质心( 关于词语和其出现频率的一个向 量) ，然后计算候选答案与这个质心的相似度。最后，相似度较大的那些候选答 案就作为这个问题的答案。 模板匹配的方法【16 1 和基于外部知识的质心的排序方法【2 7 1 基本上可以 代表该技术的目前发展水平。另外有一些系统，对多种外部资源进行综合利用， 取得了较好的成绩。其中，w h i l d e b r a n d te ta 1 【4 1 】将如下三种资源结合起来 用于抽取定义：语料集、词典以及手工建立的模板抽取出来的片断组成的数据库。 p r a g e re ta l 。伫9 l 试图将现有的、用于处理事实类问题的技术应用于定义类 问题回答任务。该系统将全部的定义类问题分为三类来处理，分别为人物、组织 名和其它实体。对于每一个定义类问题，他们会将其分解成一系列的事实性问题， 形成一个“辅助问题集”。辅助问题集的形成，主要是根据该定义类问题的类型， 在训练语料集上自动获得的。其中，关于“人物”类型的问题，还采用了人工的 方法作为补充，从人物传记中提取那些频繁出现的话题，形成辅助问题集。关于 这些辅助问题的回答，与其回答事实问题的方法是一样的，只是保留了问题中的 关键词作为答案的提示。例如，对于人物类的问题，可能会包含这样的一个辅助 问题“w h e nd i dxd i e ? ”，该问题的答案加上问题关键字“d e a t h ：1 0 6 6 ”作为该 辅助问题的答案。最后，原问题的答案就是由这些事实类问题的答案融合在一起 形成的。在融合这些答案的时候，还考虑到了这些辅助问题的答案的可信程度， 只将那些可信度比较高的答案作为原问题答案的一部分。 该方法利用了已有的技术( 事实类问题回答) ，解决了新的领域( 定义类问 题回答) 的问题，为定义类问题回答的研究提供了一个很好的框架。这种将原问 题分解为一系列辅助问题的方法在t r e c 的定义类问题回答任务上的成绩并不 十分令人满意。该系统需要一个更合适的方法来决定如何产生这一系列的事实类 问题【2 9 】。 另外，定义类问题回答在一些特定领域上也有所发展。b s c h i 仟r n a ne t a l 4 】 提出了一种数据驱动的统计方法和机器学习得到的规则相结合的方法来生成人 物的传记摘要，用来回答诸如“w h oj sx ”之类的问题。他们主要是基于同位语 和从句等句法特征来产生摘要的。b l i ue ta 1 3 】提出了一种从w e b 上挖掘一 些专门话题( 诸如，科普主题的) 的定义的方法。该系统主要依赖一组手工建立 的规则来抽取定义性的句子。 2 3 本文的贡献 与回答事实类问题不同，定义类问题要在文档集中寻找与该问题的目标词语 复旦大学硕士学位论文定义类问题回答研究 相关的一系列的信息片断，这就需要一些辅助信息来提供用户所感兴趣的方向。 我们可以看到在线知识库( w e bk n o w l e d g eb a s e ) 对于定义类问题回答是一种 十分有效的外部资源。这些外部信息可以很好的模拟用户的兴趣，所以可以借助 它们从文档集中抽取出高质量的答案。本文将深入的研究如何利用在线知识库中 的知识来从候选句子集中提取定义性的句子。我们没有采用大多数系统【1 】【15 】 【2 7 1 所采用的基于文档集的质心的排序方法，而是采用了一种更加可行并且有 效的方法，可以准确并快速的从大规模的文档集中抽取出问题的答案。在基于 g d s 的定义抽取算法中，我们基于每个候选句子与这些外部知识的相似度来对 候选句子集合进行排序；而在基于e d s 的定义抽取算法中，我们首先从这些外 部知识中提取出关于目标词定义的关键点，然后在语料库中投影出这些关键点所 对应的句子，从而实现定义句抽取的目标。由于定义性的句子通常是以某种特 定的句式叙述的，所以我们同时利用结构化的模板来对上述方法进行补充一一 将那些与外部知识相似度很高但并不是定义性的句子过滤掉，并提取出那些与外 部知识相似度不高的定义性的句子。为了对系统进行准确的、可比较的评价，我 们参加了t r e c 2 0 0 4 和t r e c 2 0 0 5 的定义类q a 任务的评测。在与同类系统的 比较中可以看到，我们的基于外部资源的定义抽取方法取得了令人满意的成 绩一一两次评测分别位于2 8 个参评系统的第2 位和3 0 个参评系统的第2 位。 对系统的返回答案进行主观的、手工的评价是十分耗时耗力的，这势必会影 响定义类问题回答方法的研究进度。基于上述问题，本文提出了一种定义类问题 回答系统的自动评价方法。该方法综合考虑了系统返回的答案( s y s t e m r e s p o n s e ) 和t r e c 提供的答案( a n s w e rn u g g e t s ) 的n - g r a m ( n = l ，2 ，3 ) 共现率； 并且为了方便与t r e c 提供的人工评价结果进行比较，沿用了t r e c 的f 分值 机制。该方法是完全自动进行的，无需人力的参与。实验结果显示，该方法可以 很好的模拟人工评价，快速并准确地评价系统返回的答案的质量。我们希望通过 该方法的应用，可以使定义类问题回答的研究者快速的发现对系统的某个改进是 否对性能提高产生作用，从而加速定义类问题回答研究的发展。 7 复旦大学硕士学位论文 定义类问题回答研究 第3 章定义类问题回答方法研究 3 1 系统架构 与回答事实类问题不同，定义类问题要在文档集中寻找与该问题的目标词语 相关的一系列的信息片断，这就需要一些辅助信息来提供用户所感兴趣的方向。 所以，我们尝试利用多种外部资源来进行定义抽取。 在介绍核心的定义抽取的方法之前，我们先介绍一下系统的整体架构。我们 采用了一个目前比较通用的定义类问题回答系统框架，如图2 所示。整个系统 主要分为四个部分，分别为：问题处理，文档处理，外部资源获取和定义抽取。 对于一个输入的定义类问题，系统首先进行问题处理。该模块的主要任务为 从问句中抽取该问题的目标词( q u e s t i o n t a r g e t ) 、对问题目标词进行分类和对问 题目标词加以扩展等。所谓问题目标词，就是该问题所要寻找其定义那个词语。 例如，对于问题 w h oi sf l o r e n c en i g h t i n g a l e ? ”，它的目标词就是“f l o r e n c e n i g h t i n g a l e ”。这个目标词，以及对其进行的处理得到的相关信息，将作为后续 模块一一“文档处理”和“外部资源获取”的输入。 接着，在文档处理模块，利用问题目标词形成信息检索的查询项( q u e r y ) ， 并从语料库中检索出与该问题相关的一系列文档。文档处理模块还对搜索到的文 档进行一系列操作，包括断句、相关句子过滤、冗余去除等等。文档处理模块的 输出，是一组句子的集合，即关于该问题的“候选句子集”。 在外部资源获取模块，我们尝试提取多种有效的外部资源。这些资源包括： 从多个在线知识库中获取的关于该目标词的定义：从语料库中获取的结构化模 板；以及从文档集中获取的、用于基准方法的文档的质心( c e n t r o i d ) 。这些资源 将作为“定义抽取”模块的辅助信息，用来从“候选句子集”中抽取问题目标词 的定义。 最后，在定义抽取模块，我们利用不同的外部资源及其与之对应的不同的定 义抽取算法，从候选句子集合中抽取关于该目标词语的定义性的句子，从而生成 该定义类问题的最终答案。它包含了尽可能多的关于该问题的目标词语的定义性 信息，而且较少的冗余。 我们将在下文具体的介绍每个模块的实现，并将重点讨论基于外部资源的定 义抽取算法，包括基于在线知识库的定义抽取算法和基于模板匹配的定义抽取算 法。 8 复旦大学硕士学位论文 定义类问题回答研究 3 1 1 问题处理 图2定义类问题回答系统体系结构 在问题处理模块，包括三个主要的操作。首先会对输入的问题进行问题目标 词抽取，然后，会对该抽取得到的目标词进行扩展和分类。 问题目标词就是该问题所要寻找其定义那个词语。由于通常的定义类问题的 结构是比较简单的，所以目标词抽取的工作是比较容易的。我们目前主要是基于 规则的方法来识别t a r g e t 的。例如，对于问句“w h a ti sag o l d e np a r a c h u t e ? ”， 我们抽取出除去疑问词，系动词、冠词之外的部分，就得到该问题的目标词 “g o l d e np a r a c h u t e ”。采用这种基于规则的方法，可以达到令人满意的精度。 另外，在参加t r e c 2 0 0 4 和t r e c 2 0 0 5 的评测时，没有用到该功能。在这 两次的评测中，直接给出若干个t a r g e t ，针对每个t a r g e t 提出一系列的问题；并 且作为其中的一个定义类问题，要求系统直接给出该t a r g e t 的定义。 对于得到的t a r g e t ，我们会对它进行一定程度的扩展，将一个目标词扩展成 一个目标词集合。这主要是利用w o r d n e t 的同义词集实现的：将一个词语的 w o r d n e t 同义词集中的所有词语作为扩展的结果一一目标词集合。但是，由于 9 复旦大学硕士学位论文定义类问题回答研究 存在一词多义的问题，并且在一个简单的问句的上下文中进行语义消歧是很困难 的，所以我们只对那些仅有一个语义的词语进行扩展。例如，目标词“k h m e r r o u g r 在w o r d n e t 中有多个同义词“k r ”、。p a r t yo fd e m o c r a t i ck a m p u c h e a 和 c o m m u n i s tp a r t yo fk a m p u c h e r 。所以我们将这个目标词扩展成目标词集合 k h m e rr o u g e ”，“k r ”，“p a r t yo fd e m o c r a t i ck a m p u c h e a ，“c o m m u n i s tp a 啊 o fk a m p u c h e a l 。这个扩展不仅有助于在预料库中检索到较多的相关文档，而且 有助于获得更多的外部知识。 为了对不同类型的t a r g e t 的问题进行分别的处理，我们还尝试对t a r g e t 进行 分类。目前，t a r g e t 主要分为四类，分别是人物、组织名、其它事物和事件。其 中，事件类是t r e c 2 0 0 5 新加入的，也是实现上比较困难的一类。表1 列出了 这四类t a r g e t 及其对应的一些例子。 由于问题目标词都是一个命名实体( 具有特定意义的实体，主要包括人名、 地名、机构名、专有名词等) ，我们借助实体名( n a m ee n t i t y ，一个实体名指示 一个命名实体) 标注f 3 3 】对其进行分类。由于一个问句的上下文信息太少，直 接只对它进行实体名标注得到的效果并不理想。所以我们对从语料库上检索到的 该目标词的所有相关文档进行实体名标注，然后统计该t a r g e t 都被标注成了哪类 | 实体名及被标注成该类型次数，最后将标注次数最多的那个实体类型作为它的类 别。这种方法的缺点是效率比较低，但是效果基本令人满意。 表l不同类型的问题目标词及其样例 类型举例 f r e dd u r s t ，j a m e sd e a n ，j a rj a rb i n k s ，f l o y d 人物( p e r s o n ) p a t t e r s o n ，g o r d o ng e k k o k h m e rr o u g e ，c r i p s ，a a r p ，b l a c k p a n t h e r s ， 组织( o r g ) i n t e r n a t i o n a lc n m i n a ic o u r t 其它事物( t h i n g ) h a l e b o p pc o m e t ，r h o d e ss c h o l a r s ，p r i o n s ， h o r u s ，t a l eo fg e n i i r u s s i a ns u b m a r i n ek u r s ks i n k s ，m i s su n i v e r s e 事件( e v e n t ) 2 0 0 0c r o w n e d ，p o r ta r t h u rm a s s a c r e ，p r e a k n e s s 1 9 9 8 3 1 2 文档处理 在文档处理模块，我们首先利用问题目标词形成信息检索的查询项( q u e r y ) ， l o 复旦大学硕士学位论文定义类问题回答研究 从语料库中检索出与该问题相关的一系列文档。然后对这组文档进行断句、相关 句子过滤、冗余去除的操作。文档处理模块的输出，就是该问题的“候选句子集”。 关于查询项的生成，我们将目标词集中的每个元素作为一个q u e r y 提交给搜 索引擎，各返回若干篇文档。对于一个问题，将这些检索到的若干组文档合并到 一起加以处理，一般一共会选取5 0 篇左右的文档。 关于在语料库上检索所使用的搜索引擎，我们采用的是基于o k a p t 【3 9 】算 法改进的h o t - s p o t 篇章检索算法【2 2 j 。 经典的检索模型分为布尔检索模型，向量空间检索模型以及概率检索模型。 1 9 7 6 年，英国伦敦城市大学的两位教授r o b e r t s o n 和s p a r c kj o n e s 提出了二元 独立索引模型( b i n a r yi n d e p e n d e n c ei n d e x i n gm o d e l ) ，成为概率检索模型之理 论基础。然而模型本身没有对参数计算和估计提供具体的方法。从9 0 年代开始， r o b e r t s o n 和s p a r c kj o n e s 进行系统实作开发o k a p i 搜索引擎，对概率检索模 型进行了一系列完善以及参数调整。在t r e c3 及以后直至t r e c8 的评测中， 0 k a p i 引擎一直在a d h o c 任务中结果名列前茅，成为概率检索模型的经典检索 系统。 原始的o k a p i 系统提供了一定的篇章检索能力，但其本身采用的篇章检索模 型过于简单，算法效率不高并且对一篇文档仅能检索出一个篇章。基于该算法的 h o t - s p o t 篇章检索算法【2 2 】重点考虑了自动问题回答系统条件下的篇章检索的 特点，更适合于定义类问题回答的任务的实现。关于该算法可细节可参见引文 【2 2 j 。 实验结果显示，该搜索引擎的检索结果，可以比较好的满足定义类问题回答 系统对文档的质量的要求。 关于对检索得到的文档进行的断句操作，我们采用的是一种基于最大熵方法 的英文断句工具【4 2 1 。该方法采用了一些诸如前缀、后缀、前缀或后缀是否在 缩写列表内、左词、右词、左词或右词是否在缩写列表内、候选串是否包含数字 等一系列的特征，利用最大熵模型进行训练和测试。该工具的精度达到9 8 o 。 关于该算法可细节可参见引文h 2 。 对所有的文档进行断句后，得到的一个很大的句子集合。其中有些句子中并 不包含与目标词相关的信息，事先将这些句子过滤掉，可以提高后续处理的效率。 在这里，我们采用了一组启发式的规则：对于人物类的问题，保留包含t a r g e t 集合中的词的句子，或者包含人物的姓的句子，或者包含人物的名的句子；对于 组织名和其它实体类的问题，仅保留那些包含t a r g e t 集合中的词的句子；对于事 1 1 复旦大学硕士学位论文定义类问题回答研究 件类的问题，由于t a r g e t 通常是一个短语，所以限制条件较松，那些包含t a r g e t 中的任意一个片断的句子都被保留了下来。 该规则有些过于严格，从实验结果讨论部分中可以看出，一些包含重要信息 的句子，在这个阶段有可能被过滤出去。如果在采用指代消解后，再使用该规则， 性能可能会有所提高。但是，目前并没有精度较高的、可以直接应用于该任务的 指代消解的工具。该工作将作为未来的改进方向之一。 被保留下的句子中，虽然包含了与该问题的目标词相关的信息，但是它们之 间可能存在着重复的信息。我们采用一个自动文摘领域常用的方法来去除这些冗 余信息：对于集合中的任意两个句子，计算它们的重叠的实词( 所谓实词就是具 有是在意义的、能够作短语或句子的成分、能独立成句的词语；包括名词、动词、 形容词、数词、量词和代词) 的百分比，对于实词重叠率高于一定比例的两个句 子，将二者之一删除。在这里，我们选择重叠率的阈值为8 5 。 这样，我们得到该问题的“候选句子集”。该集合中的句子包含了与该问题 目标词相关的、互不重复的信息，但是，它们并不是都是重要的、定义性的信息。 这就需要定义抽取算法，在这个集合的基础上，进行定义性句子的抽取。我们将 在下文着重介绍两种基于不同外部资源的定义抽取算法。 3 2 基于在线知识库的定义抽取 本系统采用的外部资源之一就是现有的网络资源一一在线的字典( 包括在线 的人物传记字典等) 或在线的百科全书，这里我们将这些资源统称为在线知识库 ( w e bk n o w l e d g eb a s e ) 。这些资源可以被直接并且方便地加以利用。 与回答事实类问题不同，定义类问题要在文档集中寻找与该问题的目标词语 相关的一系列信息片断，这就需要一些辅助信息来提供用户所感兴趣的方向。我 们可以看到在线知识库对于定义类问题回答是十分有效的。这些外部知识可以提 供与目标词语密切相关的词语，所以很好的模拟了用户的兴趣，我们利用它们的 这一特点进行定义性句子的抽取，从而实现抽取出高质量答案的目标。 在对这些资源的使用的方法方面，我们没有采用大多数系统【1 】【1 5 2 7 1 所 采用的基于文档集的质心的排序方法，而是采用了一种更加可行并且有效的方 法，可以准确并快速的从大规模的文档集中抽取出问题的答案。并且整个过程是 无监督的。t r e c 的评价结果显示，我们所采用的基于外部知识的定义抽取方法 是十分有效的【12 1 【4 3 1 。本节将详细的介绍基于在线知识库的定义抽取算法。 复旦大学硕士学位论文 定义类问题回答研究 3 2 1 在线知识库 在网络上的大量信息中，在线的知识库是一种获得知识的有效资源，这些在 线的知识库包括在线的字典( 例如，w o r d n e tg l o s s a r i e s ) 、在线的人物传记( 例 如，b i o g r a p h y c o m ) 、在线百科全书( 例如，e n c y c l o p e d i a c o m ) 等等。我们可 以从中获取关于人物、组织、事件以及其它一些实体的信息。这些权威的字典定 义提供了可以直接利用的、比较权威的知识。从前的事实类问题回答系统已经显 示出了这些网络上的半结构化的资源的有效性【2 4 】，我们相信这些资源同样能 够被应用于定义类问题的回答。本系统正是利用这些外部知识中的信息来模拟用 户的兴趣，从而从语料库中抽取出较为准确的答案。 一般地，不同的知识库侧重于不用类型的概念，所以对于某个知识库来讲， 它可能仅覆盖了某一类概念的一个子集。例如，人物传记字典仅覆盖了大部分人 物的传记，所以当我们需要其它类型( 比如，事件类) 概念的定义时，我们就需 要去查询其它类型的知识库( 比如，在线百科全书) 。我们选择使用了五个不同 类型的、比较权威的在线知识库来实现我们的目标。这些知识库基本上覆盖了定 义类问题所包含的四类目标词。表2 给出了我们所使用的知识库，以及在其上 面的一个实例。 表2系统使用的在线知识库以及一个例子 知识库名称 u r l 问题目标词“k i b b u t z ”在其上的定义 m e r r i a m - w e b s tac o m m u n a if a r mo rs e t t t e m e n ti n e rd i c t i o n a r y w w w m - v 帆c 0 m i s r a e l w w w e n c y c l o p e d l a ck i b b u t z ：a g r i c u l t u r es e ec o l l e c t i v e e n c y c l o p e d i a o mf a r m ak i b b u t z ( h e b r e w , p 1 k i b b u t z i m ) i s ac o m m u n a l l i v i n ga r r a n g e m e n t t h a ti so r g a n i z e dt h r o u g haf o r mo f t o w n h a l l s t y l ed e m o c r a c y a n d w l k i p e d i aw w w w i k i p e d i a c o m t e c h n o c r a t i cc e n t r a l i z e dc o n t r o lo r b u r e a u c r a t i cm a n a g e m e ms i m i l a r t o 竹1 a to f c o n t e m p o r a