基于维基百科的领域实体上下位关系抽取

1、摘要：针对维基百科中旅游领域词条的结构特点，本文提出利用结构特点自动获 取特定结构的领域命名实体和层次结构。首先，我们利用维基百科的结构特点 抽取候选领域命名实体，并利用条件随机场抽取剩余实体；其次，利用维基百 科的层次结构构建层次结构；然后，使用模式对层次结构中的实体对进行验 证，并利用模式匹配已获取的候选实体对来补充层次结构；最后，使用特征和 支持向量机相结合获取剩余语料中的领域命名实体上下位关系对，并添加到层 次结构中对其进行补充。关键词：条件随机场；模式匹配；支持向量机中图分类号：tp391.1 文献标识码：a 文章编号： 1006-4311（ 2016） 18-0160-040引言由

2、于维基百科页面有着良好的结构和可信度，有全面准确的信息，由网友 共同完成 1，内容包括地理、社会、科学、历史及教育等多个领域，由多种语 言编写，所以无论在国内还是国外，它一直被当做信息抽取、知识库和知识图 谱构建的重要数据来源。并且专家曾针对维基百科和大英百科全书做了 42 项比 较测试 1，发现维基百科仅有 4处不准确的地方，而大英百科全书也出现了 3 处不准确的地方 2，所以维基百科的质量很有保障。在自然语言处理领域，它 有很多应用，如：实体消歧，实体识别和关系抽取等。下面我们针对维基百科在关系抽取领 域的应用和处理方法，基于中文和英文两方面进行介绍。在中文方面，李斌等人 6先利用维基百科

3、中的超链接进行实体识别，然后 用向量空间模型表示实体的特征，最后计算待测实体对与训练实体对的相似度1/ 6 得到待测实体对的类别。张苇如等人 7使用知网到维基百科的实体映射来抽取 关系实例，然后在显著性和关键词假设的基础上，基于关键词选择、关键词过 滤和编辑距离的泛化构建模式，并利用模式聚类提升抽取性能。针对以上研究的优缺点，本文将利用维基百科中超链接和领域命名实体结 构特征进行实体识别，并基于层次结构进行上下位关系抽取。1 领域命名实体抽取1.1 抽取页面中的领域命名实体通过观察维基百科的 l 页面我们发现： 通常内部链接和外部链接中的名词短语都是一个领域命名实体，并且根 据 l 页面源代码

4、的语法我们可以直接抽取这些名词短语（如图 1 所示，蓝色和红 色的都是词条，可以作为领域命名实体）； 分类（ category）框中名词短语 通常也是领域命名实体，我们同样抽取这些名词短语； 通过观察研究我们可 以看出：特别是针对旅游领域，当一个无序列表下面的内容的形式是每行只有一个 名词短语的时候（如图 2 所示），这个名词短语往往是一个领域命名实体，我 们可以在 l 中通过源代码的特殊缩进抽取这类名词短语。以上获取的名词短语， 我们都将它当做候选领域命名实体。1.2 利用 crf 抽取页面中的领域命名实体我们利用已获取的领域命名实体，对包含待识别领域命名实体的句子进行 标注，并使用 crf

5、 对剩余语料中的领域命名实体进行识别，识别方法和文献 8 中 一样，本文不再赘述。2 构建并完善层次结构中的上下位关系实体对2.1 构建层次结构在 2.1 中我们提到，构建的层次结构中很多实体对不具有 上下位关系，为了过滤掉这些非上下位关系，我们先在当前页面对每个实体对 进行搜索，并对返回的结果进行模式匹配。2/ 6如果匹配不成功，则在搜索引擎中搜索，并对搜索结果进行模式匹配。如 果实体对模式匹配成功，我们将保留这对实体对。如果实体对模式匹配失败， 我们将过滤掉这对实体对。此处用到的模式利用 bootstrapping 方法获取，如表 1所示。其中，输入的种子集是具有上下位关系的实体对。2.3

6、 扩充层次结构对 1.1 和1.2 中得到的实体对，我们同样先在当前实体对所在的维基百科页面搜索， 并对返回的结果进行模式匹配。如果模式匹配不成功，我们在搜索引擎中搜 索，并对返回的结果进行模式匹配。如果模式匹配成功，我们利用当前的实体 对对当前层次结构进行扩充。如果模式匹配不成功，我们将不考虑这对实体 对。3 利用支持向量机完善上下位关系本文将领域命名实体间的关系分为两类：上下位关系和其他关系。本文选取一些能识别出实体对间上下位关系的特 征集，将其和实体对的类别组成特征向量，并把这些特征向量转变成svm 能识别的数值特征向量。我们所爬取的语料一部分作为训练数据，一部分作为测试 数据，把训练数

7、据输入 svm 得到上下位关系实体对识别模型，然后把测试数据 输入基于 svm 的上下位关系实体对识别模型，从而验证本文得到的上下位关系 实体对识别模型的识别效果。本文使用基于特征向量的方法来进行分类，所以特征的选择直接关系着分 类的结果。下面将对需要用到的特征进行说明。需要验证关系的两个实体对称为一个实例，实体又称为变元。我们用 e1 和 e2表示关系中的两个变元，用 he1和 he2表示 e1和 e2的中心词。3.1 词特征选取和规则标记通过对汉语的了解可知，当我们研究两个实体间的关系时，往往实体的语 境（上下文信息，也就是在实体前后的词语）能帮助我们判断实体关系。因 此，我们把这些信息抽

8、取出来作为其中一个特征。根据他们的位置，我们可以 把这类特征分为 4 种：3/ 6e1 和 e2之间没有词语， e1 和 e2之间的词语， e1 前面的词语， e2 后面的词语。另外，实体的中心词能表达更重要的信息，所以一般也将中 心词作为特征。下面我们举例说明本文标注，以 “普米族是泸沽湖的世居民族 ” 为例，其中实体为 “普米族 ”和“泸沽湖”，特征标记规则如表 2 所示。3.2 词性特征选取和规则标记 只加入词特征的话，在特征分析的时候只能分析出相同的词的同类关系， 而不能分析出同类词性的词的同类关系，所以我们还要加入词性特征对训练语 料进行分析。例句的词性标注为：普米族 /nz 是/v

9、 泸沽湖/ns 的/u 世/n 居/v 民族/n 。词性特征标记规则如表 3 所示。3.3 知网概念特征选取和规则标记 利用知网可以得到词语在知网中对应的概念，可以把对应的概念描述当做 在知网中的概念信息特征返回值。知网中概念信息特征返回值如表4 所示。4 实验与分析4.1 数据准备和预处理本文使用实验室自主开发的网络爬虫，对维基百科中旅游相关词条进行爬 取，本文使用爬取的 984 个词条的语料进行实验分析。其中的总实体对的数量 的划分标准是把一个句子中的每两个实体当做一个实体对进行试验分析。另 外，我们将语料分为两部分，其中当作训练语料，剩下的当做测试语料。本文实验使用 libsvm 工具包

10、，实验步骤如下：第一步：从维基百科爬取旅游领域词条的 l 页面作为语料；第二步：通过分析 l 页面获取候选领域命名实体，并使用条件随机场抽取剩余语料中 的领域命名实体；第三步：通过分析 l 页面获取实体对的层次结构；第四步：4/ 6利用模式对已有层次结构进行验证，并利用模式匹配候选领域命名实体， 在层次结构中添加模式匹配成功的实体对；第五步：使用支持向量机抽取剩余语料中的实体上下位关系。4.2 评价标准为了评估本文所用方法的效果，用准确率（ p），召回率（ r）和 f 值来评估 领域上下位关系实体对的抽取结果。 a 代表所用方法正确识别的具有上下位关系 的领域命名实体对的总数， b 代表所用方

11、法标注为具有上下位关系的领域命名实 体对总数目， c 代表语料库中具有上下位关系的领域命名实体对的总数。p= 100%（1）r= 100%（2）f= 100%（3）根据以往经验发现，当用不同语料进行训练和测试的时候，实验结果会有 不同。为了使实验结果更有代表性，本文随机分配训练语料和测试语料进行 20 次试验，取其平均值作为实验结果。4.3 实验设计和结果分析为了验证本文提出的基于维基百科抽取领域命名实体和具有上下位关系领 域命名实体对的方法的效果，我们设计了 2 组实验对本文中每个方法进行验 证。实验一是对本文提出的半结构化文本中抽取领域命名实体的方法的结果展 示和对比。实验二是对抽取具有上

12、下位关系的领域命名实体对的实验结果进行 对比。实验一：5/ 6为了验证领域命名实体的抽取效果，我们先利用1.1 中提到的领域命名实体的结构特征进行领域命名实体抽取，然后使用1.2 中提到的构建条件随机场领域命名实体抽取模型对领域命名实体进行抽 取。抽取结果如表 5 所示。表 5 展示了领域命名实体的抽取结果。从上面的实验结果我们可以看出， 利用维基百科的结构信息能很好的抽取页面中的领域命名实体，利用条件随机 场领域命名实体抽取的方法能帮助抽取剩余语料中的领域命名实体。实验二：为了验证领域命名实体上下位关系实体对的抽取效果，我们先使用2.1 中的方法抽取层次结构中的实体对，然后利用模式匹配的方法过滤层次 结构中的实体对并抽取剩余语料中的上下位关系领域命名实体对，最后我们用 支持向量机领域命名实体上下位关系抽取模型抽取剩余句子中的上下位关系领 域命名实体对。实验结果如表 6 所示。表 6 展示了上下位关系领域命名实体对的抽取结果。实验结果表明，利用 维基百科的结构信息可以帮助层次结构的初步构建，基于模式匹配的过滤和补 充能帮助更好的识别上下位关系实体对，利用特征和支持向量机相结合的方法 能更好的抽取剩余语料中的上下位关系实体对。5 总结本文为了利用现有资源更有效的抽取维基百科半结构化文本中的领