基于ChunkCRF的观点持有者识别及其在观点摘要中的应用.pdf

收稿日期 2008 05 30 收稿日期 2008 11 06 基金项目 国家自然科学基金项目 60373095 60673039 资助 国家 八六三 高科技计划项 目 2006AA01Z151 资助 教育部留学回国人员科研启动基金项目资助 作者简介 宋 锐 男 1984年生 硕士研究生 研究方向为情感计算 洪 莉 女 1960年生 副教授 研究方向为智能信息处理 林鸿飞 男 1962年生 博士 教授 博士生导师 研究方向为搜索引擎 文本挖掘 情感 计算和自然语言理解 基于 ChunkCRF的观点持有者识别及其在观点摘要中的应用 宋 锐 1 洪 莉2 林鸿飞1 1 大连理工大学 计算机科学与工程系 辽宁 大连 116024 2 朝阳师范高等专科学校 计算机系 辽宁 朝阳 122000 E mail hflin dlut edu cn 摘 要 含有观点的文档中准确识别出观点的持有者是预处理步骤 通过建立 ChunkCRF模型对观点表达句进行观点持有者 的识别 对于同一个观点句中含有多个观点持有者的情况 借助语言学手段进行预处理 再利用模型进行观点持有者识别 在此 基础上还进行了观点的摘要与倾向性分析的工作 实验结果表明 基于 ChunkCRF的中文观点持有者识别方法达到了 80 上以 的准确率 并且能够更好的配合观点的摘要与倾向性分析工作 关 键 词 ChunkCRF 观点持有者识别 观点摘要 观点倾向性分析 中图分类号 TP391 3 文献标识码 A 文 章 编 号 1000 1220 2009 07 1462 05 Chunk CRF based Opinion Holder Identification and Application to Opinion Summarization SONG Rui1 HONG Li2 LIN Hong fei1 1 Department of Computer Science and Engineering Dalian University of Technology Dalian 116024 China 2 Chaoyang Teacher s College Chaoyang122000 China Abstract Accurate opinion holder identification is an important preprocessing for opinion summarization based on opinion holder In this paper a ChunkCRF model was constructed to divide the opinionated sentence into particular chunks with the aim of effectively identify the opinion sources at the same time in multi Opinion Holder cases syntactic analysis was made use of before applying CRF model Moreover opinion summarization and polarity analysis were also given Experiment results showed the ChunkCRF based method identified opinion holders with precision over80 moreover it could also assist the opinion summarization and polarity analysis well Key words chunkCRF opinion holder identification opinion summarization opinion polarity analysis 1 引 言 文档中观点信息的自动抽取与按照观点持有者进行摘要 可以更好地组织观点信息 从不同的观点持有者角度对评论 目标进行分析 从而可以为国家机关 组织机构等的舆论分析 工作提供帮助 文献 1 讨论了如何对顾客的商品评论进行挖掘和摘要 借助于词性标注与关联规则挖掘 提取用户评论的商品特征 根据不同的评论特征以及褒贬倾向性分别进行摘要 文献 2 对电影评论进行挖掘和摘要 采用一种基于多知识的方法寻 找评论特征 并记录特征词与观点词之间的依存语法图 最后 根据不同的评论特征分别进行摘要和倾向性分析 文献 3 提 出了面向事件和面向观点持有者两种形式的意见摘要方法 在主要话题识别的基础上进行意见句的摘要与倾向计算 文献 1 和文献 2 主要是从评论特征的角度进行观点挖 掘和摘要 因此 评论特征的提取准确度至关重要 直接影响 后继的摘要工作 文献 3 提出了面向事件和观点持有者两种 形式的意见摘要 但其面向观点持有者形式的意见摘要只采 用了简单的基于规则的方法去识别观点持有者 从而影响了 观点持有者识别的准确度进而影响了后续的摘要工作 本 文在 前 人的 研 究工 作 的基 础 上 通过 引 入 基于 ChunkCRF的标注方法进行观点句子的观点持有者识别 并 在此基础上完成了基于观点持有者的观点摘要与倾向性分析 工作 本文的结构安排如下 第 2节将介绍本文所采用的一些 基本方法 第 3节为实验结果及相关分析 第 4节为结论及进 一步的工作 2 基本方法 2 1 ChunkCRF模型 观点的表达通常具有如下页表 1中所示的由简单到复杂 的各种形式 本文并不考虑那种没有观点持有者的隐式的表达观点的 句子 如 这真是一朵美丽的花啊 在表 1中 对于属于例 1类型的简单情况 可以借助于简 小型微型计算机系统 Journal of Chinese Computer Systems 2009年 7月 第 7期 Vol 30 No 7 2009 单的规则取距观点表达词最近的具有观点表达能力的实体作 为观点的持有者 但同样的方法对于诸如例 2和例 3中的持有 者与表达词之间含有介词或动词短语修饰成分的情况 则会 容易出现错误 同时 观点的表达通常含有各种褒与贬的倾向 性 如例 4和例 5中的情况 这种倾向性往往能够借助于观点 表达词前面的各种形容词与副词短语来发现 观点信息的提 取如果同时能够附以其倾向性的分析则更具指示作用 表 1 观点表达形式样例 Table 1 Samples of opinion expression 编号例 句结 构 例 1主席说 观点持有者 观点表达词 例 2主席对记者说 观点持有者 介词短语 观 点表达词 例 3 主席表扬劳动模范同志 说 观点持有者 动词短语 观 点表达词 例 4主席高兴地说 观点持有者 形容词短语 观点表达词 例 5主席不赞成 观点持有者 否定副词短语 观点表达词 因此 本文对于观点持有者的识别 一方面要提高识别的 准确度 同时要提取出对观点表达倾向有所影响的各类信息 以辅助后续的观点摘要与倾向性分析的工作 基于上述的目 的 我们将观点持有者的识别看成一个序列标注的任务 采用 组块 Chunk 分析的思想 将一个观点表达序列中的观点的 持有者以及其它的成分分别标记为不同的组块 Chunk 以 提高观点持有者识别的准确度以及辅助其它信息的提取 表 2 CoN LL 2000 组块示例 Table 2 Chunk examples of CoNLL 2000 组块描述 NP 名词组块 V P动词组块 AD JP形容词组块 PP介词组块 ADV P副词组块 表 3观点持有者识别任 务的组块设定 Table 3 Chunk design of opinion holder identification task 组块描述 NP观点持有者组块 VP 动词短语组块 PP介词短语组块 ADJP形容词短语组块 ADV P副词短语组块 TP 时间短语组块 WP观点表达词组块 组块 Chunk 分析最早由Abney 4 提出 其基本思想是 为了降低整体句法分析的难度 采用分而治之 Divide and Conquer 的策略 将句法分析分为三个阶段来进行 a 块识别 利用基于有限状态分析机制的块识别器 Chunker 识别出句子中所有的块 b 块内结构分析 对每个块内部的成分赋予合适的句 法结构 c 块间关系分析 利用块连接器 Attacker 将各个不同 的组块合成完整的句法分析树 汉语组块体系定义中包含了如下组块与短语的定义 5 定义 1 组块 Chunk 是一种结构 是包含一层或二层的 符合一定句法功能和反映组成意义的短语 即 结构 功能和 意义的统一 定义 2 短语标记 Phrase Tag 是反映句法功能的符号标 记 如BNP 名词短语 BV P 动词短语 等 表 2中 列 举了 CoN LL Conference on Computational NaturalLanguageLearning 2000 中规定的一些常见的组块 图 1 基于 ChunkCRF模型的 观点持有者识别的流程 Fig 1 ChunkCRF based opinion holder identification processing 组块的选择往往根据具体 的任务的不同而需要选取 不同粒度和类型的组块 粒度过细则任务与词性标 注无异 淡化了任务本身 粒度过粗则任务接近于句 法分析 难度加大 本文针对特定的观点 持有者识别的任务 将一 个观点表达序列标记为由 表 3中所示的各种组块所 表示的序列 条件随机域 Condition Random Fields 以下简称 CRF 是一种理想的序列标注算法 6 目前在中文分词 词性标注以 及命名实体识别领域都有相关的应用 本文利用 CRF来实现组块的识别与分析 在将观点句进 行中文分词与词性标注预处理后 按照表 3人工地对其进行 Chunk标注 利用构建特征模板后训练出的 ChunkCRF模型 进行观点持有者的识别 图 1为利用CRF进行观点持有者识 别的流程图 2 2节中讨论了特征模板的构建 表 4 CRF的特征模板 Table 4 Feature template of CRF algorithm 特征名 称描 述 词 x 0 0 观点持有者 x 1 0 观点持有者右面第一个词 x 2 0 观点持有者右面第二个词 y 0 0 观点表达词 y 1 0 观点表达词左面第一个词 y 2 0 观点表达词左面第二个词 y 1 0 观点表达词右面第一个词 y 2 0 观点表达词右面第二个词 词性 x 0 1 观点持有者词性 x 1 1 观点持有者右面第一个词的词性 x 2 1 观点持有者右面第二个词的词性 y 0 1 观点表达词的词性 y 1 1 观点表达词左面第一个词的词性 y 2 1 观点表达词左面第二个词的词性 y 1 1 观点表达词右面第一个词的词性 y 2 1 观点表达词右面第二个词的词性 本文利用 CRF来实现组块的识别与分析 在将观点句进 行中文分词与词性标注预处理后 按照表 3人工地对其进行 Chunk标注 利用构建特征模板后训练出的ChunkCRF模型 进行观点持有者的识别 图 1为利用 CRF进行观点持有者识 别的流程图 2 2节中讨论了特征模板的构建 14637期 宋 锐 等 基于 ChunkCRF的观点持有者识别及其在观点摘要中的应用 2 2 特征选取 为了捕捉不同的 Chunk自身的特征以及各个 Chunk之间 的联系 我们在模型的特征模板中综合选取各种特征来对模 型进行训练 如上页表 4所示 在这里 观点的持有者必须是一个能够表达观点的语义 实体 而这些信息部分可以由词性标注而得到 这是我们选取 观点持有者本身及其词性作为特征的依据 另外 观点的持有 者与观点的表达词之间的联系也可以通过对抽取二者之间的 词和词性序列的特征而建立起来 这是我们选取以观点持有 者和观点表达词为中心的左右的词及词性作为特征的依据 另外 观点的表达词与观点之间通常具有一定的分隔标识 如 各种标点符号 在标注过程中对这些信息也予以标注 从而有 利于观点表达词与观点的界线的划分 本文中的观点表达词则通过构建的如表 5所示的一个观 点表达词表来加以约束 表 5中列举了一些样例 建立的观点表达词表目前共有 96个观点表达词 其中肯定表达词有 13个 否定表达词有 16 个 中性表达词有 67个 表达词的类别信息可以在后续的观 点倾向性分类中发挥作用 表 5 观点表达词表 Table 5 Opinion expressed words 类别观点表达词 肯定赞赏 肯定 赞成 满意 喜爱 倡导 欢迎 否定反对 抗议 否认 指责 拒绝 谴责 抱怨 中性谈到 说 认为 提到 指出 表示 阐述 2 3 多观点持有者情况的处理 2 1节中构建的 ChunkCRF模型主要是针对一个观点句 中只有一个观点持有者的情况 对于更为复杂的含有多个观 点持有者的情况 如下面的情况 本文利用语言学方法中的句 法分析手段 先分析出各个观点持有者之间的关系 针对这些 关系将观点句进行切分和处理 再运用 ChunkCRF模型进行 标注 图 2 S3的句法分析树 Fig 2 Parse tree of S3 图 3 S4的句法分析树 Fig 3 Parse tree of S4 S3 张三认为这是正确的 李四却认为这是错误的 S4 国际官员说 美国官方想让EU获胜 S3是一种并列的表述观点的情况 而 S4则是一种嵌套 式的含有一个直接的和一个间接的观点持有者的情况 这也 是一些常见的观点表述方式 需要单独处理 在这里 我们引入更深层次的句法分析手段 通过分析观 点句中各个部分之间的层次关系 进而作相应的处理 图 2和图 3分别为对 S3和 S4进行句法分析后的结果 由 图 2和图 3可以看出 S3中的两个部分被分析为fj BL关系 也就是并列的复句关系 而 S4被分析为 fj LS 也就是流水复 句关系 对 S3的情况 可考虑将两个并列或类似的如递进或 转折关系 的观点表述 拆分为 两个单独 的部分 后再利用 ChunkCRF模型进行观点持有者的识别 而对 S4中的情况 则可以考虑将满足这种流水关系句式的观点句中的后一部分 先用ChunkCRF模型进行观点持有者的识别 再将后一部分 整体作为前一部分中观点持有者的观点 如表 6所示 表 6 S4的观点持有者及观点 Table 6 Opinion holders and opinions of S4 观点持有者观 点 美国官方想让 EU获胜 国际官员美国官方想让 EU获胜 对于更加复杂的情况 考虑到中文句法分析器的性能以 及这些复杂情况的较小的出现概率 本文并没有做更进一步 的处理 2 4 观点摘要与倾向性分析 在 利用ChunkCRF模型识别出观点的持有者之后 本文 按照不同的观点持有者将一篇文档中的观点进行摘要 鉴于 观点持有者识别的初始结果中包含了以代词为观点持有者的 情况 观点摘要之前的一定程度的指代消解工作是十分必要 的 从而可以准确而全面的提取文档中的观点 为了使观点摘要更具指示作用 本文在观点摘要中也包 含了各个观点的褒贬倾向信息 观点的倾向信息一方面可以 来源于观点表达词本身的倾向信息 或观点词的修饰词的倾 向信息 另一方面可以来源于观点中的情感词语的倾向信息 在利用 ChunkCRF模型识别出观点句中的各个 Chunk之后 我们通过分别计算 Chunk和观点两部分中的情感得分 进而 求出观点句子的总体情感倾向 对于观点表达句 i 其总体情感得分可由下面的公式 1 得到 T i T U P1 j OpinionChunk Pj 1 其中 1 P1 1 1 为观点表达词组块的情感得分 2 参数T 当观点表达词组块前面出现否定副词组块时 为 1 其余情况下为 1 3 参数 U当观点表达词组块前出现具有加强情感强度 的形容词或副词组块时为大于 1的常数 当前面出现具有减 弱情感强度的形容词或副词时为小于 1而大于 0的常数 4 Pj 1 1 为观点持有者所表达的观点中的位于主 题词窗口范围内的情感词语的情感得分 表 5中的观点表达词按照不同的褒贬倾向进行了分组 1464 小 型 微 型 计 算 机 系 统 2009年 同时 同一组中的各个观点表达词的情感强度也互不相同 公 式 1 中的 P1的计算则是根据文献 7 所构建的情感本体中 对这些观点表达词所标注的情感强度而得到的 文献 8 在进行文本倾向性识别的过程中考虑到了否定 词与程度副词对于语义强度的影响 这些情况在观点的表达 中同样需要考虑 如表 7中的例子 表 7 不同类别的观点表达词的修饰词 Table7 Different types of decorate words of opinion expressed words 修饰词观点表达结构 否定副词他 不认为 程度副词 他 极力反对 带有情感色彩的修饰词 他 兴高采烈地 说 公式 1 的参数T 和参数U则体现了形容词和副词组块对 于观点的情感强度的这种影响 文献 9 中通过考察主题词附近的情感词从而对 Blog中 的观点进行倾向性分析 取得了很好的效果 因此 公式 1 中 Pj的引入也是基于这种思想 只对主题词的一定窗口范围内 的情感词进行情感倾向计算 从而保证了情感表达的受事者 的主题性 主题词的选取方式有很多 这里选用基于TF IDF Term Frequency Inverse Document Frequency 的主题词 选取方式 即按照如下公式 2 经过停用词处理后 计算摘要 文档集中的各词的权重 选取权重较高的若干词汇作为文档 的主题词 对出现在特定观点表达句中的主题词的一定窗口 范围内的情感词作与 P1同样的情感计算 并进行迭加 Wij tfij log N ni 0 01 N k 1 tfik log N ni 0 01 2 2 其中 Wij表示词i在文档j中的权重 而tfij为词i在文档 j中的词频 N为文档集中的文档总数 ni为文档集中出现词 i 的文档数 分母为归一化因子 在完成观点句的情感倾向计算后 就可以在观点摘要中 加入各个观点的情感得分 使观点摘要更具指示性 图 4为观 点摘要及其倾向分析的总体流程 图 4 观点摘要总体流程 Fig 4 Opinion summarization processing 以中文新浪网上的一篇国际新闻报道 德总理默克尔被 批评损害中德关系 10 为例 其观点摘要如表 8所示 3 实 验 3 1 观点持有者识别准确度的评测结果 进行 Chunk标注的训练语料来自于复旦大学的用于分类 的语料 共十个类别的 1882篇文档 从中共抽取出观点句 2189条 手工将每个句子进行Chunk标注 取其中的 80 用 于训练 ChunkCRF模型 其余的 20 用于测试 表 8 观点持有者为基础的观点摘要呈现 Table8 Presentation of opinion holder based opinion summarization 观点持有者观点 情感 得分 德国社会民主 党领导人库特 贝克 德国总理默克尔的中国政策及其对德 中关系的伤害令他悲伤 1 0 英国媒体 默克尔最近的一些做法损害了前总理 施罗德时期形成的德中关系 0 5 外交部长施泰 因迈尔 一再公开批评德国政府现行的对华政 策 1 2 他明确指出 恢复与中国良好的关系符 合德国的利益 0 5 BBC 库特 贝克的批评再次突出了德国左 右政治联盟中的紧张关系 1 2 我们采用CoNLL2000官方的Chunking评测工具 11 对观 点持有者识别任务中的 Chunk识别精度进行评测 各个组块 的识别结果如表 9所示 表 9 组块识别的评测结果 Table 9 Assess result of chunking 组块准确率召回率FB1值 NP83 85 76 94 80 25 V P83 33 34 09 48 39 PP93 48 85 15 89 12 ADJP90 00 42 86 58 06 ADV P 75 44 78 18 76 79 T P 93 85 78 21 85 31 W P 91 35 86 09 88 64 由评测结果可以看出 观点持有者识别的准确度也就是 NP组块的识别的准确度达到了 80 以上 同时其它组块的 较高的识别准确度也为后续的观点摘要与倾向性分析的工作 奠定了良好的基础 同时也注意到 V P与 ADJP组块识别的召 回率都很低 也相应地导致了FB1值的降低 我们对这两种组 块在测试集中的失败的结果进行反馈 发现很多识别失败的 情况是因为组块中有一些具有一类以上词性的词没有得到正 确的词性标注 而导致了其所在的组块的识别结果受到了影 响 3 2 观点倾向性分类的结果 本文对于在ChunkCRF模型的基础上所做的观点倾向性 分类也做了相应的评测 首先 人工地将各个观点句的观点倾 向性进行标注 主要标注为肯定 否定和中性三个情感倾向 以此为基准 将在Chunk标注基础上的观点的倾向性识别结 果与通过直接计算观点句中褒贬情感词的分布密度来进 行观点的倾向性识别结果进行了比较 比较结果下页图 5 所示 由图 5中的数据可以看出 在 Chunk标注的基础之上的 14657期 宋 锐 等 基于 ChunkCRF的观点持有者识别及其在观点摘要中的应用 观点的倾向性识别要比直接的依据正负情感词的分布密度来 进行观点的倾向性识别效果要稍好一些 因为前者不但考虑 图 5 两种观点倾向性分类方法的评测结果 Fig 5 Assess results of two opinion polarity classification methods 了正负情感词的分布 而且还利用组块信息将对情感倾向有 重要影响的组块如否定副词组块等因素也充分考虑在内 从 而能够更准确地把握观点的总体倾向性 此外 前者由于还可 以借助于程度副词组块等信息来辅助情感的强度的计算 从 而能够在将观点进行摘要的同时 更加鲜明地量化和反映出 各个观点持有者对于评论目标的褒贬强度 3 3 错误分析 我们对观点源识别错误的句子进行了分析 导致其发生 错误的因素主要有以下几个方面 一方面分词及词性标注本 身的错误对观点源的准确识别造成了一定的影响 错误的分 词与词性标注序列直接导致了错误的识别结果 因此 本文用 于中文观点持有者的识别的 ChunkCRF模型在一定程度上要 受到中文分词以及词性标注水平的制约 另一方面 对于观点 源与观点词距离过远 或同一个句子中涉及到多个观点源及 其复杂的依赖关系时 识别的结果也受到了一定程度的影响 虽然本文利用了句法分析等语言学手段对一些情况进行了处 理 但仍然有一些复杂的情况没有得到很好的解决 因此观点 持有者的识别另一方面还有赖于深层次的中文语言学的分析 工具的完善 在进行观点源的识别之后 需要对相同观点源的观点进 行合并 以按照不同的观点持有者将观点进行摘要 指代消解 虽然可以解决部分以代词形式出现的观点持有者的识别 但 下面的形式则涉及到了人名的共指消解 12 的一些问题 文献 12 中提出了用一些简单的启发式规则去处理这些情况 S5 胡锦涛表示 S6 胡主席说 上面的两种情况中观点持有者实际上是一个人 本文目 前对于这种情况也只是应用一些启发式规则去合并一些观点 持有者 但仅应用一些简单的启发式规则并不是理想的方案 需要引入更深层次的文本挖掘方法才能很好的解决 这是另 一个在观点持有者识别及观点摘要中要进一步解决的问题 4 结 论 本 文通过构建 ChunkCRF模型 实现了对中文文档中的 观点持有者的识别 并利用语言学的方法对同一个观点句中 含有多个观点持有者的复杂情况进行了预处理 以便于利用 ChunkCRF模型进行进一步识别 克服了传统的基于规则的 方法的缺点 取得了不错的效果 在此基础上本文还进行了以 观点持有者为基础的观点的摘要和倾向性分析的工作 观点 的倾向性分析中充分考虑了程度副词 否定副词等因素对观 点表达强度的影响 并借助于情 感本体计算和累计不同 Chunk的情感得分 从而得到观点的总体情感得分 很好的结 合了Chunk及语义信息 进一步的工作 可以继续标注和丰富 训练语料集 以进一步提高观点持有者识别的准确度 更好的 支持观点的摘要与倾向性分析工作 References 1 Hu Min qing Liu Bing Mining and summarizing customer reviews C In Proceedings of the Tenth ACMSIGKDD International Conference on Knowledge Discov ery and Data Mining Seattle 2004 168 177 2 ZhuangL JingF Zhu XY M ovie reviewmining and summarization C In CIKM 06 Arling ton 2006 43 50 3 LeeLi ying A studyofopinion summarization D Department of Computer Science and Information Engineering National Taiwan University 2005 4 Abney S Parsing by chunks A In Berwick R Abney S Tenny C et al Principle based parsing M Dordrecht Kluwer Academic Publishers 1991 1 18 5 Liu Fang ZhaoTie jun Yu Hao et al Statistics based Chinese chunk parsing J Journal of Chinese Info rmation Processing 2000 14 6 28 32 6 JohnLafferty AndrewMcCallum FernandoPereira Conditional random fields probabilistic models for segmenting and labeling sequence data C In Proc 18th International Conf on Machine Learn