【毕业学位论文】（Word原稿）中文网页褒贬态度的机器评价-计算机软件与理论计算语言学

硕士研究生学位论文 题目： 中文 网页褒贬态度的机器评价 姓 名： 苏玉梅 学 号： 10108083 系 别： 信息 科学技术 学院 专 业： 计算机软件与理论 研究方向： 计算语言学 导 师： 俞士汶 教授 孙斌 副教授 二 四 年五月 版权声明 任何收存和保管本论文各种版本的单位和个人，未经本论文作者同意， 不得将本论文转借他人，亦不得随意复制、抄录、拍照或以任何方式传播。否则，引起有碍作者著作权之问题，将可能承担法律责任。 北京大学硕士学位论文 中文 网页褒贬态度的机器评价 - I - 中文 网页褒贬态度的机器评价 摘要 天网知名度系统是基于北大天网搜索引擎技术和中文信息处理技术，针对用户定制的实体信息开展的个性化网络服务研究。重点研究了网页实体相关度评价算法，从而优化了针对特定信息的网络查询服务质量。在此研究中，通过对中文网页文本内容的大量观察，作者提出了中文网页褒贬态度机器评价的研究方向。 基于褒贬评价的修辞属性，作者确定了以语言手段及领域标准为策略的评价算法 ， 独立完 成了网页褒贬态度机器评价模块的全部设计与开发，并为此准备了必要的褒贬评价语言知识库，包括在转化现有的基础静态褒贬义词典的有限资源之外，搜集来自真实中文网页的领域相关褒贬义补充词典，积累了一批褒贬态度 表达的语言 形式模板。 该评价模型针对中文网页，依据领域补充褒贬义词典，对网页实体进行褒贬态度评价，其中包含了一系列评价要素，如褒贬结构、领域标准、实体有关、褒贬猜测等关键方法，关 联了多种语言知识，从而更合理地模拟了人对网页褒贬信息 的 解析方法。该模块被应用到天网知名度系统，通过对 75 万网页近 300 个实体的评价 测试 ， 得到了 有 价值 的实验结果 。网页褒贬相关度评价模型 的研究开发， 为天网知名度系统的个性化网络服务做出了新的和有意义的尝试。 关键词：褒贬态度 机器评价 网络 信息 服务 北京大学硕士学位论文 中文 网页褒贬态度的机器评价 - F N on on of at of as In of on of it As an a of as of of a 京大学硕士学位论文 中文 网页褒贬态度的机器评价 - 正文目录 第 1 章 引论 .网知名度系统 .页观察机器评价视角下看中文网页类型 .目延伸探索新的网络服务（网页褒贬态度的机器评价） .文的研究内容及意义 .文的结构 . 2 章 相关工作及工作基础 .言手段 . 词语手段 . 句式手段 . 辞格手段 .价的规范与标准 .源准备 . 11 础褒贬义词典 . 11 型网页文本搜集 . 11 域补充褒贬义词集 . 褒贬评价模板搜集 .统基础 . 天网知名度系统流程 . 天网知名度系统结构及模块分布 . 3 章 网页褒贬态度评价模块 .据需求 . 网页表示信息库 . 注册实体信息库 .键策略 . 实体有关性 . 领域相关性 .块设计 . 处理流程 . 褒贬结构 . 基本结构 P . 4 章 实验结果及展望 .果浏 览界面 .效性分析 .进方向 . 更精细的褒贬评价模板 . 转折结构及褒贬权重 . 更精确的褒贬冲突控制 . 褒贬评价的程度考虑 . 更精细的褒贬义词典构造 .他应用 .验评价 .考文献与资料 .京大学硕士学位论文 中文 网页褒贬态度的机器评价 - 图表目录 图 1 网页褒贬评价关系分析图 . 2 天网知名度系统流程 . 3 用户注册界面 . 4 用户检索界面实体信息列表 . 5 用户检索界面 实体相关网页排序 . 6 人名实体 对应示例 . 7 一篇网页的褒贬评价流程 . 8 P 的识别流程 . 9 实体相关网页的褒贬评价结果浏览 . 10 实验网页中人名实体对应关系 . 1 实验考察与实验资源的对应分布 . 2 网页褒贬评价例句 . 11 表 3 注册实体信息表的信息项定义 . 4 实体领域及对应的领域褒贬补充词典 . 5 面向领域的褒贬补充词典候选样例 . 6 褒贬评价候选模板样例 . 7 褒贬评价用到的网页表示库信息项 . 8 褒贬评价用到的实体信息库信息项 . 9 褒贬结构模板要素 .京大学硕士学位论文 中文 网页褒贬态度的机器评价 引论 - 1 - 第 1章 引论 因特网（ 1994 年开始登陆中国，短短几年内得到了迅猛的发展 ， 今天的因特网确实是一个信息的宝库，但是在很大程度上它还只是信息的堆砌，因此它更像一个宝矿，等待有需求的人们去挖掘。 网上海量信息的涌现迫使人们越来越依赖搜索引擎，而目前中文搜索引擎的服务还远远不能满足用户的需要。常见的网络检索服务， 常常没有语义分析，只是根据用户所给出查询词串的逻辑组合机械地找出一系列匹配网页，同时检索结果中常有很多无关或无用的网页。通用的搜索引擎缺乏针对性，用户不能通过搜索系统定期、定量、和自动地获得目标相关的网页，必须手工地进行繁复的筛选任务。 面对网上的海量信息，人们越发看重准确性、及时性，迫切需要一种 更加智能的网络检索服务， 能够 针对用户关心的焦点， 为用户自动收集、分析和整理 相关信息，因此， 提供个性化检索服务已势在必行。 网知名度系统 北京大学计算机系网络实验室 于 1997 年推出了 “天网”搜索引擎，据 “天网 ” 搜集的网页估计，中文（简体）网页数已超过 1 亿。从 2002 年 7 月开始，北京大学计算语言学研究所信息提取（ 目组与北京大学网络实验室在北 京 大 学新研究院的支持下开展了“天网知名度” 研究 项目。本项目在天网搜索引擎的基础上，力求利用中文信息提取的先进技术，尝试个性化检索服务，提高网络服务的质量。 在 天网知名度系统中， 用户 可以通过指定一批具体的实体来 定制 自己 的查询需求 ，即用户可以指定一个或多个实体作为信息收集、分析和提供服务的目标对象 ， 例如： 名人实体： 姓名，主要职业、社会兼职、社会形象、工作单位、代表作品等；公司实体：名称（含别名、缩写名、英文名），所在地、所属行业、产品（服务项目）、负责人（可选）等；机构实体：名称（含别名、缩写名、英文名）， 所 属地 区 、部门、性质、负责人（可选）等；产品实体：名称（含别名、缩写名、英文名）、型号、功能、规格等。 北京大学硕士学位论文 中文 网页褒贬态度的机器评价 引论 - 2 - 经过对名人实体、机构实体及产品实体的前期考察，天网知名度系统选择了名人实体做为实验对象。用户将其要查询的名人信息注册 之后 ，系统将为每个用户登记专用的实体信息，形成个人信息库和实体信息库，以保证尽量满足每个用户的个 性化检索需求。 用户通过 天网知名度系统用户界面登陆 并 提交要查询的实体，系统 将 通过检索评分库和索引库将检索 到的实体相关网页的排序 结果返回 给 用户。该系统依托天网搜索引擎的原始网页库，目前 在 75 万中文简体网页范围内 小规模 提供 了 近 300 个名人的网页搜索服务。 系统 采用了基于内容的浅层分析技术，提取网页中人名、人的职业描述以及人所在的工作单位等二元关系描述，结合特征向量的加权统计，对查询信息建立了合理的结构，大大增加了网页中有关人物分析的准确性。不同于 搜索引擎，“天网”知名度项目着眼于用户的特定检索需求（表 现为系统中的注册实体，包括各信息条目及其权重），因此实体信息注册、二元关系抽取、加权分析等是实现系统目标的关键环节。 页观察机器评价视角下看 中文 网页类型 天网知名度系统 实验过程中的实体信息，来自前期考察对网页实体信息的认知抽象。而 天网知名度系统的 相关度评价即是让机器来模拟人自身对网页与实体的相关性的认知策略，最终机器的模拟结果也要接受用户认知体验的检查。因此作者在参与网页与注册实体相关度评价模块的开发时，一直注意积累对网页文本内容的观察。 以公司类实体的网页为例，作者发现如下规律：从来源看，有 来自 企业自 身也有 来自外界 的 ，如行业网站或新闻网站。从网页内容来说，有介绍企业的产品、经营领域（与该企业的产品类型相关）、下属子公司、发行的证券、股票的；也有介绍公司的负责人 的 （其人、其事、访谈）；有关于该公司的经营研究报告、业务分析、公司的事件新闻（收购、兼并等）等的；还有谈及企业文化概念的，如核心理念、市场口号（例如，“以您的生活为本”，“无抗”等）、特色概念、论坛、周刊、市场策略、经营模式，以及它们的改变 等 ；甚至也有介绍其使用的软件管理系统、电子商务等（即借该企业宣传另一个企业产品的成功案例的）。形式上，除了单独 出现在网页中，也常在行业网站和企业峰会的网站中和其他公司一起出现 的 ，甚至只是名称列举。网页内容除了文本本身，还有格式标记，某些类别的标记可表示一篇网页的主题信息或通过控制显示效果而表示一段内容的重要性。对网页的观察帮助项目组制定出注册实体信息的格式和内容，也确定了系统进行分析评价所需要的信息。 北京大学硕士学位论文 中文 网页褒贬态度的机器评价 引论 - 3 - 作者 从大量 的 网页观察中发现，与目标实体实际相关的网页， 可以分为 两类。一类是强文字相关的信息类网页 ，这类网页与实体信息匹配程度高，简历型名人网页 是很好的例子 。另一类是 弱文字相关的事件或事物展开型网页 ，相比 前者， 这类网页 与实体的背景性信息匹配程度就低多了。事件展开类网页，譬如，关于某名人的事件报道或访谈记录，恰好谈论的不是名人实体中注册的那些常见资料性信息，假设一篇谈论克林顿在家锄草的报道，则这篇网页的内容相对于系统中的资料信息延伸距离很大。另一个典型的例子，中央电视台 的 节目表网页，整个网页是 一份 央视节目单的具体 展开 。 这些都 是 与 目标实体 相关但 无法由特征词简单覆盖的 网页类型。对此要取得好的评价结果，则需要更灵活深刻地利用特征词手段。 反过来，特征词频繁出现的网页未必与目标实体相关性很大。例如有时 一篇网页中分散出现了大量某个注 册实体的特征词 却 并非着意 于谈论该实体 ， 这是由于 这些代表实体信息的特征词，也正是大多情况下人们谈论实体 时的语言环境，甚至有时只在这种语言环境下才可能顺带提起那个实体而已 。除了人员 单位和人员 职位二元关系之外， 如果我们的语言技术 能 准确地提取出更多特征信息与实体的确切关系，则能在衡量实体相关度时起到定性作用，而在有限的计算语言技术下，即使是特征词统计过程中的定量尺度，也是不易把握的。针对上文的一个更普遍而典型的情形是，网页在 谈论 同领域的其他人物时提起了我们要考察的人物实体 ， 这 种情况 将 在网页褒贬态度的机器评价 中继续讨论。 目延伸探索新的网络服务（网页褒贬态度的机器评价） 在参与相关度评价的前期开发过程中，通过对网页文本内容及机器评价的联系思考，作者获得了新的实验方向。 网页是传递信息的。从效果上看，人们通过构建网页来传递信息，也可以进而表达态 度和传递情感。 前一阶段中 的 网页与注册实体信息的相关度评价，针对用户感兴趣的目标，优化了检索排序。而有些用户在得到与关心的实体相关的一批网页后，也可能会希望进一步 分出 其中的正面报道和负面报道，例如企业希望了解市场上对其产品的正负面评价，名人希望了解媒体和公众对自己的评价。 在满足这种用户需求时，机器需要做的工作就是分析现实网页的修辞效果，即分析网页所表达出的态度和情感，反馈给用户。网页的内容作者，作为话语构建者，总是在一定言语环境下选择适切的话语来达到传递信息和交流交流感情的目的的，因此我们的考察是北京大学硕士学位论文 中文 网页褒贬态度的机器评价 引论 - 4 - 针对一种有意识、有目的、有规律、有效果期望的话语组织行为，也即修辞行为，这里它是以网页的形式通过网络传播的，而我们需要获取的是这种修辞行为的修辞效果之一： 网 页所包涵的褒贬态度信息 。 网页的内容作者实施的是话语的构建，即对实体评价的褒贬信息编码；网页读者实施的是话语的解构，即信息的 接收和解析。网页构建者构建网页，需要掌握和运用语言知识，读者解析网页也要利用语言知识 基础来 解析网页的各种话语信息，包括网页内容作者所表达出来的对谈论实体的褒贬态度信息，是一种褒扬的态度还是贬斥的态度。文本褒贬态度的机器评价其实是在模拟人对网页的解析活动。作者以下图来标示褒贬评价中各元素的关系，分析 此图可以 得到，网页、实体和语言知识本身，是网页内容作者、读者及模拟读者的机器所共同关联的 因素 。 图 1 网页褒贬评价关 系分析图 上图揭示，机器的有效模拟，需要关注三个 要素 ：网页、语言知识、实体。 网页 机器 读者 语言 实体 语言 实体 语言 实体 构造 认知 评价 解析 评价 认知 认知 评价 解读 网页内容作者 北京大学硕士学位论文 中文 网页褒贬态度的机器评价 引论 - 5 - 文的研究内容及意义 天网知名度系统 是 立足个性化网络服务 的 探索 研究。网页相关度评价利用计算语言学技术针对用户定制的实体信息进行网页相关度的评价 及排序， 从而获得了 更高效优质的个性化服务 。作者在参与网页相关度评价模块的开发过程中积累了对 中文 网页的 大量 观察 ，从而 发现和明确了网页褒贬评价的问题目标。网页褒贬 态度的 机器评价研究符合网络用户的进一步查询需求， 也 符合天网知名度系统个性化网络服务的 研究定位 ， 同时可以利用 系统 已有的实体针对性平台基 础。 此 项实验具有研究和实验的可延续性。 另一方面，网络传媒在现代社会中 充当着 信息传播的重要手段。网络文本 是典型的 传播性文本。现实网页中的褒贬态度表达往往含有明确的目标、动机和效果期望， 因此 构造者 会很重视语言知识 这个 交流 手段 ， 网页中的褒贬态度表达 也就是一个 典型的修辞行为，所以实验 可以充分利用修辞 学 的理论 成果 ，具有理论指导基础。而从语言学角度看，修辞涉及语言的附加意义， 这 区别于概念意义。 因而 此 项实验具有 丰富 创新性 研究 价值。 文 的 结构 本文后面的部分将介绍三部分内容。首先是理论基础和实验资源的考察。这一部分既验 证实验的可行性，也是作者完成资源积累作好实验准备的 基础工作 过程。第二部分介绍网页褒贬机器评价模块的 具体 设计实现。最后给出实验结果并做合理性分析。 此 项 实验中， 本人 的原创性实验工作主要包括 针对 领域 的 褒贬词集的 语料搜集整理 和网页褒贬机器评价模块的全部设计与实现。实验本身涉及网页、实体、语言知识三个 要素 。对于实验 处理对象 网页褒贬态度的话语形式 的关注 自始至终贯穿本作者的 思考和 实验过程，指导作者选择合适的资源或实现策略来 捕捉 和 覆盖 目标 问题 ，这 也将成文下文论述的重要线索。 北京大学硕士学位论文 中文 网页褒贬态度的机器评价 相关工作及工作基础 - 6 - 第 2章 相关工作及工作基础 “修辞就是在运用 语言的时候根据一定的目的精心选择语言材料的过程。” 文献 7, 网页中褒贬态度的表达，是有目标有指向的评价活动， 因此 是典型的修辞活动。修辞者要组织出适切、有效的话语，需要掌握修辞手段的结构和功能。机器进行网页修辞效果的判断，也必须利用这些手段 和 规律来展开修辞效果的分析。 所谓修辞手段就是修辞所需要的材料，主要是指可以利用的语言要素和辅助性非语言要素。按照是否是语言要素，修辞手段 可以分成为语言修辞手段和非语言修辞手段。前者包括词语、句子、句群 、辞格和语篇。后者主要是指一些辅助性的文字符号以及表 情、动作等。 文献 3, 表情、动作等辅助手段 可以用在人机交互多媒体技术中 ， 本实验目前针对天网知名度系统的大规模网页库进行文本处理，因此下面主要考察语言手段，关注其中与褒贬 态度的表达 有关联 的理论。 言手段 语手段 文章是 由 句子构成的，句子的基本单位是词语。词语是组成能完成一定交际任务的句子的基本手段。 文献 3, 词性： 词语可以分为名次、动词、形容性等。词语的语法功能分类是为了进行语法分析，这有助于解决话语组织的正确性问题，即话语是否 合乎 语法规则的问题，但 却 不能解决词语的其他修辞 问题。 词义及词语的修辞功能 ：所谓词语的意义， 实际 上就是语音或文字符号在人们的心理上引发的心理形象或记忆、认识、经验、体验和感受等。 在运用中，实际上是起一定的刺激中介作用。因此说，词语实际上所具有的是表意功能或修辞功能。 文献 3, 语对人脑的 刺激作用 有两种， 离开言语环境所具有的基本表意功能，即语言修辞功能，和在具体的言语环境中的表意功能，即言语修辞功能。 文献 3, 语的语言修辞功能包括两北京大学硕士学位论文 中文 网页褒贬态度的机器评价 相关工作及工作基础 - 7 - 个方面：一是表示 概念意义 （或理性意义），二是表示 附加意义的功能 （语体、文化 、态度等标示功能）。 文献 3, 示说话者的 褒贬态度 ，就是词语的 附加功能之一 。 在汉语中，具有表示态度功能的词语很多，例如“撤退 逃跑”，“效果 后果”，“鼓励 教唆”，“起义 叛乱”，“爱护 庇护”，“团结 勾结”等，这些词对中，前者表明了说话者对所谈及事物的肯定、拥护、赞成和褒扬态度，后者则表明了说话者对所谈及事物的否定、反对、不赞成甚至贬斥的态度。 文献 3, 与一般词语一样，熟语除标示理性意义的功能之外，也具有一些附加修辞功能。比如“守株待兔”、“揠苗助长”、“刻舟求剑”、“阳奉阴违 ”、“口是心非”、“狼子野心”、“狼心狗肺”、“不三不四”等成语，“抓小辫”、“吃老本”、“吹牛皮”、“出洋相”、“开小差”、“半吊子”等惯用语，“擀面杖吹火 一窍不通”、“老鼠过街 人人喊打”等歇后语，多具有贬斥功能。而“坚持不懈”、“老骥伏枥”、“废寝忘食”、“众志成城”、“一心一意”等成语，“众人拾柴火焰高”、“三个臭皮匠，顶一个诸葛亮”、“若要工夫深，铁杵磨成针”等谚语，“知识就是力量” 、“谦受益，满招损” 、“千里之行，始于足下” 、“世上无难事，只怕有心人” 、“良药苦口利于病，忠言逆耳利 于行”等警句格言，则具有褒扬功能。 文献 3, 在话语组织过程中，选择什么词语直接关系到修辞的效果。比如形容好喝酒的 人 ，就有许多词语可供选择：“酒仙” 、 “酒鬼” 、 “酒囊饭袋” 、 “酒桶” 、 “酒篓子”等等。每一个词语的修辞功能都不完全一样。每一个词语的修辞功能都不完全一样。“酒仙”通常是指那些虽然好喝酒，但却品性高雅的人，“酒鬼” 、 “酒囊饭袋” 、 “酒桶” 、 “酒篓子”，则多形容和比喻那些 酗酒 且无所作为的人。这些同中有异的词语为话语组织提供了选择余地，所以说，词语是重要的修辞手段。 文献 3, 根据词语修辞功能的不同，可以从修辞效果的角度来划分： 分为书面语词语、口语词语；或者褒义词语、 贬义 词语等等。这些功能表示了词语的使用范围，比如是书面语还是口语，说话者的态度 是 褒还是贬。 词语的 褒贬 修辞功能划分 有利于人们使用词语来有目标地构造话语，也方便人们解析说话人的话语信息。 褒贬的划分确定了词语褒贬评价的极性， 而 褒贬 评价不 只 是两极对立的，也常会受到程度性修饰，例如“有点吹毛求疵” ，“非常绚丽” 。有时也 甚至 因为修饰而改变极性 方向 ，例如“高”这个词语本身属于中性，如果说“有点太高了”则往 往是 否定的态度 。 北京大学硕士学位论文 中文 网页褒贬态度的机器评价 相关工作及工作基础 - 8 - 词语的形式 ：词语包括 词和短语 。短语包括固定的短语和不固定的短语。固定短语包括成语、 惯用语 、谚语、格言及歇后语等。 文献 3, 固定的短语同样有修辞功能，关于不固定的短语我们后面会从模板的角度来考虑。 式手段 汉语不仅有丰富的词汇手段而且有丰富的句式资源。汉语句式按照语气划分为 陈述句 、疑问句 、 祈使句 和 感叹句 四种。话语组织汇过程中，我们可以根据表达需要，选择不同语气的句式。 文献 3, 其中，陈述句和感叹句句式对褒贬态度的表达有影响。 陈述句 是四种语气的句式中使用频率 最高的。陈述句主要是对事物、情况等进行描述的句子。陈述句还有肯定和否定之分。 文献 3, 中的否定句会造成褒贬态度的指向改变。除肯定句和否定句之外，还有一种双重否定句，表达的是肯定的意思，可 起 强调作用。例如：“我们不是没有能力解决这个问题，而是目前时机还没到”。 文献 3, 感叹句 用以表达强烈的情感。例如：白杨树实在不平凡，我赞美白杨树！（茅盾：白杨礼赞）如果采用陈述语气，则显得十分平淡。 文献 3, 格手段 汉语中的辞格非常丰富。一类重在深化话语的意义，如比喻、 借 代 、比拟等，这类辞格可以体现说写人的态度、情感，例如比喻辞格。如果用来打比方的事物是 美好 的，那么表示说话人对被比方的 事物 的态度是褒的，反之则是贬的。另一类则是话语形式的 辞格 ，例如对偶、排比、反复等。 文献 3, 目前还没有可用的 针对 辞格形式的计算识别 技术 和考量方法 。考虑到 中文 网页的文本大多是媒体传播 型 的，辞格的丰富性不及文学类文本，因此，本 评价 系统中对于用辞格来表达的褒贬态度，将简化为利用词语手段等来捕捉，例如，“她像盛开的莲花”与“她端庄美丽” ，机器评价能识别后者，但不理解前者，除非机器被 灌输语体“莲花”这个词的修辞意义。当然，如果句子是“她像莲花一样端庄美丽” ，那么机器同样