（通信与信息系统专业论文）体育领域信息抽取系统的研究.pdf

z 0 士= i明明 本人郑重声明：此处所提交的硕士学位论文体育领域信息抽取系统的研究，是 本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究工作和取得的研究成 果。据本人所知，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得华北电力大学或其他教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。 学位论文作者签名：季舟并 日期：彬：怛 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权保管、 并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或其它复制手 段复制并保存学位论文；学校可允许学位论文被查阅或借阅；学校可以学术交流为 目的，复制赠送和交换学位论文；同意学校可以用不同方式在不同媒体上发表、传播学 位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名：刨 日期：兰丝：多：p 导师签名： 日期：塑! ! ：尘! a _ 华北电力人学硕士学位论文摘要 摘要 信息抽取作为一种自动化信息处理技术，已成为自然语言处理领域的研究热点。本 文首先针对信息抽取中的两大关键技术命名实体识别和实体关系自动抽取进行了研究， 提出了融合多知识的基于条件随机场的中文命名实体识别方法和针对体育领域的实体 关系自动抽取方法；其次，在此基础上，基于统计与规则相结合的原则，针对体育领域 提出并实现了赛事信息抽取系统，实验语料来自新浪和搜狐，实验证明本文提出的方法 卓有成效，系统的准确率、召回率、和f 值分别达到了9 5 7 0 、9 3 0 0 和9 4 3 3 。 关键字：信息抽取，命名实体识别，实体关系抽取，条件随机场 a b s t r a c t i n f o r m a t i o ne x t r a c t i o na sa na u t o m a t e di n f o r m a t i o n p r o c e s s i n gt e c h n o l o g yi n t e r e s t s m a n yr e s e a r c h e r si nn a t u r a ll a n g u a g ep r o c e s s i n g f i r s t l y , n a m e de n t i t yr e c o g n i t i o na n d r e l a t i o ne x t r a c t i o na st h ek e yt e c h n o l o g yo fi n f o r m a t i o ne x t r a c t i o nh a v eb e e ns t u d i e di nt h i s p a p e r , an e wa p p r o a c hi sp r o p o s e dt or e c o g n i z ee n t i t yb a s e do nc o n d i t i o n a lr a n d o mf i e l d s ， w h i c hf u s e sm u l t i p l ek n o w l e d g e s ，a n dan e wa p p r o a c hi s p r o p o s e dt oe x t r a c tt h ee n t i t y r e l a t i o ni ns p o r t sn e w sb a s e do nc o n d i t i o n a lr a n d o mf i e l d s s e c o n d l y , t h ei n f o r m a t i o n e x t r a c t i o ns y s t e mi ns p o r t sg a m en e w si sd e s i g n e da n dr e a l i z e d , w h i c hi sm a i n l yb a s e do n s t a t i s t i c sa n dr u l e st oe x 仃a c ts p o r t sg a m en e w s t h ee x p e r i m e n t sc o r p u sc o m e sf r o mt h e w w w s i n a c o ma n dw w w s o h u c o m t h ee x p e r i m e n t sr e s u l t ss h o wt h a tt h ep r e c i s i o no fs y s t e m i s9 5 7 0 ，t h er e c a l lo fs y s t e mi s9 3 0 0 a n dt h ef m e a s u r eo fs y s t e mi s9 4 3 3 ，w h i c h p r o v et h ev a l i d i t yo fo u ra p p r o a c h g a og u o y a n g ( c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m ) d i r e c t e db yp r o f q iy i n c h e n g d i r e c t e db ya s s o c i a t ep r o f z h a n gs u x i a n g k e yw o r d s ：i n f o r m a t i o ne x t r a c t i o n ，n a m e de n t i t yr e c o g n i t i o n ，e n t i t yr e l a t i o n e x t r a c t i o n ，c o n d i t i o nr a n d o mf i e l d s 蠢 4 口f l 华北电力大 中文摘要 英文摘要 第一章引言1 1 1 课题背景及意义l 1 2 信息抽取技术研究动态2 1 2 1 国外信息抽取技术研究动态3 1 2 2 国内信息抽取技术研究动态。4 1 3 本文研究内容和组织结构5 第二章信息抽取技术及相关统计模型- 7 2 1 信息抽取系统结构7 2 2 信息抽取的关键技术8 2 2 1 命名实体识别8 2 2 2 实体关系抽取。8 2 3 信息抽取系统构建方法9 2 4 条件随机场模型一l o 2 4 1 序列标记问题1 0 2 4 2 隐马尔科夫模型1 1 2 4 3 最大熵马尔科夫模型1 2 2 4 4 隐马尔科夫模型与最大熵马尔科夫模型的缺点1 2 2 4 5 条件随机场的图结构1 3 2 4 6 条件随机场的势函数1 4 2 4 7 条件随机场的参数估计与训练1 5 2 4 7 1 条件随机场的最大似然估计15 2 4 7 2 迭代缩放方法16 2 4 8 条件随机场的参数估计的优化1 9 2 4 8 1 一阶优化技术2 0 2 4 8 2 二阶优化技术2 0 2 4 9 条件随机场的实现2 1 2 4 9 1 条件随机场概率的矩阵计算2 l 2 4 9 2 动态规划方法求特征期望2 2 2 4 1 0 条件随机场工具的选择2 3 2 5 小结2 3 第三章中文命名实体识别2 4 3 1 基于条件随机场的中文人名、地名和组织名识别2 5 i 华北电力人学硕+ 学位论文目录 3 1 1 中文人名识别2 5 3 1 1 1 分词和b i o 分类2 5 3 1 1 2 中文人名识别特征选择2 5 3 1 2 中文地名识别2 7 3 1 2 1 分词和b i o 分类。2 7 3 1 2 2 中文地名识别特征选择2 8 3 1 3 中文组织名识别2 8 3 1 3 1 分词和b i o 分类。2 8 3 1 3 2 中文组织名识别特征选择2 9 3 1 4 实验结果3 0 3 2 基于条件随机场与规则相结合的中文体育领域命名实体识别3 2 3 2 1 分词和词性标注3 2 3 2 2 体育领域命名实体识别特征选择3 3 3 2 3 规则库的建立3 4 3 2 4 实验结果3 4 3 3 小结3 7 第四章实体关系自动抽取3 8 4 1 实体关系的定义和标注3 8 4 1 1 实体关系的定义3 8 4 1 2 实体关系的标注3 9 4 2 实体关系抽取的特征选择4 2 4 3 实验结果4 2 4 4 卅、结4 5 第五章体育领域信息抽取系统的实现4 6 5 1 体育领域信息抽取系统的设计4 6 5 2 体育领域信息抽取系统的实现4 8 5 3 实验结果。4 9 5 4 小结5 2 第六章总结5 3 参考文献5 4 致谢5 7 在学期间发表的学术论文和参加科研情况5 8 舀 t 华北电力大学硕士学位论文 1 1 课题背景及意义 第一章引言 近年来，随着计算机的普及以及互联网的高速发展，互联网上流通的信息在爆 炸性地增长。人们如何能够从这海量的信息里面迅速、准确地找到自己真正需要的 信息成了一个迫在眉睫的问题，信息抽取( i n f o r m a t i o ne x t r a c t i o n ，i e ) i e 是在这种情 况下发展起来的一种自动化信息处理技术。 信息抽取【1 】是指从自然语言文本中抽取特定的事件、事实等信息，并以结构化 的数据存入一个数据库，供用户查询和进一步使用的过程。也就是从文本中抽取用 户感兴趣的事件、实体和关系以结构化的形式描述，然后存储在数据库中，为自动 问答、比价购物、自动文摘、文本分类等各种应用提供服务。 信息抽取与其它相关信息处理技术( 例如信息检索) 存在着实质性的差异。信息 检索技术不限于领域，只是找出符合一定检索要求的整篇文档或段落，而人们仍然 必须阅读所找到的每一个文档或段落才能获得所需要的信息。虽然信息检索的模型 和技术一直在不断地发展，但其基本目标始终是文档与检索条件的接近程度。信息 抽取可以准确地抽取出用户所需要的具体信息，并按用户指定的方式输出信息，它 可以理解自然语言，更加人性化的交互过程可以使得人们更加便捷地获取信息，这 将革命性地改变人们从网络获取信息的方式，具有很大的理论和实用价值，信息抽 取技术的优点在于当前文本与特定领域无关信息将被有效地过滤掉，不需要进行完 整的语言分析和理解。信息抽取和信息检索是密切相关的，两者可以互补，为了处 理海量文本，信息抽取系统通常以信息检索系统的输出作为输入；而信息抽取技术 又可以用来提高信息检索系统的性能。 信息抽取技术的研究对象主要分为三种【l 】：( 1 ) 结构化文本。它是指按照特定的 格式严格生成的文本，如数据库中的文本信息等。对此类文本的信息抽取非常容易， 准确率也非常高；( 2 ) 自由文本。它是指文本中文字符合自然语法规则的文本，如科 技文献、政府文件、新闻报道等。( 3 ) 半结构化文本。它是介于结构化文本和自由文 本之间、文本的文字不完全合乎于自然语法规则的文本。这类文本一般比较简短， 没有固定的形式，如广告文、分析报表等。 信息抽取技术的最终目的就是开发实用的信息抽取系统，也就是从文本中抽取 得到有用的、用户感兴趣的信息。信息抽取技术在军事、经济、医学、体育等领域 有着极大的应用空间。例如体育领域信息抽取系统可以从体育新闻文本中提取出人 们感兴趣的赛事结果包括赛事名称、比赛地名、参赛球队、比赛成绩等；军事领域 华北电力大学硕士学位论文 信息抽取系统可以从军事领域新闻中抽取出恐怖事件的详细情况包括时间、地点、 作案者、受害者、袭击目标、使用的武器等；经济领域信息抽取系统可以从经济新 闻里抽取出公司人事变动情况包括公司名、职位名、继任者、离职者等；医学领域 信息抽取系统可以从病人的医疗记录中抽取症状、诊断记录、检验结果、处方等。 通常，被抽取出来的信息以结构化的形式描述，可以直接存入数据库中，供用户查 询以及进一步分析利用。 随着北京奥运会的成功举行，我国老百姓观看体育赛事的热情得到了空前的提 高。每天在搜狐，新浪等各大网站，体育新闻板块的点击率远远大于其它板块，但 是世界上每天都有很多体育赛事，互联网上每天也都会更新大量的体育赛事新闻， 要完全读完每条新闻几乎是不可能的事，如果利用信息抽取技术将那些大量的体育 新闻转换成结构化的数据并存储在数据库中，人们将可以在很短的时间里准确地获 得自己感兴趣的信息，所以可以说从海量的体育新闻中抽取出入们感兴趣的体育赛 事结果具有很大的商业前景。本文主要研究的就是体育领域信息抽取系统的设计与 实现。 1 2 信息抽取技术研究动态 信息抽取的大规模研究是从2 0 世纪8 0 年代末开始【2 1 ，它的发展主要是基于两个 会议的推动：消息理解会议( m e s s a g eu n d e r s t a n d i n gc o n f e r e n c e ，m u c ) 和自动内容抽 取会, 5 ( ( a u t o m a t i cc o n t e n te x t r a c t i o n ，a c e ) 。 消息理解会议【3 】是由美国国防高级研究计划委员会( d e n s ea d v a n c e dr e s e a r c h p r o j e c t sa g e n c y ，d a r p a ) 发起，从1 9 8 7 年到1 9 9 8 年共举办了7 届，m u c 的显著特点 不是会议本身，而在于对信息抽取系统的评测。只有参加信息抽取系统评测的单位 才被允许参j j i m u c 会议。在每次m u c 会议前，组织者首先向各参加者提供样例文本 和有关抽取任务的说明，然后各参加者开发能够处理这种消息文本的信息抽取系 统。在正式会议前，各参加者运行各自的系统处理给定的测试消息文本集合。由各 个系统的输出结果与手工标注的标准结果相对照，最后才是所谓的会议，由参与者 交流思想和感受，它的任务主要是建立信息抽取系统的评价指标体系。 自动内容抽取评测会议是由美国国家标准和技术学会( n i s t ) 组织的【4 1 ，由美国 国家安全局( n s a ) 、美国国家标准和技术学会以及中央情报局( c i a ) 共同主管，随着 m u c 会议的停办，a c e 评测1 9 9 9 年7 月开始酝酿，2 0 0 0 年1 2 月正式启动，至i j 2 0 0 8 年 最新一届为止已举办了8 届。a c e 主要关注6 个领域的信息【5 】：网络上的专线新闻 ( n e w s w i r e ) 、通过光学字符识别( o c r ) 得到的报纸新i 薛l ( n e w s p a p e r ) 、通过a s r ( 自动 语音识别) 得到的广播新闻( b r o a d c a s tc o n v e r s a t i o n s ) 、对话性的电话谈话 ( c o n v e r s a t i o n a lt e l e p h o n es p e e c h ) 、新闻组( u s e n e t ) 和网络同志( w e bl o g ) 。其测评任 2 华北电力大学硕士学位论文 务为实体探测与识另l j ( e n t i t yd e t e c t i o na n dr e c o g n i t i o n ，e d r ) 、价值探测与识另l j ( v a l u e d e t e c t i o na n dr e c o g n i t i o n ，v a l ) 、时间表达式识别与标准化( t i m ee x p r e s s i o n r e c o g n i t i o na n dn o r m a l i z a t i o n ，t e r n ) 、关系探测与识别( r e l a t i o nd e t e c t i o na n d r e c o g n i t i o n ，r d r ) 以及事件探测与识另u ( e v e n td e t e c t i o na n dr e c o g n i t i o n ，v d r ) 。测 评系统要求按照用户制定的内容种类进行抽取，采用了以误报( 标准答案中没有而系 统输出中有) 和漏报( 标准答案中有而系统输出中没有) 为基础的一套方法。a c e 的目 标是发展包括自动识别和标识文本在内的自动内容抽取技术，以支持对语料库的自 动处理。 1 2 1 国外信息抽取技术研究动态 国外研究信息抽取技术起步比较早，它随着消息理解会议召开就蓬勃发展起 来，目前已经进行了比较深的研究，研究人员已经建立比较实用的完整的信息抽取 系统，比较著名的系统有s r i 组织的f a s t u s 系统；b b n 公司的s i f t 系统和c y m f o n y 公司的i n f o x t r a c t 系统。 ( 1 ) s r i 的f a s t u s s r i 的f a s t u s 系统【6 】是一个从自然语言文本中抽取信息并将抽取的信息输入 数据库或作一些其他应用的系统。它以一种级联的，非确定性的有限状态自动操作 的模式操作【2 】，属于纯粹的模板匹配，它与原来的t a c i t u s 系统( 该系统是基于理 解的系统) 相比，不仅速度快了许多倍，而且准确率和召回率也高许多【7 1 。f a s t u s 系统最初的发展目的是为了参与1 9 9 2 年的m u c 4 的评估，至今它已经经历了三届 m u c 的评估。通过一系列的m u c 评估，已经证明f a s t u s 系统的这种构建是非常灵 活的，这种系统已经成功地并且广泛地应用于信息抽取的不同领域，比如恐怖事件 的信息抽取、从口头对话中抽取信息、以及合资企业的信息抽取。 ( 2 ) b b n 公司的s i f t 系统 b b n 公司的s i f t 系统【2 垸全采用统计的方法，它是一个单一的集成训练模型。 s i f t 系统在句子级使用一个统一的统计过程把词映射为语义结构，也就是说，词性 判别、命名实体发现、分析和关系查找都发生在一个过程内。s i f t 句子级模型的训 练来源有两个：英语句子结构的一般知识是通过对包含1 0 0 万字的华尔街日报文本 的宾州树库语料学习而得到的；目标实体和关系在英语中表达专业知识是通过对标 注命名实体、描述信息和语义关系标记的5 0 万字的特定领域的文本学习得到的。虽 然s i f t 系统的大量t e t r 任务都是在句子级解析中完成，但要生成t e 和t r 的输出模 板还需要做进一步的处理。b b n 还在研究把这些后处理步骤和主模型更紧密地集成 在一起的方法，因为集成的统计模型是唯一能在所有已知信息的基础上识别选项间 细微差别的方法。时间是影响s i f t 性能的一个因素，但是在s i f t 系统开发的初期， 华北电力大学硕士学位论文 研究人员们仍相信其性能可能会有很大提高。研究者对于评测训练集规模对性能的 影响以及把s i f t 系统用于广播新闻领域都很感兴趣。 ( 3 ) c y m f o n y 公司的i n f o x t r a c t 系统 c y m f o n y 公司的i n f o x t r a c t 系统是一个领域独立、可定制、可移动的中间级的信 息抽取引擎，它把语法规范和机器学习融为一体，代表了信息抽取的一个超级模型 嗍。它支持开放领域的问题回答( q u e s t i o na n s w e r i n g ) t 2 1 ，其主要特征之一就是能够 快速地为一个特殊领域定制信息抽取引擎。i n f o x t r a c t 系统的输出主要有五个组成部 分：命名实体，综合实体、相互关联的实体、实体轮廓和预定义事件。 目前，i n f o x t r a c t 系统已经应用于两个领域【2 1 ，商标板( b r a n dd a s h b o a r d ) 和信息 发现门户( i n f o r m a t i o nd i s c o v e r yp o r t a l ) 。所抽取信息的可视化是信息发现门户的关 键组成部分，信息网眼可以使用户观察到实体、实体的属性以及实体与其他实体和 事件之间的关系。从一个实体开始，通过关系链寻找与其相关的条目，通过时间线 可以看到信息。 1 2 2 国内信息抽取技术研究动态 国内对中文信息提取系统的研究起步较晚，并且由于汉语本身的特殊性，构建 中文信息抽取系统要比构建英文等其他西方语言信息抽取系统要困难得多，目前的 主要工作还集中在命名实体识别方面及其它的简单的抽取任务，遵照m u c 规范的完 整的中文信息提取系统目前还处于探索阶段，而且在m u c 6 上，才首次增加了中文 系统的评测项目。 目前国内关于信息抽取技术研究最深入的是关于命名实体识别方面的，我国台 湾的台湾大学【9 】参加了m u c 7 中文命名实体识别任务的评测，测试了中文命名实体 ( 人名、地名、时间、事件等名词性短语) 的识别，取得了与英文命名实体识别系统 相近的性能；张华平等人【i o 】提出了一种基于角色标注的中文命名实体识别方法，该 方法是根据在实体识别中的作用，采取v i t e r b i 算法对分词结果进行角色标注，在角 色序列的基础上进行模式最大匹配，最终实现中文命名实体( 人名、地名、组织机构 名、时间、量词等) 的识别；俞鸿魁等人【i l 】提出了一种基于层叠隐马尔科夫模型的 中文命名实体识别识别方法，首先在词语粗切分的结果集上采用底层隐马尔可夫模 型识别出普通无嵌套的人名、地名和机构名等，然后依次采取高层隐马尔可夫模型 识别出嵌套了人名、地名的复杂地名和机构名，在对大规模真实语料库的封闭测试 中取得了很好的效果；张碉杰等人【1 2 】提出了一种融合多特征的最大熵汉语命名实体 识别模型，该模型集成局部与全局多种特征，同时为降低搜索空间并提高处理效率， 引入了启发式知识，基于s i g h a n 2 0 0 8 命名实体识别任务测试数据的实验结果表明， 所建立的混合模式是一种组合统计模型与启发式知识的有效汉语命名实体识别模 4 华北电力大学硕士学位论文 式。 在实体关系抽取方面，i n t e l 中国研究中心的z h a n gy i m i n 等人【1 3 】在a c l - 2 0 0 0 上演示了他们开发的一个抽取中文命名实体以及实体间关系的系统。该系统利用基 于记忆学习( m e m o r y - b a s e dl e a r n i n g ，m b l ) 算法获取规则从而实现信息抽取；车万翔 等人【1 4 】使用两种基于特征向量的机器学习算法，w i n n o w 和支持向量机( s v m ) ， 在2 0 0 4 年a c e 评测的训练数据上进行实体关系抽取实验，用两种算法进行适当的特 征选择，当选择每个实体的左右两个词为特征时，达到最好的抽取效果；张素香等 人【l 别提出了一种基于b o o ts t r a p p i n g 的中文实体关系自动抽取方法，该方法利用由种 子词和种子模板组成的知识库建立学习器，采用标量聚类的方法，通过种子模板抽 取更多的与种子词相似语义关系的特征词。在此基础上，利用最近邻居的原则，进 而生成更多的抽取模板来抽取“人事变动领域的实体关系；刘路等人【1 6 】提出了一 种基于正反例训练的s v m 命名实体关系抽取方法，从中文的形态学、语法及语义等 几个方面选取特征并构建特征向量，然后将符合特定实体关系模板的候选命名实体 对抽取出来并分为正反例，利用正反例样本对s v m 抽取器进行训练，以此来判断候 选命名实体对的关系类型，实验证明该方法取得了很好的准确率。 在信息抽取方面，郑家恒等人【1 7 】通过计算模式实例间的相似度，采用单链法聚 类的方法对关于农作物的品种描述模式获取进行了研究，在小规模的实验数据上， 表现出良好的结果；牟力科【i8 】设计并实现了了一个煤矿安全抽取系统，该系统以同 一突发事件的多个新闻报道为处理对象并考虑到时间的重要性，从中获取支持煤矿 安全信息抽取的地名实体识别特征与时间识别特征；杨永贵等人【1 9 】基于隐马尔科夫 与规则相结合的方法实现了一个体育赛事信息抽取系统，通过实验结果表明取得了 很好的效果；另外，北京大学计算语言所对中文信息提取也作了比较早的和比较系 统的探讨，承担了两个有关中文信息提取项目的工作，即自然科学基金项目“中文 信息抽取技术研究 和i b m 北大创新研究院项目“中文信息抽取系统的设计与开 发 ，其目标是研究中文信息抽取中的一些基础性和关键性的问题，为开发实用的 信息抽取技术提供理论指导，并具体探讨信息抽取系统设计的各个环节。 近几年，参加中文信息抽取任务的队伍在不断扩大，在a c e 2 0 0 5 钡t j 评中，北京 大学、香港科技大学、哈尔滨工业大学和厦门大学参加了测评，在a c e 2 0 0 7 钡t j 评中， 中国科学院软件所、中国科学院自动化所、东北大学、复旦大学也纷纷加入，这表 明中文信息抽取的研究在国内得到了较高的重视和发展，虽然有些队伍的最终测评 没有完全完成，但已经有比较好的表现。 1 3 本文研究内容和组织结构 本论文全文分为六章，各章安排如下： 5 华北电力大学硕士学位论文 第一章引言，主要介绍了信息抽取技术兴起的原因，体育领域信息抽取系统研 究的意义以及国内外信息抽取技术发展动态，引出了本论文的主题体育领域信 息抽取系统的研究，它是本论文研究的主要内容。最后，对本论文的组织结构作了 简要说明。 第二章信息抽取技术及相关统计模型，主要介绍了信息抽取技术的相关理论知 识和统计模型，重点介绍了条件随机场相关理论知识，为后面的基于条件随机的命 名实体识别和实体关系抽取打好了基础。 第三章中文命名实体识别，本章对命名实体进行了定义，并分析了中文命名实 体识别的难点，针对中文命名实体识别的难点，提出了一种融合多知识的基于条件 随机场的中文命名实体识别方法。 第四章实体关系自动抽取。在命名实体识别的基础上对实体关系抽取进行了研 究，针对体育领域，提出了一种基于条件随机场的实体关系自动抽取方法。 第五章体育领域信息抽取系统的设计与实现。在命名实体识别和实体关系抽取 研究的基础上，设计并实现了一个体育领域信息抽取系统，该系统能从体育新闻文 本中抽取相关的赛事信息。 第六章为全文的结论。 6 2 1 预先 结构 图2 1 通用信息抽取系统结构图 这个通用的信息抽取系统结构是 c a r d i e 2 0 】提出的。该结构主要由五个步骤组 成：( 1 ) 符号化和标注。进行信息抽取时输入文档首先经过分段、分句后进行词性标 注。由于汉语不像西方语言两词之间有空格，所以对于中文文档而言，在文档完成 了分句后还要进行自动分词的处理，该步骤对于中文信息抽取系统的性能起着很关 键的作用，因为分词的好坏会极大影响最后的信息抽取系统的性能。( 2 ) 句法分析。 信息抽取系统将识别待处理文本中的名词短语、动词短语等各种语法结构，并选择 多步策略进行句法分析，来识别与抽取任务相关的各类命名实体。( 3 ) 抽取。系统利 用与特定领域相关的抽取模式来识别待处理文本中各个命名实体间的关系，根据特 定任务将需要抽取的信息抽取出来，并依次填入到输出模板的槽中。( 4 ) 指代合并。 它主要解决要抽取的文本中命名实体的指代重复问题。如果系统发现两个指代都指 7 华北电力人学硕+ 学位论文 向同一个命名实体，则将两个指代合并。让信息抽取系统识别文本中相同命名实体 的不同表达式，并将它们合并是一项比较艰巨的任务。这个问题解决的好坏直接影 响着信息抽取系统的性能。( 5 ) 模板生成。这一步主要完成推理和新模板生成的工作。 推理是根据信息抽取任务并结合特定领域专家知识来对待处理文本进行推断以得 出抽取信息。当要处理的文档中包含多个事件时，则需要生成多个模板分别对这些 事件进行信息抽取。 2 2 信息抽取的关键技术 按照信息抽取技术领域顶级国际会议m u c 的研讨成果，信息抽取的关键技术 主要包括：命名实体识别和实体关系抽取【2 1 1 。 2 2 1 命名实体识别 命名实体是文本中基本的信息元素，命名实体识别是信息抽取技术的首要任 务。实现从众多信息中表示并分离出相关的命名实体，这是正确理解文本的基础。 国际两大信息处理领域会议m u c ，a c e 都有命名实体识别评测活动。 命名实体识别在英语中已经取得了很好的研究成果【1 8 】，根据m u c 评测结果， 英文命名实体识别任务的f 值( 准确率和召回率的加权平均值，权值取1 ) 能达到9 0 以上。然而汉语的命名实体识别研究还处在不成熟的阶段。命名实体本身所具有的 发展性和构词方式的随意性，以及各词之间的共享性和制约性都对命名实体识别带 来了一定的困难，而相对于英语和其它西方语言中的命名实体识别，汉语命名实体 识别中又有一些特殊的难点：首先，不像英语和其它西方语言，汉语没有字母大写 信息，而这在命名实体识别中是一个很有用的特征；其次，汉语词之间没有边界， 所以在命名实体识别之前，首先得对文本进行分词，而汉语分词会经常产生错误， 这会直接影响命名实体识别的性能。在2 0 0 4 年举行的“八六三计划中文信息 处理与智能人机交互技术评测 的命名实体识别任务中，8 个参评系统的人名识别 f 值平均为7 5 5 ；地名识别f 值平均为7 6 6 ；组织机构名识别f 值平均为 4 5 6 2 。从而反映出中文命名实体识别仍是目前急需解决的问题。 命名实体识别的方法主要有基于规则的方法、基于统计的方法以及基于规则与 统计相结合的方法，基于规则的方法由于代价太高，并且容易出现规则无法覆盖或 规则冲突，很少被单独使用。目前，命名实体识别的主流技术为基于统计的方法， 以及统计与规则相结合的方法。 2 2 2 实体关系抽取 实体关系抽取是信息抽取、自然语言处理技术不可或缺的关键技术。在信息抽 取中，抽取实体的目的是要获得它们之间相应的关系，如果不考察或不能f 确考察 8 华北电力大学硕+ 学位论文 这些实体之间的关系，信息抽取技术的实用化将会遇到极大的障碍，为用户推送个 性化服务的目标也会变得艰难。实体关系抽取是指自动识别用自然语言表达的两个 实体之间的关联。 实体关系抽取和分类问题通常的解决方法一样，最初也采用基于知识库【2 2 】的方 法，但是，这种方法需要针对不同的领域由专家构造相关领域大规模的知识库，这 需要大量的劳动，抽取效果受到知识库规模和质量的制约，而且，系统移植需要耗 费大量人力物力重建知识库，可移植性差。为了克服知识库方法的缺点，人们采用 机器学习的方法来进行实体关系抽取，将关系抽取转化为分类问题，通过构造关系 候选，利用机器学习得到的分类器来标注这些候选属于哪一类预定义关系。目前主 流的实体关系抽取方法为基于机器学习的统计方法。 2 3 信息抽取系统构建方法 在信息抽取系统构建过程中，最重要的是抽取模式的获得【2 3 1 。根据抽取模式获 得的方式不一样，信息抽取构建方法主要有两种：基于规则的方法和基于统计的方 法。 基于规则的方法依靠人工编写抽取模式，使系统能处理特定领域的信息抽取问 题。这种方法要求编写抽取模式的专家对该领域有深入的了解。信息抽取规则主要 用于指明构成目标信息的上下文约束环境。只要在文本中找到满足规则所指约束条 件的信息，也就达到了信息抽取的目的，早期的信息抽取系统【2 4 】往往都是基于规则 建立的，这些规则都是人手工编写的，难以保证具有整体的系统性和逻辑性，并且 需要相当强的相关领域专家知识。基于规则的信息抽取系统优点是准确性高，但是 缺点也很明显，主要体现在移植性差，领域限制严格。 为了克服基于规则的信息抽取技术的特点，人们将目光转向了基于统计的方法 即基于机器学习的方法。目前常见的统计学模型主要有隐马尔可夫模型( h i d d e n m a r k o v m o d e l ，h m m ) 、最大熵模型( m a x i m u me n t r o p ym o d e l ，m e m ) 和条件随机场模 型( c o n d i t i o n a lr a n d o mf i e l d sm o d e l ，c r f s ) 。基于机器学习的方法是根据统计学原 理，首先构造一个模板以模拟信息抽取的过程，应用统计学方法从训练语料中得出 模板的参数；然后用训练好的模板对抽取语料进行信息抽取。这类方法是对训练数 据进行归纳和总结，然后将归纳和总结的结果运用于测试语料来完成信息抽取的方 法。基于统计的方法的优点是可移植性好、对领域知识要求不是很高，缺点是准确 性较低、抽取速度慢。 由于基于规则和基于统计的信息抽取方法优缺点突出且能互补，目前，越来越 多的研究人员将目光转向了基于规则与统计相结合的信息抽取方法【1 9 】，结合基于规 则方法和基于统计方法的优点，以取得最好信息抽取结果。 9 华北电力人学硕士学位论文 2 4 条件随机场模型 条件随机场【2 5 】又称为马尔科夫随机域，是由j o h nl a f f e r t y 等人2 0 0 1 年提出的 二种基于统计的序列标记识别模型，条件随机场集合了最大熵模型和隐马尔科夫模 型的特点 2 6 】，但它既没有h m m 的强独立性假设条件，所以可以容纳任意的上下文 信息，同时还克服了最大熵马尔科夫模型( m a x i m u me n t r o p y m a r k o vm o d e l ， m e m m ) 的长度偏置和标记偏置的缺点。因此，条件随机场被广泛应用于自然语言 处理的研究领域。如中文分词【2 7 1 ，中文命名实体识n t 2 s 】，h t m l 信息抽取 2 9 】等任 务。 在本节中，首先介绍序列标记问题，然后介绍一些与c r f s 相关解决序列标记 问题的统计模型即h m m 和m e m m ，这两种统计模型对c r f s 模型的产生有重要意 义，最后重点介绍c r f s 的图结构、势函数、参数估计的方法以及模型训练的方法。 2 4 1 序列标记问题 序列标记是指对某一观察序列糊，屁五为其标出隐藏变量序列 y - n ，y 2 ，l 的技术总称，图2 2 为序列标记的一般形式。 围囤口田 田园口囡 图2 2 序列标记问题 在自然语言处理领域中，局对应单词或单个字符，x n 对应一个单词串的序列， 使用序列标记的自然语言任务很多，例如在命名实体识别任务中，我们定义了一些 类别标志：b p e r ( 人名的首词) 、i - p e r ( 人名的中间词) 、b l o c ( 地名的首词) 、 i - l o c ( 地名的中间词) 、b o r g ( 组织名的首词) 、i - o r g ( 组织名的的中间词) 、o ( 其 它词) 。 使用统计的方法解决序列标记任务是一种比较常见的方法。目前有多种思路不 同的统计模型可以用来解决序列标记任务，常见的有h m m ，m e m m 以及线性链 c r f ，这些模型虽然在细节上不同，但其一般过程都为：首先建立统计语言模型p 例习 即在已知x 的条件下，标记为标签】，的概率，然后利用该模型解决序列标记任务， 对于观测序列z 计算z = a r g m a x 只yix ) ，从而求得最优的标签序列y 1 0 华北电力人学硕士学位论文 2 4 2 隐马尔科夫模型 隐马尔科夫模型【3 0 】是一种产生式模型，它具有算法成熟、效率高、效果好、易 于训练的优点，从而被广泛地应用于许多自然语言处理任务中，其中包括词性标注 【3 1 1 ，命名实体识别【1 1 1 ，信息抽取1 9 1 等。 h m m 含有两个随机过程，一个可观察随机过程和一个潜在的随机过程，潜在 的随机过程是不可观测的，但是它能通过另一个产生可观察随机过程序列进行观 察。一个h m m 可以由以下几个元素构成【3 2 1 。 ( 1 ) 模型的状态。设状态集合为s = ( s l ，观，s ，时刻t 时所处的状态为q ，s 。 状态之间可以相互转移。 ( 2 ) 描述状态之间如何进行转移的状态转移矩阵么= 【口i j 。，其中： = p ( q ，+ l = j ，i q ，= j ，) ( 2 一1 ) ( 3 ) 模型的观察值。是观察值集合为泸加 u 2 ，u m ，当t 时刻的状态转移完成 的同时，模型都产生一个可观察输出0 ，u 。 ( 4 ) 描述产生输出的概率分布矩阵b = 慨) 。肘，其中 b o = 岛( j ) = 包( ”，) = y ( o ，= u ，lq ，= s ，) l f ，1 j m ( 2 2 ) ( 5 ) 模型的初始状态分布。设为万= 伽。，t ：，万) 其中 乃= p ( g l = 墨) l i n ( 2 3 ) 这样，一个h m m 可以由五元组( 罡彳，u ，b ，万) 完整描述。但实际上，a ，b 中包含 对s ，u 的说明。因此，通常用兄= 么，b ，万) 来记一组完备的隐马尔科夫模型参数。 在上述给定的模型框架下，为使隐马尔科夫模型能够用于解决实际问题，首先 需要解决三个基本问题，它们是： ( 1 ) 求值问题。给定隐马尔科夫模型参数旯= ，b ，万) 和观察向量序列 o = - o l ，0 2 , ，o r 如何计算产生该观察序列的概率p ( oi 旯) ，这是一个评估问题，即计 算给定的模型和观察序列的匹配程度，这个观点十分有用，可以用来在一系列候选 模型中选择一个最佳模型。 ( 2 ) 解码问题。给定隐马尔科夫模型参数名= a ，b ，万) 和观察向量序列 d = o l ，0 2 ，o r 如何获取在某种意义下最优的内部状态序列q = 幻 q 2 , g 移。 ( 3 ) 训练问题。如何选择模型的参数五，使得在该模型下产生观察序列d 的概率 p ( oi 五) 最大，即在给定一些观察序列作为样本的条件下优化模型参数，使得模型能 够最佳地描述这些观察序列，该问题是所有h m m 应用的基础，如果不能解决训练 问题，就根本无法得到h m m ，也就无所谓有求值问题和解码问题了。 l l 华北电力人学硕士学位论文 2 4 3 最大熵马尔科夫模型 最大熵马尔科夫模型是一种用于标记序列数据的条件概率模型，是对h m m 的 一种改进。它克服了生成属性所出现的问题以及h m m 的严格的独立的假设。m e m m 也已应用于一些标记任务和信息抽取任务中，其中包括词性标注、信息抽取【3 3 】等。 m e m m 是条件概率模型，它并不去解释观察序列如何生成，而是当给定观察序 列时，努力去预测标记序列。在m e m m 中，h m m 的转换函数和观察函数被单个函 数尸( zik ，五) 所代替，这个函数给出了在给定以前的状态k i 和当前的观察五的 条件