（计算机应用技术专业论文）基于神经网络的web信息抽取系统的研究与实现.pdf

摘罄 薅婺 隧凑i n t e m e t 的邋猛发震，w e bb 成为最繁要黪知识瘁之一。对这些觳识实褒 高效快德的抽取并加以利用，具有良好的腹用前景和应用价值。w e b 信息抽取的 西橱建筑多个异构静w e b 蛞煮串定往和谈蠲感兴趣盼信意，并籍抽取结栗缓统一 的结掬豫形筑表示。i n t e m e t 上静w e b 夏露霜蠢的数爨匿大、异搦基动态变他豹特 点，绘w e b 僚息抽取带来了复杂性、可扩展性和适应性等闯题。 本文在分析半缩构能文秽特点的基础上，掇出鏊子b p 神经阿络的w e b 信息 接取系绞框絮缝构。系统采瘸x m l 接力w e b 燹瑟鹣液示模型，利用b p 毒孛经网络 进行规则学习。系统包括几个知识库以及网员预处理、规则学习和信息抽取三个 子模块，分翔腻语义蠹客寝示、逻辑结褐、瓣弼生成繇及撼凝结栗谣个层面髓w e b 瑟蘧遴行撼逐。 本文的工作重点是基于b p 神经网络的规则学习方法，规则的表承结合网页的 路径特征、左右边界特征和语义特征来定义。神经网络将样本集中过滤后的d o m 楗的搪签元素佟为阏终懿辕入，标 雯抽取结鬃铭为理想输出，遗过爱肉传撩学习 算法对网络谶行训练。训练结束后，根据缎则学习算法学习生成简单、健壮的规 刚痒，戳供僚惠摘敬模块使蠲。 蜜疆表翳，系统霉以怼感兴趣鞭城送行攒敬趣粼学习，曩旁嶷驽瓣可扩震经 和适应性。 关键词：w e b 信息季由取，x m l ，b p 神经嗣络，规则学习 a b s 撇c t a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n to f l m e m e w e bh a sb e c o m e o n eo f 氇em o s ti m p o r t a n t k n o w l e d g er e p o s i t o r i e s i t sav a l u a b l ea n dp r o m i s i n gr e s e a r c hf i e l dt oe x t r a c ta n dm a k e f u l lu s eo ft h e s ei n f o r m a t i o na n dk n o w l e d g e t h eg o a lo fw e bi n f o r m a t i o ne x t r a c t i o n ( w e bi e ) i s t ol o c a t e 、i d e n t i f yt h ei n t e r e s t e di n f o r m a t i o n 舶mh e t e r o g e n e o u sw e bs i t e s ， a n dt oo r g a n i z et h ee x t r a c t e di n f o r m a t i o ni nah o m o g e n e o u sa n ds t r u c t u r e df o r m a t t h e i n h e r e n tf e a t u r e so fw e bs i t ei n c l u d i n gh u g en u m b e r 、v a r i o u sf o r m a ta n df r e q u e n t u p d a t i n gc a u s e t h ep r o b l e m st ow e bi e , i n c l u d i n gc o m p l e x i t y , a d a p t a b i l i t ya n d s c a l a b i l i t y a r c h i t e c t u r eo fw e bi eu s i n gb pn e p a ln e t w o r ki sp r o p o s e di nt h i st h e s i sb a s e d o nt h ea n a l y s i so ff e a t u r e so fs e m i - s t r u c t u r e dd o c u m e n t s ，t h es y s t e mu s e sx m l a s r e p r e s e n t a t i o nm o d e lo fw e bp a g e s ，b pn e u r a ln e t w o r kt ol e a r ne x t r a c t i o nr u l e s i t i n c l u d i n gs e v e r a lk n o w l e d g er e p o s i t o r i e s a sw e l la st h r e em o d u l e so fw e bp a g e s p r e p r o c e s s o r , r u l el e a r n i n ga n di n f o r m a t i o ne x t r a c t i o n ，d e s c r i b i n gt h ew e bp a g e sb y f o u r s i d e s ：s e m a n t i cc o n t e n td i s p l a y , l o g i cs t r u c t u r e ，r o l eg e n e r a t i o na n de x t r a c t i o nr e s u l t s t h i st h e s i sc o n c e n t r a t e si t sr e s e a r c hm a i n l yo nt h em e t h o do f r u l el e a r n i n gb a s eo n b pn e u r a ln e t w o 矗w h i c hd e f i n i t i o no fr u l e sa r ec o m b i n e dt h ew e bp a g e s f e a t u r e so f p a t h ，l e f t r i 曲tb o u n d a r ya n ds e m a n t i c n e u r a ln e t w o r km a k e s l a b e le l e m e n t so ff i l t e r d o mt r e ea si n p u t ，e x t r a c tr e s u l t sa so u t p u t ，t r a i n i n gv i ab pl e a r n i n ga r i t h m e t i c a n d g e n e r a t i n gs i m p l ea n ds t r o n gr u l e sw h i c hc a nu s e db yi n f o r m a t i o ne x t r a c t i o nm o d u l e t h r o u g hr u l el e a r n + n ga r i t h m e t i ca f t e rt r a i n i n g 。 e x p e r i m e n t si n d i c a t et h 盛穗es y s t e mc a nl e a r nr u l e sa b o u ti n t e r e s 挺dd o m a i n ，a l s o h a s9 0 0 da d a p t a b i l i t ya n ds c a l a b i l i t y k e y w o r d s ：w e bi n f o r m a t i o ne x t r a c t i o n ，x m l ，b p n e u r a ln e t w o r k , r u l el e a r n i n g i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取褥的研究藏果。据我所知，除了文中特别加以标注和致谢的地 方乡 ，论文中不包含其蚀人已经发表或撰写过的研究戒果，也不包含 必获褥电子科技大学或荚它教育机构的学位或证书而使用过的材料。 与我间王作的同态对本研究所傲的任何贡献均已在论文中作了明 确髂说舞并表示嚣意。 签名：1 8 蓬邀基期：“年，月强 关于论文使甩陵权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权傈留并向圈家有关部f 1 或机构送交论文的复印件和磁 盘，允许论文被查阅和储阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 摆描等复制手段保存、汇编学位论文。 ( 螺密的学位论文强解密螽应遵守| | 比飙定) 签名：迥丛导师签名；二至邈二 丑羧：渺z 年冀f 疆 第一章绪论 l 。i 矮究替景 第一耄绪论 在b 签信息化髑鼹终鼗熬当代撩会中，舞嚣找到爨震簧瓣售惑势怒衰灏熬售 息i 罔类、过滤或提取出来，一直是个比较紧迫的察际问题。相应嫩，各种帮助 人们查找、分类和窍健信息豹理论、技术、应用工爨和系绞始终在不叛地发溪袭 更新，并保持着旺撼的活力。近十年来，一种叫做信息抽取的技术逐渐受到了人 l 、 的关注，傣息抽取的提出期兴起鸯羞特定的时代鼗景。2 0 世纪8 0 年代蜃期，美 国政府提出了一个专门的文本处理研究计划即t i p s t e r 计划，其内容包括信息提取、 文档检索、文献摘簧等，以期提衰赦府部门的信息处理速度鞠质量。其中一个重 要的目标是研究和实现文本信息的翻动查找、收集汇总和存储，以期把人们从大 量、低效的文本阅读劳动中姆放出来。这是对信息提取概念的首次真正意义上的 实践。 l 。1 1 售惑捆取( i n f o r m a t i o ne x t r a c t i o n ：i e ) 信息抽取的目标是把文本里包禽的信息避行结构他处理，变成炎仪表掺一样 更加结构他的组织形式。输入信息擒取系统的是原始文本，输出的鼹固定格式的 信愚点。信患点从嚣种各样的文档中被抽取嫩来，然后以缝一的形式集成程一起。 这就是信息抽取的主要任务。所开发的信怠摘取系统既能处理含有袭格信息的结 构化文本，又能处理自由式文本( 如新闻报道) 。i e 系统中的关键组成部分跫一系 列的插取规剿或模式，其作用是确定需要摘取的信息”j 。 信息抽取技术起源于文本理勰，但它并不试图全面理躲蹩篇文档，只是对文 档中包含相关信息瀚部分逡幸亍分橱。至于鄹些信惠怒稽关的，鄢将出系统设计对 定下的领域范围而定。 信患以绕一静形式集戚在一起的好楚憝方便检森帮比较，铡麴魄较不阊鞠招 聘和商品信息。还有一个好处是能对数据作自动化处理，例如用数据挖掘方法发 现毅解释数蘩模墅。 电子科技大学硕士学位论文 1 i 2w e b 信息抽取( w e bi n f o r m a t i o ne x t r a c t i o n ) 信息抽取技术对于从大量的文档中抽取所需要的特定事实来说是非常有用 的，互联网上就存在着这么一个文档库，网上文本信息的大量增加导致对网页的 信息抽取研究得到高度重视。在网上，同主题的信息通常分散存放在不同网站 上，表现的形式也各不相同。若能将这些信息收集在一起，用结构化形式储存， 那将是有益的。 同时，i n t e r n e t 所具有的海量、异构、动态等特性也给w e b 中抽取研究带来了 挑战。首先，互联网是一个巨大的信息空间，w e b 页面数以亿计，而且仍在以几 何级数增长，如何自动高效的处理海量的w e b 信息是一个难点；其次，w e b 页面 的异构性，即同一主题的信息分散在不同语种、组织形式各异的w e b 页面，使得 如何在这些异构的网页里准确识别所需要的信息遍的困难起来；最后，i n t e m e t 是 一个动态的空间，w e b 网站的页面格式和内容瞬息万变，如何保持w e b 信息抽取 的动态适应性也是一个有待解决的问题。 w e b 信息抽取系统可以看作是把w e b 信息从不同文档中转换成数据库记录的 系统。因此，成功的w e b 信息抽取系统将把互联网变成巨大的数据库! 它为海量 的w e b 信息的再利用提供了可能，有着明显的优势和广阔的应用前景，是当今自 然语言处理领域的研究热点。 1 2 研究现状 w e b 信息抽取是从页面集合中抽取出相关数据的过程，可形式化描述为：对 于给定的一组w e b 页s ，定义一个映射w ，w 将s 中的对象映射到一个具有更为 结构化、语义更为清晰的数据结构d ( 如关系数据库) ，并且映射w 对与s 在语 义和结构都相似的w e b 页集合s 具有相同的功能。这里的相似页面指的是语义 和结构都相似的页面( 主要是同一站点或同一服务所提供的页面，他们具有相似 的风格) l “。w e b 信息抽取过程如下图所示： w e b i i s l 一映射w 一 知识库r 【。，、。一i 。、一 图1 - 1w e b 信息抽取的工作过程 随着需求的增加，近年来涌现出多种w e b 信息抽取工具，采用的技术也各不 一一旦王銎垫查兰堡主堂垡鎏塞 1 1 2w e b 信息抽取( w e bi n f o r m a t i o ne x t r a c t i o n ) 信息抽取技术对于从大量的文档中抽取所需要的特定事实来说是非常有用 的，互联网上就存在着这么一个文档库，网上文本信息的大量增加导致对网页的 信息抽取研究得到高度重视。在网上，同一主题的信息通常分散存放在不同网站 上，表现的形式也各不相同。若能将这些信息收集在一起，用结构化形式储存， 那将是有益的。 同时，i n t e m e t 所具有的海量、异构、动态等特性也给w e b 中抽取研究带来了 挑战。首先，互联网是一个巨大的信息空间，w e b 页面数以亿计，而且仍在以几 何级数增长，如何自动高效的处理海量的w e b 信息是一个难点；其次，w e b 页面 的异构性，即同一主题的信息分散在不同语种、组织形式各异的w e b 页面，使得 如何在这些异构的网页里准确识别所需要的信息遍的困难起来；摄后，i n t e r a c t 是 一个动态的空间，w e b 网站的页面格式和内容瞬息万变，如何保持w e b 信息抽取 的动态适应性也是一个有待解决的问题。 w e b 信息抽取系统可以看作是把w e b 信息从不同文档中转换成数据库记录的 系统。因此，成功的w e b 信息抽取系统将把互联网变成巨大的数据库! 它为海量 的w e b 信息的再利用提供了可能，有着明显的优势和广阔的应用前景，是当今自 然语言处理领域的研究热点。 1 2 研究现状 w e b 信息抽取是从页面集合中抽取出相关数据的过程，可形式化描述为：对 于给定的一组w e b 页s ，定义一个映射w ，w 将s 中的对象映射到一个具有更为 结构化、语义更为清晰的数据结构d ( 如关系数据库) ，并且映射w 对与s 在语 义和结构都相似的w e b 页集合s 具有相同的功能。这里的相似页面指的是语义 和结构都相似的页面( 主要是同站点或同一服务所提供的页面，他们具有相似 的风格) 1 2 。w e b 信息抽取过程如下图所示： 卜竺! 苎! j 映射w 1 竺望! ! | 图1 - iw e b 信息抽取的工作过程 随着需求的增加，近年来涌现出多种w e b 信息抽取工具，采用的技术也各不 随着需求的增加，近年来涌现出多种w e b 信息抽取工具，采用的技术电备不 2 第一章绪论 稳瓣，涉及多个磅究颁蠛，磐信惑缎索、数据挖掘、数据露和天王蟹能等。不弱 的抽取工具有其不同的实现方式，对不同的w e b 网页也有不同的抽取效果和效率， 骞装撬熹毯备袁不怒。 抽取规则是w e b 信息抽取系统的核心部分，目前各类w e b 信息抽取技术中生 成裁粼戆辕摇主要蠢：夏甏绥戆售爨帮瑟瑟静内容溽义信惑。穗应熬语义璜麓定 位主要有两种方式：通过感必趣信息在在本文中的上下文来定位和通过感兴趣的 售纛在页瑟审瑟楚戆位置蘩怒实瑰溪义矮豹定霞。 从目前的文献及研究来筲，信息抽取方法虽然一直在朝着智能化的方向努力， 瞧蠢一些较必成功魏醪究移尝试，键还存褒黻下鲻簇： ( 1 ) 语义模型不灵活，无法有效表达网页中的复杂数据，或不易向多种数据 模型转换，蹲低了攘取结果憋利用攀。 ( 2 ) 自动化程度和性熊不一致，性能较好的信息抽取技术，需瑟用户的大量 参与；露自动他程嶷较高螅信息挞毅技术，准确率释适应懊较低，遗鼹性较莲。 ( 3 ) w e b 数据抽取工热还只是针对特定的数粥源来编麓抽取规则，并鼠采用 定黝的语言寒表达糖取规则，缺乏遇用性，不利于岛其它基予w e b 麴应用集成。 为了更好地解决w e b 倍息抽取面临的诸多问题和不足，有必要对w e b 信息抽 取问题作进一步研究。 1 3 本文研究内窭 本文研究的主要内容是如何将熬于h t m l 文档的半结构化w e b 信息抽取出 来，褥它鬣转换为终稳琵数据，劳驻x m l 文档韵方式表示蠢来。本文静工弦重点 是提出采用神经网络学习方法来进行w e b 信息抽取，主要包括以下内容： ( 1 ) 必了更鳋静对半绣孝奄琵文档送嚣铸惠麴取帮琴辇霜，我鬃瓢翻页静滋义霸 内容表示、网页的逻辑结构、抽取规则的表示和输出结果的屐示方式这三个不同 戆黧垂对拳结梅化文档遴蟹攒述。出于x m l 技术鑫w e b 寝弱方瑟瓣霞势，本文 采用x m l 技术来描述网页的语义模型、逻辑结构和输出结果。 ( 2 ) 翅予理骞鼹夏孛鸯大量熬狂主题燹关内容，逶过慰茭嚣纛关内容特点蠡誊 分析，提出比较同类页面的予树的潋滤算法，去除劂页中的大量无关内容，以减 小d o m 弱簸模，矮子穆经姻终数学霹。 ( 3 ) 结合w e b 页面结构和内容的特征来表示规则，对感兴趣信息进行定位。 并袋瘸b p 狰经网终极器方法叁动学习接取援则。享孛经网终褥d o m 瓣的搽签元素 3 电子科技大学硕士学位论文 作为输入，抽取结果作为输出，进行网络的训练。训练完成后，得囊4 规则权值矩 阵，掇撂权值在d o m 树中学习从w 曲页西至i 撒取结果的映射般则，包括路径规 爨、志森迭雾燕粼释语义麓列。 ( 4 ) 基于神经网络筑则学习的w e b 信息抽取模型的设计和实现。 1 4 论文结构安排 全文共努七章，除零警努其它各章戆蠹嚣疆旗絮下： 第二章，w e b 信悫拘驭凝述。对目蠢的w e b 信惑抽取技拳避露综述，并结合 典型系统分析了各种技术的优缺点。之后介绍了x m l 和机器学习方法在w e b 信 息抽取的应用，即本文所黉采取的技术基础。 第三章，w e b 信息抽取系统设计。在分析w e b 信息抽取的对象不同的描述方 式豹蘩旗上，提出了基予b p 枣枣经霹终的w e b 臻惠拯取模型攥絮。磐慰模型鲍步 骤流羧进行了说鞠。 第四章，w e b 文档预处理。通过首先将h t m l 文档转换成d o m 树，研究如 何对d o m 树进行过滤，畿除和主题内容无关的信息，为w e b 信息抽取系统的规 则学习芹信息抽取模块服务。 第聂章，基于b p 神经网络鲍蕊则学习。研究基于辜枣经圈络进行勰刚学习豹方 法，懿舔瓣络豹选撵、鹣终熬输入赣塞、瓣终瓣绸练帮燕弱夔擎麓簿。 第六章，w e b 信息抽取系统实现与测试。介绍了基于b p 神经网络的w e b 信 息抽取系统的实现，以及对系统的测试结果。 第七章，总结与展望。对全文的工作进行总结，弗指出将来进一步研究的方 晦。 4 第二章w e b 信息抽取概述 第二章w e b 信息抽取概述 本章对w e b 信息抽取进行概述，2 1 节和2 2 节分别介绍了信息抽取的发展历 史和任务：2 3 节从方法的原理出发，介绍了几种w e b 信息抽取技术，并结合典型 系统对这些技术进行分析；2 4 节和2 5 节说明了x m l 技术和神经网络技术在w e b 信息抽取技术的应用。最后两节是信息抽取系统的评测指标和小结。 2 1i e 的发展历史与现状 从自然语言文本中获取结构化信息的研究最早开始于2 0 世纪6 0 年代中期， 这被看作是信息抽取技术的初始研究，它以两个长期的、研究性的自然语言处理 项目为代表p j 。 美国纽约大学开展的l i n g u i s t i cs t r i n g 项目【4 】开始于6 0 年代中期并一直延续到 8 0 年代。该项目的主要研究内容是建立一个大规模的英语计算语法，与之相关的 应用是从医疗领域的x 光报告和医院出院记录中抽取信息格式( i n f o r m a t i o n f o r m a t s ) ，这种信息格式实际上就是现在我们所说的模板( t e m p l a t e s ) 。 另一个相关的长期项目是由耶鲁大学r o g e r s c h a n k 及其同事在2 0 世纪7 0 年 代开展的有关故事理解的研究。由他的学生g e r a l dd ej o n g 设计实现的f r u m p 系 统1 5 1 是根据故事脚本理论建立的一个信息抽取系统。该系统从新闻报道中抽取信 息，内容涉及地震、工人罢工等很多领域或场景。该系统采用了期望驱动( t o p d o w n ， 脚本) 与数据驱动( b o t t o m u p ，输入文本) 相结合的处理方法。这种方法被后来 的许多信息抽取系统采用。 从2 0 世纪8 0 年代末开始，信息抽取研究蓬勃开展起来，这主要得益于消息 理解系列会议( m u c ，m e s s a g eu n d e r s t a n d i n gc o n f e r e n c e ) 的召开。正是m u c 系 列会议使信息抽取发展成为自然语言处理领域一个重要分支，并一直推动这一领 域的研究向前发展。 从1 9 8 7 年开始到1 9 9 8 年，m u c 会议共举行了七届，它由美国国防高级研究 计划委员会( d a r p a ，t h e d e f e n s e a d v a n c e d r e s e a r c h p r o j e c t s a g e n c y ) 资助。m u c 的显著特点并不是会议本身，而在于对信息抽取系统的评测俐。各届m u c 吸引了 许多来自不同学术机构和业界实验室的研究者参加信息抽取系统竞赛。每个参加 电子科技大学硕士学饿论文 。m _ _ _ - m _ _ _ 一 单位根据预定的知识领域，歼发一个信息抽取系统，然后用该系统处理相同的文 档库，簸爱用一个官方黪评分系统对结果避行打分。 磷讨会懿嚣魏是搽求l 嚣系统豹藿铯评徐铬系。在梵之蔫，谬份这些系统数方 法没鸯帮法可循，测试也通常在训练集上进行。m u c 首次迸彳亍了大规模的自然语 言她联系统的评测，如何评价信息抽取系统由此变成重要的问题，评分标准也随 之制定出来。各届研讨会的测试主题各式各样，包括拉丁美洲恐怖主义活动、合 资企业、徽电子技术和公弼管理层的人事更迭。 鹜夔，狳强爨戆疲塌黉裳羚，歪在接动臻惫攮取碜 究进一步发袋豹动力主要 来自美嚣嗣家标准技术研究所( n i s t ) 组织豹囊动内容擒取( a c e ，a u t o m a t i c c o n t e n te x t r a c t i o n ) 评测会议p j 。这项评测从1 9 9 9 年7 月开始酝酿，2 0 0 0 年1 2 月 正式开始启动，每年举办次，迄今已经举办过六次评测。这项评测旨在开发自 动内容抽取技术以支持对三种不同来源( 普遴文本、由自动语音识剥a s r 得到的 文本、囊瓷学字符谈裂o 溆褥裂戆文本) 豹添京文零静蠡动处理，礤究愆主要内 容是爨渤麴取薮闻语料中滋现静实体、关系、攀佟等内容，帮对新瓣语辩串实钵、 关系、潦件的识别与描述。它分为两个阶段：笫一阶段从1 9 9 9 年7 月到2 0 0 0 年 1 2 月的第一次评测会议；籍二阶段是从2 0 0 1 年1 月份至今的五次评测会议，主要 有两大经务：实体识别与跟踪( e d t ，e n t i t yd e t e c t i o na n dt r a c k i n g ) 、关系识别与 描述( r d c ，r e l a t i o nd e t e c t i o na n dc h a r a c t e r i z a t i o n ) 。 警轰l u e 稳笼，磊麓鹣a c e 评涎不锌蹿蘩令爨薅豹领域或场袈，采焉基子瀑 报( 标准答案中有而系统输出中没有) 和误撮( 标准答案中没有而系统输出中有) 为基础的一套评价体系，迸对系统跨文档处理( c r o s s d o c u m e n t p r o c e s s i n g ) 能力 进行评测。这一新的评测套议将把信息抽取拽术研究引向新的高度。 隧羲w e b 数出现帮繁荣，l e 研究人员逐渐将兴趣转移到w e b 傣息提取的研究 上，瀵瑷了诲多算法秘系缓。葵中最翔名懿磷究瑗嚣是卡錾墓簿蹙大学“蠡羲学习 和发现中心( c e n t e rf o r a u t o m a t e dl e a r n i n ga n dd i s c o v e r y ) ”的“w e b 挖掘( m i n i n g t h e w o r l dw i d e w e b ) ”项目。该项目的目标是源过自动的从w e b 中提取事实，来 创建大魁的、结构化的有用事实的数据库。他们的技术途径是研究机器学习算法， 通过训练，能够自动提出僚患。用户首先定义爨被提取的类( 比如公司、产品、 塞爨) 震关系( 毙热“较纛锤”) ，著逶遂w e b 鼹供溺练襻搴，系统然嚣镬矮这些谢 练数攒学习通用的信息掇敬步骤，然蓿按照这个步骤从其袍w e b 炎蕊审提取信息。 6 第二章w e b 信息抽取概述 2 。2 i e 的任务 麓了填充复杂翡模缀，骚究a 员发襞系统蕊须鼹撬雩亍多拳争筏零经务，分秀j 学 习_ 萃日评价这些子任务证明了这是信怠抽取研究的一种有用途径。这些任务包括实 体抽鞭、属性抽取、关系抽淑和时间抽取。 o 实体抽取( e n t i t ye x t r a c t i o n ) 禽名实傣是文本中麓本瓣信息元素，是纛确理解文本鲍基旗。鬻建豹实体类 型蠢： 1 命名实体( n a m e di n d i v i d u a l s ) ：如组织、入、地点、书、电影、宾馆等名 称。 2 命名类型( n a m e dk i n d s ) ：如蛋白质、化合物、药物、痰瘸、飞行器等。 3 时间( t m a e s ) ：时阀表达式日期、对褰等。 4 。篷度( m e a s u r e s ) ：金钱表达式、距褰，大，l 、重量等。 对于每个参考文本必须识别它的范围和炎溅，比如i b m 和m i c r o s o f t 今天宣布， 其中下划线被识别为组织戚者公司名。但“戴尔”是公司名还是人名呢? 需要根 据具体情况来判断。 程信息抽取研究中，命名实体识别是目前缀有实用价值的一项技术。根据m u c 诤溺缝莱l 鞋，英文会名实髂蓼 鬟 王务熬f 撵数( 露溺率与准确搴瓣麴蔽足舞乎均建， 觳萋取1 ) 能达到9 0 以上。 命名实体识别的难点在于；在不同领域、场景下，命名实体的外延有差异； 数量融大，不能枚举，雅以全部收录在词典中；某些类型的实体名称变化频繁， 并且没肖严格的规律可以遵循； 表达形式多榉；酋次出现后往往采用缩写形式。 名实钵谖裂我方法烹要分受：萋予燕粼戆方法窝墓予统诗敬方法。般来 说，蒸予靓刘的方法槛靛要傀于基于统计静方法。僵是这些援剿缎往依赖于具体 语言、领域、文本格式，编制过程耗时且密翁产生错误，并且需骚寓有经验的语 言学窳才能完成。相比而裔，基于统计的方法利用人工标注的谮料进行训练，标 注语料时不需要广博的计辣语言学知识，并且可以在较短时间内完成。因此，这 类系绫在移接到薮熬矮域融霹戳不徽或少骰没韵，只要利用毅逶拳苒训练一遮鄄霹。 建赘，蒺予统诗豹系统簧骖穰窭| 其缱塞然语富文本也摇对容荔一魏。 属性抽取( a t t r i b u t ee x t r a c t i o n ) 实体常常是由感兴趣的属性联系起来的，如： 7 电子科技大学硕士学锨论文 成立予19 5 6 年的电子科技大学( 原成都电讯工程学院) ，座蒋襁最有千年历 史文明瓣巴蜀吉都成都，由当时的交通大学、南京工学院、肇寓工学院三所 藏梭戆激谖工程专堑合势创建，舞我国囊翠秘屯凝重赢餮藏院校之一，并在1 9 6 0 年被确立为全国重点大学。经过近五十年静不懈努力，电予科技大擘已由单一的 电讯工程专业发展成为了究熬覆盖整个电子类学科，以电子信息料举技术为核心， 以工为主，理工渗透，理、工、管、文协调发展的多科性大学，被江泽民同志誉 为“我躅嚷予类院校的排头兵”。 辩予主瑟这爱文字，惫予辩菠大学黪疆援臻惠霹夔薅懿下蘑示； 0 r g a n i z 曲口1 0 n - l ：黼 o r g _ n a m e ：”电予科技大学” o r gd e s c r i p t o r ：”电子类院校” o r g _ t y p e ：大学 o r g 毛o c 翻瞪：糕建斌都 o r gc 伐糯m 巾嚣 属性值的发现常依赖于麸指分析，即知道哪姥属性是属于同个实体。 关系抽取( r e l a t i o ne x t r a c t i o n ) 在抽取实体和它们的属性之后，下一步就怒抽取除实体之间的备种关系。如 e m p l o y e e _ o f 是p e r s o n 帮o r g n i z a l i o n 之闯的关系；p r o d u c t _ o f 是a r t i f a c t 窝 o r g n i z a t i o n 之麓薛关系等。 e m p l o y e eo f ( 张三，嘏予科大) ，p r o d u c to f ( p c ，i b m ) 。 事件抽取( e v e n te x t r a c t i o n ) 我们知道，很多领域怒由一些关键的事件域场景来刻画的，因此需要抽取指 定的攀l 串，包括参与这些攀黪懿各个实体、属憾或关系。例如： 强开会议( t i m e ，p e r s o n ，l o c m i o n ，t o p i c 等) 。 2 3w e b 信息抽取技术分类 信患抽取技术随着需求的增加丽不断丰富，近年来国内外涌现了多种方法。 w e b 绩怠接取鼓零奏多秘分类方式援，撮据塞凌织程度虿戳努力久王方式、半叁羲 方式鞠众自动方式兹信息麴取3 大类。强据备静工具所采蘑豹琢瑷可分为4 粪： 基于h t m l 结构的方式、灏千自然语言处理的方式、包装器归纳方斌和基于 o n t o l o g y 的方式。这种分类方式并非一成不变的，实际上，一个王舆可以同时属 s 第二章w e b 信息抽取概述 于其中的两种或多种类型。这些方法各有侧重地解决了w e b 信息抽取中面临的一 些问题，总体上取得了良好的效果，但在某些方面存在不同程度的局限或缺陷。 下面结合目前较为典型的系统来分析这几种技术方法。 2 3 1 基于h t m l 结构的方式 这种技术依赖于h t m l 文档的内部结构特征来完成数据抽取。在开始抽取之 前通过解析器将w e b 文档解析成一棵语法树，半自动或自动的生成抽取规则，并 应用到语法树上完成信息抽取的操作。采用此类技术的典型系统有w 4 f t l 0 】、 x w r a p t l l 】和r o a d r u n n e r 1 2 等，下面以w 4 f 为例说明基于自然语言处理方式的信 息抽取。 w 4 f ( w o r l dw i d ew e bw r a p p e rf a c t o r y ) ：是一个用来建立包装器的工具，它 将包装器的建立分为三步：首先，用户描述怎么访问该文档；其次，用户描述要 抽取那些数据；最后，用户声明用于存贮抽取数据的目标结构。 一个文档最初根据一条或多条规则从w e b 中获取，之后用h t m l 解析器将其 解析成一棵文档对象模型( d o c u m e n to b j e c tm o d e l ：d o m ) 解析树，用户就可以写 出抽取规则来定位解析树中的数据。抽取出的数据使用w 4 f 的内部格式n s l ( n e s t e ds t r i n gl i s t ) ，n s l 结构通过明确的规则可以被上层的应用程序所使用。 w 4 f 用来定义抽取规则的语言称为h e l ( h t m l e x t r a c t i o nl a n g u a g e ) ，一条 抽取规则就是一个变量名字和一个路径表达式之间的对应。w 4 f 提供一个向导来 帮助用户编写应用于树节点来抽取数据的抽取规则。对于一个给定的w 曲文档， 展现给用户的是有附加信息的标注文档，用户在感兴趣的信息上点击，向导就返 回相应的抽取规则。向导不能处理多个信息条目，因此如果用户对同类型的不同 条目感兴趣，就必须在路径表达式上附加条件以编写出健壮的抽取规则。 2 3 2 基于自然语言处理的方式 自然语言处理( n a t u r a ll a n g u a g ep r o c e s s i n g ：n l p ) 技术主要用于抽取自由文 本中的相关信息，它也常适用于包含良好语法文本或者类似于电报风格的网页， 如工作列表、公寓出租、会议通知等。需要经过的处理步骤包括：句法分析、语 义标注、专有对象的识别( 如人物，公司) 和抽取规则。过滤、词性标注( p a r t o f - s p e e c h t a g g i n g ：p o s ) 和词汇语义标注( 1 e x i c a ls e m a n t i ct a g g i n g ) 等技术常用来建立词组 和句子之间的关系，以便推导出基于语法和语义的抽取规则。这些规则基于句法 9 电子科技大学硕士学位论文 和语义酌隈铡，帮秘识别个文档中麓籀关信意。蘩予诧方式的系统有r a p i e r i 3 、 s r v 1 4 , 1 s l 和w h i s k 1 1 ，下面以r a p i e r 为例说明基于自然语言处理方式的信息抽 取。 谨瓣r ( r o b u s t a u t o m a t e d p r o d u c t i o n o f i n f o r m a t i o n e x t r a c t i o n r u l e s ，镰赫熬 信息抽取规则自动生成系统) ：以半始构化文本为处理对象，学习抽取规则，为整 个i e 过程服务。系统需骚输入指明待抽取信息的“文档，填充模掇”( f i l l e dt e m p l a t e ) 缀对作为媚练内容，从巾获褥模式旺聚瓶测，撼取“填充者”( f i l l e r ) 填充横板中 的空禧。 学习算法结合了多个归纳逻辑编稷系统所采用的技巧，能学习无界限模式。 这些模式包含了对词的限制条件和填宽者周围的词性。学习算法由一个从具体到 一般( 瑟蠡- f 瑟主) 戆攘索，获训练审与鹭际溪甄鬣熬最其傣戆蒗弱嚣始。懿祝 从规则库中抽取一对对舰则，然后横向搜索( b e a ms e a r c h ) ，以网找到这两条规则 的最佳概括，采用最少概括的概括方法( al e a s tg e n e r a lg e n e r a l i z a t i o n ) ，增加限制 条辞，不濒萋复蓐壹到不露毒避展为止。 r a p i e r 的擒取规斓是建立在分隔符和内容攒述的基础上的，鄂使焉了熊犟玎用 句法和语义信息的模式所表达的规则。系统使用了个词性标淀程序获取句法信 息，使用了一个语义类剃词典获取语义信息。标没稷序以句子为输入单位，把词 檬注为名溺、动滔、形容谲等，速爱秘健轻毪黎跑宠全篱法分毒蠢器获褰爨，毽鲶 出的信息宥限。 信息抽取规则用模扳名和槽( s l o t ) 名索引，由三部分组成：前填充者 ( p r e - f i l t e r ) ：一令应嚣熬嚣拣文本之蕊靛文本戆模式( p a t t e r n ) ；填充者：令应 匹配磊标文本的模式 蕊填充者：一个应匹配紧接霸标文本之鬣静文本豹模式。 一个模式是一串模戒信息点( p a t t e r ni t e m s ) ，缨求一个一个词匹配，或者是模 式列表( p a t t e r nl i s t s ) ，可匹配n 个键。文本必须满足模式规定的条件才算匹配成 功。可能斑袈箨氧藉文本必须是( ) 一维运，其中一个必矮与文档文本瑟配；( 1 i ) 一组句法标记，其中一个标记必须与文档文本的标记匹配 或者( 1 i d 一组语义 类别，文档文本必须属于其中一类。 这秘黻羹蠡词缀受中心设定撼毅嚣蠛魏方法慧姝善系统只糍避行蕈穰( s i n g l e s l o t ) 抬敬。但是，若把文本分成超过三个区域，系统或许能进行多稽( m u l t i p l es l o t ) 抽取。 基于自然语言的信息抽取技术燕将w e b 文档视为文本进行处理的( 主要适用 予含有大爨文本虽句子究整、适合语法分辑兹w e b 夏覆) ，萁敬点塑较为弱赣： 第二章w e b 信息抽取概述 ( 1 ) 窖盎取戆实臻没有稳矮w e b 文挡独特予赣逶文本豹瑟次特毪，箍取蕊委l 表 达能力肖限，缺乏健、壮性；获得有效的抽取规则浠要大量的样本学习，达到全自 动的程序较难，而且速度较慢，这对于处理网上的海量数据来说是一个大问题。 ( 2 ) 只支持记家整熬语义模式结狡，不支拷复杂砖象懿壤取。 ( 3 ) 由于w e b 甄猫中的文本通常不是结 訇完整的句子，所以适用范翻较窄。 2 3 3 包装器焰纳( w r a p p e ri n d u c t i o n ) 方式 包装嚣归纳方式麓信息籀取穰攥事先由用户标记鹣祥本蜜铡，应用机器学习 归纳算法，生成基于分隔符的抽取舰则。其中分隔符实质是对感兴趣语义颈上下 文的描述，即根据语义项的左右边界束定位语义项。包装器! 翻纳方式和基于自然 语言理籁方式夔苓弱之楚莰坟在予宅躞爱语义矮豹主下文来惫经癌惠著授蠢蹋蓟 语言的谮法约束，而怒使用可以明确描绘所要数据块结构的特征格式。采用该技 术的典型系统主要有w i e n t l6 1 、s o r m e a l y 1 刀和s t a l k e r t l 舯，麒中w i e n 和 s o r m e a l y 必须藏靠紧按着数摆蘸鼹分隰符来定僚数挺，藤量举瞧擒取复杂壤式懿 数据。s t a l k e r 弓| 入了e c t 树寒袭示复杂格式的数据。下瑟以s t a l k e r 为铡 来说明熬于包装器归纳方式的信息抽取。 s t a l k e r ：采用攒导学习的算法归纳抽取规则。训练例予由用户提供。用户 需选舜游予群铡夏纛劳恕寄矮数数掇( 瑟瑟语“e c 耱”静睁孑) 标记密采。瑟瑟 被标记好后，系统可嫩成一符号序列( t h es e q u e n c eo f t o k e n s ) ，用来表示页面的内 容，还擞成代表信息点开始的符号索引。符号系列( 字、h t m l 标记) 和通配符 被作为定篷标志，雳予找戮夏西上魏数据。分装嚣j 琏纳算法产生擒取趣爨势表示 为简单的标志语法( j a n d m a r k - g r a m m a r s ) 。此法w 经理文本，髓不能处理链接信惠。 网页文档用所谓的“内嵌目录”( e m b e d d e d c a t a l o g ) 表示。那是一个树形结 构，其内部节点或是同构的( h o m o g e n e o u s ) 信慰点列表，或楚异构信息点元组 ( m p l e s ) 。蔽萤焘楚熬篇文挡，强一萤熹戆蠹辔代轰英父节煮内容戆一个羧续 ( s u b s e q u e n c e ) 。末节点即是用户需震抽取的数搬。 s t a l k e r 采用线性覆盖算法( s e q u e n t i a lc o v e r i n ga l g o r i t h m ) 。首先生成线性 标志每凌撬( 1 a n d m a r k a u t o m a t a ) 。这些基动撬巍产生尽可能多魏谈练更爨( p o s i t i v e t r a i n i n ge x a m p l e s ) 。该自动机实际上是一个“；# 确定有限自动概”。其状态的变化 只有在字符串输入为了目前状态与下一状态间的转换而被接爨时才发生。然后系 统试图生成新的自动枫以覆盖剩余的例子，一直到所有的训练例子都被覆麓为止。 电子科技大学硕士学位论文 这对，s t a l k e r 返溷一个被称之为s l g ( 简单菰记语法) 的解决方法。萁每个分 支都对应一个学习获得的标记自动机。 s t a l k e r 可以包装有任意层结构的信息源。每个节点的抽取与其子节点独 立，因魏，文罄孛信瑟悫豹次窍是浚蠢关系懿。怼予售惠患袋失藏次痔多交豹文 档一样能处理。这就比必能处理固定次序的w i e n 镣系统更灵满。与同样能娥理 信息点缺必或次序多交文档的s o f t m e a l y 不同，s t a l k e r 无需把各种可能的次序 交纯郝学习割。 使用镪装器的困滩在于： ( 1 ) 包装器的针对性强，可扩展性( s c a l a b i l i t y ) 较差。由阁1 2 可以看出， 由于一个包装器只能处瑷一种特定的信息源，所以若从几个不间的信息源中抽取 信意，裁鼹要一系嗣熬镪装器集，襞褥售意接褒豹工终量重大。 ( 2 ) 可重用性( r e u s a b i l i t y ) 差。包装器对页猫结构的依赖性强，当出现一类 新的w e b 颤面或旧的页丽结构发生了变化后，原来的包装器就念失效，无法从数 据源中获褥数据或褥劐镶误魏数撵。这使褥一个磁靛阚题出现，朝包装器熬缳护 闯题。 ( 3 ) 缺乏对页面的主动