（模式识别与智能系统专业论文）基于xpath的网页信息抽取.pdf

摘要 摘要 随着互联网的发展，带来了信息过载的问题。同时多种新兴媒体的出现，以 及网络信息丰富、及时的特点，也需要将网络信息作为其他媒体的内容来使用。 互联网上的文档都是基于h t m l ，并非结构化的文档。为了便于操作和使用，需 要将h t m e 中的信息抽取出来存入数据库中。信息抽取技术使得用户能够准确、 高效的获取有用的信息。 从网页中抽取信息的程序称为w r a p p e r 。虽然已经存在了大量的研究方法， 但基本上都存在着一定的不足。很多的系统在减少人为参与的情况下，准确率也 有所下降。很多时候在特殊的情况下往往能获得很好的结果，但对于整个互联网 而言结果却并不如意。 本文提出了两种基于x p a t h 技术的网页信息抽取方法。基于x p a t h 的网页正 文信息抽取方法，通过页面的比较，从而确定网页的生成结构，完成信息抽取。 该方法通过对于页面节点的类别分析，很好的描述了网页的结构，从而更好地区 分了正文信息部分。基于路径学习的方法，更多的致力于解决结构易变的情况， 从内容反向确定抽取规则，从而实现信息抽取。该方法能够更好的理解用户的抽 取目的。 针对于页面结构一致的站点，两种方法都表现出了很好的通用性。两种方法 在实际中都具有很高的准确率和覆盖率，取得了很好的抽取效果。 关键词：信息抽取，x p a t h ，互联网 a b s t r a c t a b s t r a c t w i t ht h ed e v e l o p m e n to ft h ei n t e m e t ，i th a sb r o u g h tt h ep r o b l e mo fi n f o r m a t i o n o v e r l o a da tt h es a m et i m e ，w i t ht h ee m e r g e n c eo fn e wm e d i aa n dt h et i m e l yf e a t u r e s o ft h en e t w o r ki n f o r m a t i v e i ta l s on e e dt ou s eo ft h en e t w o r ki n f o r m a t i o na so t h e r m e d i a sc o n t e n t i n t e m e tf i l e sa r eb a s e do nh t m lw h i c ha r en o ts t r u c t e df i l e s f o r e a s eo fo p e r a t i o na n du s e ，t h ei n f o r m a t i o nn e e d st ob ee x t r a c t e dt ot h ed a t a b a s e i n f o r m a t i o nt e c h n o l o g ya l l o w su s e r st oc o l l e c ta c c u r a t e ，a n de f f i c i e n ta c c e s st ou s e f u l i n f o r m a t i o n ， t h ep r o g r a mw h i c hp e r f o r m i n gt h ee x t r a c t i n gt a s kf r o mt h ew e b s i t ei sc a l l e d w r a p p e r a l t h o u 曲t h e r eh a sb e e nl o t so fr e s e a r c hm e t h o d s ，b u tt h e ya r ea l lh a v ea s h o r t a g e m a n ym e t h o d si nt h es y s t e mt or e d u c et h eh u m a ni n t e r v e n t i o n ，b u ta tt h e s a m et i m e ，t h ea c c u r a c yr a t ea l s od e c l i n e d m a n ym e t h o d sh a dg o o dr e s u l t su n d e r s o m es p e c i a lc o n d i t i o n ，b u tf o rt h ee n t i r ei n t e m e t ，t h er e s u l t sa r em o r em o d e s t i nt h i sp a p e r , w eh a v ei n t r o d u c e dt w ox p a t h - b a s e dm e t h o d sf o ri n f o r m a t i o n e x t r a c t i o n u s i n gc o m p a r i n gs o m ew e b p a g e s ，t h em e t h o db a s e d o nx p a t hc a r l d e t e r m i n et h es t r u c t u r eo ft h ew e b s i t ea n de x t r a c tt h ei n f o r m a t i o n b e e a u s eo ft h e a n a l y s eo ft h en o d et y p eu s i n gi nt h em e t h o d ，i tc a l ld e s c r i p et h es t r u c t u r eo ft h e w e b s i t ea n dm a i n t e x to ft h ep a g e sv e r yw e l l t h em e t h o db a s e do nt h el e a r n i n go f t h ex p a t hi su s e dt os o l v et h es t r u c t u r em o r ev o l a t i l es i t u a t i o n u s i n gt h ec o n t e n to f t h ew e b p a g e s i tc a l li n d u c et h ex p a t hw h i c hi su s e dt oe x t r a c t i o ni n f o r m a t i o n t h e m e t h o dc a nu n d e r s t a n dt h eu s e r sa i mv e r yw e l l f o rt h ew e b p a g e sw i t ht h es a m es t r u c t u r e ，b o t ho ft h e mh a v eag o o da c t i o n b o t h o f t h em e t h o d sh a v eag o o de f f e c ti nt h ep r e c i s i o na n dt h er e c a l l k e y w o r d s ：i n f o r m a t i o ne x t r a c t i o n ，x p a t h ，w w w 1 概述 1 。1 引言 1 概述 互联网的诞生，给我们的生活带来了很大的方便，通过网络我们能够获得从 技术资料、家居生活、商业信息到新闻报道的多种类、多形式的信息，通过网络 我们也能够很方便的发布我们的信息。但随着互联网规模的不断增加，网络信息 也呈现出指数级的递增，用户通过网络获取自己感兴趣的信息也变得越来越困 难，也就是所谓的“信息过载”。一方面是有用的信息很难被找到，一方面是无 法找到有用的信息，搜索引擎的出现在这之间架起了桥梁，极大的缓解了信息搜 索的问题。搜索引擎本身会对网络进行遍历，用户通过一定的信息就能找到自己 感兴趣的内容。但搜索引擎本身仅仅是一种被动的服务，仍然存在一定的不足， 主要表现在： 1 数据信息的指数增加，信息的可用信和可靠性也会不断下降 2 搜索引擎通过用户给定的关键字进行搜索处理，不能很好的理解用户的 搜索目的，也就不能获得精确的结果 3 搜索引擎提供的是信息对应的链接，信息本身还不能被直接使用而且 由于信息的动态性，有用信息可能会丢失 在我们的数据库应用中，我们能够通过s q l 这样强大的查询语言，精确定 制我们的查询需求，从而方便的获取我们需要的信息。同样的，对于网络信息 如果我们也能像操作数据库一样简单方便，那么我们获取的信息也将更加准确可 靠。 然而互联网上的信息多数是以h t m l 格式形式存在，这样的格式没有严格 语法限制、没有清晰的语义，只能做很好的显示数据而不能很好的描述数据，所 以很难像操作数据库那样进行方便的操作。 网络信息抽取的出现，正是顺应了网络发展以及人们对于信息需求要求的不 断提高。通过网络信息抽取，我们能够将感兴趣的信息存入数据库中，从而能够 提供更强大的查询；通过网络信息抽取，我们能够将有用的信息进行分析处理， 从而再次发布：通过网络信息抽取，我们能够将多个网站的信息集成，从而进行 比较分析。 随着新兴媒体的不断涌现，通过网络信息的抽取，从而将网络上有用的信息 作为其他媒体介质的信息，也将极大的丰富媒体的内容，提高服务质量。 概述 1 2 信息抽取概述 信息抽取( i n f o r m a t i o ne x t r a c t i o n ：i e ) 技术是以未知的自然语言文档作为 输入，对文档中包含的信息进行抽取，并以结构化的形式描述信息，提供信息查 询、文本深层挖掘等应用。信息从各种各样的文档中被抽取出来，然后以统一的 形式集成在一起，这就是信息抽取的主要任务。 信息以统一的形式集成在一起为我们提供了极大的方便。一方面，便于我们 进行比较分析，比如通过集成不同的商品信息网，我们能够了解相同商品的不同 价格，通过集成不同的招聘站点，我们能够获得更多的招聘信息。另一方面是能 够做到对数据进行自动化的处理。比如通过收集当年各个计算机方面的会议论文 摘要，从而用数据挖掘方法发现当前的计算机研究热点等。 总的来讲，信息抽取应用可分为以下几类： 1 摘要和总结：将原先较长的文本，用较短的文本进行表达： 2 可视化：以可视的方式表达原文中的概念及其关系； 3 搜索：寻找某一处理层面上或语义上相似的信息； 4 索引和分类：根据语义表示进行分类，建立索引： 5 翻译：由于翻译具有语境针对性，一般要进行语义上的信息抽取； 6 问答：一般用于人机交互中： 7 知识抽取：在信息抽取的基础上进行知识的抽取： 8 知识推理：应用机器学习方法在信息抽取结果上进行知识推理： 9 任务定义：机器人等通过自然语言界面接受命令： l o 构建知识库：信息放入知识库，实现跨应用和时间的信息共享。 近十多年来，信息抽取在许多应用领域得以成功应用。如，在经济领域中， 从经济新闻中抽取公司的人事更替信息等：在医药领域中，从医疗记录中抽取病 人的症状、处方等信息：在军事领域中，从军用电文中抽取目标的相关信息，实 现军用情报的自动收集等。另外，信息抽取还可实现从扫描的图书信息中自动构 建索引信息，这对构造数字化图书馆有相当重要的意义。 信息抽取技术并不试图全面理解整篇文档，只是对文档中包含相关信息的部 分进行分析和处理，至于哪些信息是相关的，则在系统设计时根据领域知识设定。 信息抽取处理的文本可分为三种：自由式文本、半结构化文本和结构化文本。 信息抽取最初的目的是开发实用系统，从自由文本中析取有限的主要信息，处理 自由文本的i e 系统通常使用自然语言处理技巧，其抽取规则主要建立在词或词 之间句法关系的基础上。结构化文本是一种数据库里的文本信息，或者是根据事 先规定的严格格式生成的文本，具有较强的结构性，信息抽取的对象一般为某些 字段所对应的内容。半结构化文本是一种介于自由文本和结构化文本之间的数 据，通常信息缺少语法，有一定的格式，但没有严格的格式限制，如房屋租赁广 告的w e b 页面等。一般可认为半结构化文本和结构文本主要通过互联网产生， 其抽取技术也有很多的相似之处。 1 概述 在互联网上，同一主题的信息通常分散存放在不同网站上，表现的形式也各 不相同。信息抽取系统可以看作是把信息从不同文档中转换成数据库记录的系 统因此，成功的信息抽取系统将把互联网变成巨大的数据库。 1 3x m l 技术 传统的h t m l ，作为一种简单的表示性语言，它只能显示内容而无法表达数 据内容。而这一点恰恰是电子商务、智能搜索引擎所必须的。另外，h t m l 语言 不能描述矢量图形、数学公式、化学符号等特殊对象，在数据显示方面的描述能 力还是不尽人意。最重要的是，h t m l 只是s g m l ( s t a n d a r dg e n e r a l i z e dm a r k u p l a n g u a g e ，标准通用标记语言) 的一个实例化的子集，可扩展性差，用户根本不 能自定义有意义的标电供他人使用。这一切都成为w e b 技术进一步发展的障碍。 x m l ( e x t e n s i b l em a r k u pl a n g u a g e 可扩展标记语言) 是由w 3 c ( 互联网联 合组织) 于1 9 9 8 年2 月发布的标准。同样是s g m l 的一个简化子集，它将s g m l 的丰富功能与h t m l 的易用性结合到w e b 的应用中，以一种开放的自我描述方 式定义了数据结构，在描述数据内容的同时能突出对结构的描述，从而体现出数 据之间标记的关系。这样所组织的数据对于应用程序和人类都是友好的、可操作 的。 如果互联网上所有的数据信息都以x m l 格式进行组织，那么对于我们的信 息搜索和信息抽取，都将是一件很简单的工作。但由于众多的原因，一方面大量 已有的h t m l 格式的信息不可能在短时间内转换到x m l 格式，另一方面在新的 信息发布时，也很难做到所有新的信息以x m l 格式发布。所以在短期内，我们 仍然不能很好的利用x m l 的特性。 将h t m l 看作x m l 的一个子集，通过利用x m l 相关标准和相关工具，从 而对于h t m l 进行操作是当前的一个热门研究方向。本文则基于x p a t h 技术对 于网页信息进行抽取处理。 1 4 本文的工作 现有的网页信息抽取方法存在容易受结构变化影响、不能很好的理解用户抽 取目的等缺点。为了克服这些缺点，本文提出了两种基于x p a t h 的网页信息抽取 方法： 一基于x p a t h 的网页正文信息抽取 _ 基于路径学习的网页信息抽取 基于x p a t h 的网页正文信息抽取方法，通过对于同一站点3 个结构相同的页 面进行学习，从而获得与之类似页面的抽取模板，利用该模板对其他页面进行信 息抽取。该方法采用x p a t h 作为抽取规则，按照定义的节点类型对样本文档进行 划分，从而确定出信息区域。与一般的采用x m l 技术的研究方法相比，该方法 具有简单、有效的特点。 i 概述 基于路径学习的网页信息抽取方法，通过对用户给定的信息进行学习，从而 确定出该信息在页面中的x p a t h ，利用该x p a t h 进行信息抽取。该方法设计上不 依赖于特定的应用领域，操作简便。 两种方法都取得了比较好的抽取效果。 1 5 本文的组织 本文的组织如下： 第一章概述。主要介绍本文的研究背景和本文的组织。 第二章介绍网页信息抽取技术相关研究。主要包括信息抽取技术的发展、不 同方法的优缺点等。 第三章介绍基于x p a t h 的网页正文信息抽取方法。这部分详细介绍了该方法 的思想，系统的框架，以及在真实处理中遇到的问题，最后给出了实验结果、分 析以及对于未来工作的展望。 第四章介绍基于路径学习的信息抽取方法。 第五章是论文的总结以及对未来工作的展望。 在附录中对于x m l 、x p 甜l 进行了介绍。 2 网页信息抽取相关研究 2 1 引言 2 网页信息抽取相关研究 信息抽取( i n f o r m a t i o ne x t r a c t i o n ：i e ) 技术是咀未知的自然语言文档作为 输入，对文档中包含的信息进行抽取，并以结构化的形式描述信息，提供信息查 询、文本深层挖掘等应用。信息从各种各样的文档中被抽取出来，然后以统一的 形式集成在起，这就是信息抽取的主要任务。近十年来，信息抽取逐步发展成 为自然语言处理领域的一个重要分支，正越来越体现出它在行业内的重要性及应 用性，在研究方面，则主要侧重于以下方面：利用机器学习技术增强系统可移植 能力、多语言处理能力、深层理解能力、w e b 信息抽取等。 传统的信息抽取技术主要针对纯文本，主要采用自然语言理解技术。互联网 的发展给我们带来了新的挑战，一方面网络上大量的网页，忽略其结构则可以采 用现有的信息抽取技术进行处理，另一方面由于网页自身的特点，这样的处理又 有其特殊性，网页的结构标签提供了一定的信息，这样的信息有助于开发不同于 传统信息抽取方法的网页信息抽取。为此，越来越多的研究人员兴趣转移到网络 信息的抽取研究上，新的算法和新的系统也在不断的涌现。 从网页中抽取信息的程序称为分装器( w r a p p e r ) 。w r a p p e r 可以通过手工方 法、半自动的方法、全自动的方法生成。 手工生成分装器通常需要编写专用的代码，要花很多时间去研究需要抽取的 站点结构、理解文档的结构并将其转换成程序代码。虽然这样的方法对于半结构 化的文档比较有效，但仍然还是比较烦琐而且容易出错。首先，这样的分装器需 要花大量的时间进行页面分析，需要高水平的专家才能实现；其次每个领域都要 有相应的分装器，维护成本很高：而且，对于网上信息源来说，由于网页数量庞 大，内容和结构繁杂，而且新的信息源不断增加，旧的信息还会改变因此，手 工生成分装器始终是一件很困难的事。 半自动化生成分装器 p r a + 0 5 的技术则需要一些分装器生成的支持工具。 一种方法是使用向导让用户告诉系统那些信息是需要抽取的。通过图形界面，用 户即可以通过演示编写程序，标示出需要抽取的区域。这意味着在分装器编码过 程中不需要专业知识，而且比手工编码少产生错误。但是，用这种方法也需要对 新的站点进行重新的学习，因为这种系统不能自己学习新的网站结构，也不能处 理结构变化的旧网站。 全自动分装器的生成利用机器学习的技巧，开发学习算法，设计出从非常简 单到相对复杂的分装器。系统必须通过学习阶段，从例子中归纳出规则，最后利 用这样的规则进行信息抽取处理。即使是全自动的方法，也需要人工专家的参与。 分装器归纳法是一种自动构造分装器的技术。主要思想是利用某种归纳式学习方 2 网页信息抽取相关研究 法生成抽取规则。用户给定一定的样本页面或者系统自动决策出样本页面，系统 根据这些样本页面归纳出规则，然后对于需要利用这些规则进行处理的页面进行 抽取处理。这些规则往往形式是不相同的，规则设计的好坏以及规则的精确度决 定了最终的抽取效果。 无论如何，对于网络而言，网站结构、网页本身的结构都可能变化或者失效， 因此如何快速、便捷的构建健壮的w r a p p e r 也是信息抽取系统需要注意的问题。 2 2 相关研究 网页信息抽取方法很多，从不同的角度有不同的分类。比如之前提到的手工 方法、半自动方法、全自动方法是根据构造w r a n ) e r 的自动化程度进行划分。根 据方法原理则可分为机器学习方法、o n t o l o g y 方法、自然语言理解方法等。许 多的系统往往采用多种方法，所以这里我们从几个角度对这些信息抽取系统进行 阐述，几个与本文方法类似的系统将会进行详细的介绍和分析。 2 2 1 基于o n t o i o g y 的方法 o n t o l o g y 最早是一个哲学上的概念，从哲学的范畴来说，o n t o l o g y 是客观存 在的一个系统的解释或说明，关心的是客观现实的抽象本质。在人工智能界，最 早给出o n t o l o g y 定义的是n e c h e s 等人，他们将o n t o l o g y 定义为“给出构成相关领 域词汇的基本术语和关系，以及利用这些术语和关系构成的规定这些词汇外延的 规则的定义”。人工智能等科学将o n t o l o g y 的概念从哲学领域中引入，并赋予了 新的含义，近年来广泛用于知识表示、知识集成、知识管理等领域。 基于o n t o l o g y 的信息抽取是一种把o n t o l o g y 和信息处理技术结合起来实现 信息抽取的技术，国内外都有很多的研究。 p i e s p h s 0 5 是一个基于h t m l 标签模式的信息抽取系统，其系统框图如下： 图2 ip i e s 系统框图 2 网页信息抽取相关研究 该系统主要有两个模块：r m e ( 规则匹配引擎) 和x d g ( x m l 文档生成器) 。r m e 部分采用用户定义的抽取规则，对于解析的h t m l 流进行抽取处理，抽取的信息通 过x d g ，结合o n t o l o g y ，从而输出为x m l 文档。这里抽取规则采用了作者自定义的 x r u l e $ 口t a g r e x 。t a g r e x 类似于标准的x p a t h ，而x r u l e 则类似于标准的x s l t 语法。 文中实验采用的o n t o l o g y 如下图： 图2 2p i e s 系统中使用的美国专利特定用户的o n t o l o g y 该文中o n t o l o g y 是某个特定用户自定义的，用于抽取美国专利局网站上感兴 趣的信息，对于不同的感兴趣信息需要定制特定的o n t o l o g y 。在系统中，对于信 息抽取部分仍然采用模式匹配的方法，特定的o n t o l o g y 【j 用于对得到的信息进行 过滤和格式化。 x t r o s y o d + 0 2 y k d + 0 2 采用了一种基于知识的w r a p p e r 生成策略。其中 w r a p p e r 生成算法首先将h t m l 文档转换成逻辑行( 1 0 9 i c a l1 i n e s ) ，这样的逻辑 行类似于我们在浏览器中看到的信息，采用h t m l 的标签分割，除了 和 ， 其他的所有行都去除标签。然后通过查找领域知识，从而识别出每个逻辑行的含 义，一旦能够确定该行信息所代表的含义，则将该行信息按照定义好的数据结构 进行组织。在这里领域知识和w r a p p e r 都是采用x m l 文档的形式，便于模块化操作， 也便于w r a p p e r 的维护。对于同一个领域知识，对于不同的站点( 同一领域的站 点) 需要编写不同的w r a p p e r 。采用的不动产领域知识如图2 3 ，对应的两个站点 2 网页信息抽取相关研究 的w r a p p e r 女n 图2 4 。 图2 3x t r o s 中的不动产领域o n t o l o g y ( a ) w r a m r 稻r h o m e so ) w r a p r f b r r e a l t o r 图2 4x t r o s 中的w r a p p e r b a c i i s m f m + 0 5 是一个生物和化学信息整合系统，通过w r a p p e r 方法将多 个网络数据库上的信息进行整合。为了便于升级，系统中的w r a p p e r 采用半自动 化的方法进行构建和维护，o n t o l o g y 的使用，大大的提高t w r a p p e r 归纳的准确 度。w r a p p e r 构造过程主要有三个步骤：t u p l e 识别、规则生成以及用户修订。在 t u p l e 识别步骤中，用户提供几个需要归纳w r a p p e r t 均站点的页面作为样本，系统 8 2 网页信息抽取相关研究 通过使用o n t o l o g y 对于这些样本进行标注。系统将发现的m p i e 呈现给用户，用户 可以选择接受、拒绝或者修改这样的识别结果。对于标注好的样本则用于进行规 则的生成。规则生成的原则就是找出最大可能的分隔符集合，这里使用l r 规则， 也就是通过左右边界确定区域。当所有的抽取规则被生成后，用户进行修订以及 保存工作。其中w r a p p e r 归纳的框架如图2 5 。 图2 58 a c i i s 系统中的w i s 框架 v u l c a i n t r b 0 2 贝t 采用偏向于自然语言理解的技术，结合o n t o l o g y 致力于过 滤相关领域的内容。 国内相关的研究主要有 z g l 0 4 、 c z x 0 4 、 w g w 0 3 、 z w x 0 4 、 g w y + 0 4 、 w w 0 4 。o n t o l o g y 的应用都是为了更好的表示抽取信息以及提高抽取精度。 基于o n t o l o g y 的方法不依赖于文档的结构，从理论上讲，只要领域o n t o l o g y 足够大，则在该领域的信息抽取中将能达到很高的抽取精度。但o n t o l o g y - - 般由 该领域的专家构建，平常人很难构建，而且该领域的专家也很难构建别的领域的 o n t o l o g y 。对于网页信息抽取，网页结构本身信息也没有得到充分的利用。 2 2 2 基于机器学习的方法 机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍为严格的 提法是：机器学习是一门研究机器获取薪知识和新技能，并识别现有知识的学问。 基于机器学习的网页信息抽取方法，通过对于给定的标注好的样本页面进行自动 学习，从而获得抽取规则，利用这些学习出的抽取规则处理其他页面。机器学习 方法的抽取规则通过基于分隔符的方法定位，因此不依赖于语言上的约束，而是 通过描绘数据的格式特征来进行信息抽取。 w i e n k u s 0 0 是辅助分装器生成的工具，为网页的自动分析而设计。系统采 用归纳学习法，从样例中生成分装器。系统依靠紧挨着数据前后的标记符号进行 抽取域的定位，通过学习为每个抽取域寻找统一的定界符。归纳学习算法将标记 好的网页作为输入，反复尝试所有可能的分隔符，直到找到与标记网页相一致的 h l r t 分装器。系统还采用基于机器学习理论的模型来预测需要学习多少个例 2 网页信息抽取相关研究 子，以保证所生成的分装器的出错几率控制在一个特定的范围内。w i e n 必须依 靠紧挨着数据前后的分隔符来定位数据，因此不能对于复杂各式的数据进行抽取 处理。 s t a l k e r m m k 0 1 是一个早期开发的系统，也是采用机器学习方法进行网页信 息抽取最有名的系统之一。s t a l k e r 是个线性覆盖规则学习系统，对于高度结 构化的网页进行单槽( s i n g l e s l o t ) 抽取任务，对于多槽( m u l t i s l o t ) 抽取 任务( 也就是说多个孤立的域作为一个抽取单元) 则通过e c ( e m b e d d e d c a t a l o g ) t r e e 来实现。e ct r e e 由手工构建，通常对于一个站点而言，e ct r e e 的每个叶 节点表示独立的抽取域。s t a l k e r 不仅仅能用于表格形式的信息抽取，更一般的 对于分级组织的内容都能很好的抽取。s t a l k e r 系统中每条抽取规则由两个有序 的线性标志自动机( 1 i n e a rl a n d m a r ka u t o m a t a ) 序列组成，线性标志自动机实 际上是一个非确定有限状态自动机( n o n d e t e r m i n i s t i cf i n i t es t a t e a u t o m a t a ) ，其状态的变化只有在字符串输入为目前状态与下一个状态之间的转 换而被接受时才发生。抽取规则中第一个序列由开始规则( s t a r tr u l e ) 组成，第 二个序列由结束规则( e n dr u l e ) 组成，所有的规则都是由一组连续的标签或者统 配符组成，从而能够在页面中定位某一个信息区域。s t a l k e r 不适用于标签结构 变化的页面的情况，对于不同的标签结构页面需要手工构造不同的e c t r e e ，生 成不同的抽取规则， s p s + 0 4 中w r a p p e r 部分也采用的是s t a l k e r 系统，而且对 于这些问题进行了改进。 - - - - l - _ - - - - - ：r l = s k i p t o ( t ) f p e = 、n o d e l 、 ： ：r 2 = s k i p t o ( t y p e = ”t e r m 0o rs k i p u n t i l ( t _ f t ) ： ：r 3 = s k i p t o ( b - p c = ”e a p a c i t y ： 图2 6 由s t l a k e r 归纳的开始规则( s t a r tr u l e ) 例子 a u t o b i b g y 0 4 是个自动抽取网上文献目录信息的系统。系统中采用将 自扩展技术( b o o t s t r a p p i n g ) 、统计方法和启发式学习方法相结合的方法提高自动 化程度。系统的框架如图2 ，7 。 图2 7a u t o b i b 系统框架 a u t o b i b 系统最初运行是从b i b t e x 系统中取得少量条目，经过清洗，作为 1 0 2 网页信息抽取相关研究 一个种子数据库( s e e dd a t a b a s e ) 。系统下载所有包含文献目录的相关页面，通过 使用原始纪录抽取器( r a wr e c o r de x t r a c t o r ) 获得页面中的原始记录。接着，匹配 器根据结构化的记录数据库对这些原始记录进行匹配，从而获得训练集。利用这 些训练集训练基于h m m 的解析器，再利用解析器对未匹配的原始记录再进行结 构化。最终，将这些新解析的结构化纪录合并到结构化纪录中。系统仅仅在最初 时会生成种子数据库，在以后的运行中都是基于之前运行的数据库中的结构化纪 录。 g s l + 0 1 中也采用了b o o t s t r a p p i n g 技术， z h a 0 3 则采用了h m m 方法进行引 文信息的抽取，f r f f + 0 4 l q b 采用h m m 以及基于知识的混合模型进行信息抽取。 ： 图2 8 a u t o b i b 中的h m m 示例 还有几种基于统计的机器学习方法也经常使用，比如 a f p o o 】采用最大熵马 尔科夫模型方法，【m l 0 3 】【p m w + 0 3 】【z n w + 0 5 采用条件随机场( c o n d i t i o n a l r a n d o mf i e l d s ) 方法。 2 2 3 基于网页结构的方法 网页的结构信息对于分析其数据之间的关系起到了很大的作用，很多的信息 抽取研究都是在结构分析的基础上。 e x t r a 汀i o n - r 【i i | 已sf o rt o p 。5 0 t o n s 0 = h t 皿b o 曲t a b l e l l l t r f 0 1 t d j 2 l 。d 押i0 1 t 曲l e l 0 1 u i i ；】t c l i l l1 a 州g e t a t t z h r e f ) l 。t x t 1 j 】 8 置e h t r m l ，b o d y t a b l e c r l o 】t d 2 1 d l v l 0 1 e a b l o 【1 七r 【l l 。g t 岫r 0 t d = 2 e t r a 艘1 0 nr 】l 卫sf o rh 盯i 。 m v l e ；h i n d e h e a d t i t l e 、t x t ，m t c h 1 t 7 j “l ，t l t l o * a d 。t i t l e t z t m a t c h ? 【l o - 9 j + j ，y e a r * ，b o d y 。t a b l o 1 ，t r 【0 1 t e l l 2 】t a b l e t r 1 1 。t d 1 。t a b l o m0 】，t r 【卜1 t d o 】a 【0 1 t x t d i l l c t o r s h b o d y - t d i ：0 1 、a t x t g 卸x e 5 1 1 ，b o d y - t a l l o i i ：0 1 t r j j ：】t d 0 】t x t ，砒c c h “、s j d ( ，。) ，c a 8 c 碾e i c eh 啪l 。吼7 c a b l e n l t r l 0 1 t d l 2 1 t a b l e 0 1 h 1 1 ，t d l l l t a b l e i h 】“c = 。d l r e c t e 4 时1 姗h t m l ，b o d y t d i i 】m f o 】t x t ；”g e n r e ” a 珊h t m l 。啪y 一) t a b l e i l l 。t r l 0 t a t 0 t x t = 。 c to w r v i “ | f c r 研i t 岳dc a o t ：) 1 a h t m l 如酊一 t a b l o t l 】c r 【 j i g e c 帆】b e r 。e t d = 3 j 图2 9 w 4 f 中的一条抽取规则 2 网页信息抽取相关研究 w 4 f s a 9 9 是一个用于生成w r a p p e r 的工具，包含一组自定义的语言用于描 述待抽取的复杂网页结构，一个到x m l 文档的映射( 并自动生成相应的d t d ) 以及便于w r a p p e r 使用的可视化支持。 w 4 f 中抽取规则使用h e l ( h t m l e x t r a c t i o nl a n g u a g e ) 描述，图2 9 就是 一个h e l 描述的抽取规则的示例。h e l 描述的抽取规则实际上是树路径和正则 表达式相结合。抽取规则提供了两种访问方法：( 1 ) 基于文档层次结构的访问方 法，比如“h t m l b o d y t a b l e 1 1 ”就是指向 标签内的索引为1 的 节点： ( 2 ) 基于文档显示顺序的访问方法，比如“h t m l b o d y t a b l e 0 1 ”就是直接指向 b o d y 后遇到的第一个t a b l e 节点。h e l 的功能现在能够通过标准的x s l t 技术实 现，而且x s l t 技术提供更丰富的操作。 x w r a p l p h 0 0 是一个半自动化的w r a p p e r 生成器，其系统框架如图2 i o 。 举承日t 辨抽口3 图2 1 0x w r a p 系统框图 x w r a p 系统由4 部分组成：句法规则化、信息抽取、代码生成以及程序测 试和打包。首先句法规则化模块获取h t m l 文档，对于存在句法错误的h t m l 标签进行清洗，再将其转换成解析树形式。信息抽取模块对于这样的解析树，通 过与用户的交互，结合h t m l 标签中的特定标记( 比如t a b l e ) 作为启发式，能 够很快的生成抽取规则，并由代码生成模块生成由j a v a 代码写的w r a p p e r 。据说 用户只需要简单的点击几次就能很快的获得个站点的w r a p p e r 。不过对于很多 定制的抽取任务，仅仅通过少量的点击行为是很难准确把握用户的需求的，而且 生成的w r a p p e r 由j a v a 描述，对于w r a p p e r 的扩展和维护都是很困难的，远没 有x m l 描述的方便。 r g s + 0 4 介绍了一种面向领域的网页信息抽取方法，并应用于对于新闻站点 新闻进行自动抽取。该方法首先采用聚类方法对于一个站点的部分页面进行聚类 处理，对于每一个聚类分别归纳出一个抽取规则，在文中称为n ep a a e m ，利用 2 网页信息抽取相关研究 这样的抽取规则对于其他页面进行匹配，从而实现信息抽取。最后通过数据标定 模块从而输出格式化的信息。文中的1 2 ep a t t e r n 是一种树装结构。其中抽取规则 归纳部分如图2 1 1 。 图2 1 1n ep a t t e r n 的归纳 在进行抽取规则归纳时，首先从一个聚类中选出两个页面( 也是树结构) ， 对这两个页面进行归纳处理。比如图中的第一步对于b 和f 节点则归纳为统配 符节点，对于e 节点的处理则归纳为可选节点。同样的得到的树结构再与聚类 中下一个页面进行归纳，知道所有页面都处理完。一个页面，首先得到其树结 构，然后与所有的n ep a t t e r n 进行匹配计算，选择代价最小的r ep a t t e r n 作为该页 面所匹配的模式。如图2 1 2 。 ；警 ? 萼1 、 i 臻 ，j o t i 毒7 j 砖一露碣、醇 、c、日oi 苜 o j 西； 鼍t 弩 遵：瓷蕊 图2 ，1 2n ep a t t e r n 的匹配 w i e a s l t y + 0 4 q b 的方法用于自动发现站点的有用信息，并将这些信息抽取 出来。对于站点内有用信息的发现，则通过对于站点内页面进行聚类，认为一个 聚类中存在多个页面则认为是具有有用信息。系统中的抽取规则e p a t t e m 是一个 f ， r 一 _ l 疗 、， 、娑 譬 菇， 2 网页信息抽取相关研究 x p a t h 表达式，信息抽取中采用转换器，每个转换器将页面内容通过e p a t t e m 转 换成预先定义的c o n c e p t ，从而获得信息。s t a v i e s p s 0 5 1 是一个全自动的 w r a p p e r ，也采用了聚类技术，不同的是，s t a v i e s 中对于单个页面树结构中的 所有终节点进行聚类处理。 w i s d o m k h c o s j 基于d o m 用于页面结构的挖掘，其他基于树分析的方法 还有 s m s + 0 5 ， z l 0 5 ，【s t 0 5 ，【l n s 0 5 等。 基于结构的方法中还有一类方法主要是对于含有t a b l e 结构的网页进行信息 抽取处理。因为当前存在的大量搜索引擎生成的或者程序框架生成的页面都含有 大量的t a b l e ，因此很多的研究者也进行了大量的研究。 【c t t 0 0 】中最早在信息抽取领域提出了“t a b l em i n i n g ”的概念，当前“w e b t a b l em i n i n g ”主要可以分为特定领域研究以及独立于领域的研究 j k 0 6 1 。特定领 域的研究主要基于w r a p p e r 归纳，比如【c t t 0 0 】，i n g x + 0 1 等根据特定的表格形 式通过抽取规则从而抽取出表格中的信息。独立于领域的方法则是近来引入表格 信息抽取中的， w h 0 2 】中采用一种机器学习算法实现了个通用表格抽取系统。 【y l 0 2 】中采用表格的可视化特征作为启发式知识，比如表格中文本的可视化 特征就包括字体大小、字体类型、字体风格以及颜色，表格单元的可视化特征包 括单元格中文本的对齐方式、背景颜色等。并归纳了4 种基本的表格，如图2 1 3 。 屋凹霞目 a d r o n ：w i s e b c o l u m n - w i s e c 2 d 。嘲a n k 眦 d 2 d - a o , n 硼a n k 啊z 图2 ，1 3 几种表格样式 通过单元格的比较，从而确定表格形式。对于行或列单元格有跨度的情况， 则通过将其规格化从而便于处理。 f g z a 0 3 的主要思想就是对于每一行通过归纳获得其模式，然后对于所有的 行模式再归纳，从而获得该表格的模式，从而达到理解表格，抽取信息的目的。 标签和文本分别通过三种特征来描述，比如对于文本特征分别选取：长度、大小 写特殊符号等以及文本本身。 j k 0 6 采用了多种方法相结合，从而实现对于表格头部信息的抽取。首先 系统中特征分为两种：外观特征和连结特征。外观特征主要表格的外观特性，比 如表格表框，行列树目，字体特征等，在文中总共选用了1 5 种外观特征。连结 特征主要表现表格的实体特性，比如一个单元中字符的标准偏差、列的标准偏差 等，文中选用了8 种连接特性。系统的处理过程分为两个阶段，第一个阶段通过 构造分类模型从而抽取出有意义的表格，第二个阶段则抽取出该表格的头部信 息。在第一个阶段中，网页首先经过过滤和规格化，然后利用总共2 3 种特征， 将表格转换成2 3 维矢量，通过采用决策树分类器构造分类模型，从而获得真正 2 网页信息抽取相关研究 的包含数据的表格。在第二阶段的抽取中，定义了7 种启发式，根据每一种启发 式，将表格转换成矩阵，最后对多个矩阵采用线性插值获得结果矩阵。处理过程 如图2 ，1 4 、2 1 5 。 h 日u 8 t l e4h e u r t