（计算机应用技术专业论文）deep+web数据获取方法研究.pdf

r 苏州大学学位论文使用授权声明 l i l l l li i i h i l u u l i ii i1 1 111ii l i ll l 哺 y 17 3 2 0 8 0 本人完全了解苏州大学关于收集、保存和使用学位论文的规定， 即：学位论文著作权归属苏州大学。本学位论文电子文档的内容和纸 质论文的内容相一致。苏州大学有权向国家图书馆、中国社科院文献 信息情报中心、中国科学技术信息研究所( 含万方数据电子出版社) 、 中国学术期刊( 光盘版) 电子杂志社送交本学位论文的复印件和电子 文档，允许论文被查阅和借阅，可以采用影印、缩印或其他复制手段 保存和汇编学位论文，可以将学位论文的全部或部分内容编入有关数 据库进行检索。 涉密论文口 本学位论文属 在年一月解密后适用本规定。 非涉密论文口 论文作者签名 导师签名 d e e pw e b 数据获取方法研究 中文摘要 d e e pw e b 数据获取方法研究 中文摘要 随着互联网的飞速发展，w e b 中的信息规模日益扩大，为人们提供了各种各样可 利用的信息。其中大量的信息是存储在w e b 数据库当中，只能通过网页中的查询接口 才能访问。改变了通过链接来访问网页的方式，使得传统的搜索引擎无法获取，因而 被称为d e e pw 曲。高速增长的d e e pw | e b 信息已成为人们进行信息获取的一个重要来 源，然而d e e pw e b 数据的异构性和动态性，为大规模d e e pw e b 数据集成带来巨大的 挑战。通过获取d e e pw e b 的数据，在本地集成w e b 数据库的重要性正在逐渐凸显。 本文针对d e e pw 曲数据获取的相关技术进行深入研究，并提出了相应的算法和 模型。本文的主要研究工作如下： ( 1 ) 研究t d e e pw e b 站点和查询接口的特点，在表单的属性选择方面，提出了一 种基于属性相关度的属性组合有效性的计算方法。 ( 2 ) 分析了查询接口中属性的特点，提出了通过机器学习的方法识别查询接口中 每个特定的文本属性。 ( 3 ) 通过对属性的分类，针对不同类型的属性采用不同方法产生查询词。对于普 通的文本属性，提出了通过抽取查询结果页中的相应内容，并通过适应性策略来选取 合适的关键词作为查询词的方法。对于特定的文本属性，使用人工建立知识库的方法。 ( 4 ) 分析- d e e pw e b 数据源中网页的更新特点，通过泊松模型对网页更新事件建 立模型，增量获取d e e pw e b 数据。并设计了增量获取d e e pw e b 数据的爬虫系统结构。 此外，本文还对文中提出的方法和技术进行了实验，通过对实验结果的分析进一 步验证了本文提出的方法是有效的。 关键词：d e e pw e b 爬虫，属性相关度，属性组合，查询选择，增量爬虫 作者：蔡欣宝 指导教师：崔志明( 教授) r e s e a r c ho nd e e pw e bd a t aa c q u i s i t i o nm e t h o d a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to ft h ei n t e m e t w 毡bi n f o r m a t i o ns c a l ei s g r o w l n g c o n t i n u o u s l y , w h i c hp r o v i d ep e o p l ew i t ha l lk i n d so fa v a i l a b l ei n f o r m a t i o n l a r g e a m o u n to fi n f o r m a t i o ni ss t o r e di nt h ew 毫bd a t a b a s e w h i c hc a no n l yb ea c c e s s e dt h r o u g h t h ew e bq u e r yi n t e r f a c e c h a n g e dt h ew a yo fv i s i t i n gw e b p a g eb yl i n k ，s ot h et r a d i t i o n a l s e a r c he n g i n e sc a l ln o ta c c e s s ，t h e ya r ec a l l e dd e e p 眙b 刀坩i n c r e a s i n go fd e e p 娓b i n f o r m a t i o nw i t hh i 曲- s p e e dh a v eb e i n gas i g n i f i c a n tr e s o u r c ef o ri n f o r m a t i o nr e t r i e v a l d u et ot h eh e t e r o g e n e i t ya n dd y n a m i c i t yo fd e e pw e bd a t a d a t a i n t e g r a t i o no f l a r g e 。s c a l ed e e pw 曲a r ev e r yc h a l l e n g i n g b yc r a w l i n gd e e pw 曲d a t a ，i n t e g r a t i n gw e b d a t a b a s ei nl o c a lh o s ti sb e c o m i n gm o r ea n dm o r es i g n i f i c a n t t h i st h e s i sr e s e a r c h e so nd e e pw e bd a t a a c q u i s i t i o ni n d e p t h ，a n dp r o p o s et h e r e l a t e da l g o r i t h m sa n dm o d e l s o u rr e s e a r c hi s s u e sa r ef o l l o w s ： ( 1 ) r e s e a r c ho nc h a r a c t e r i s t i ci nd e e pw e bs i t ea n dq u e r yi n t e r f a c e s i nd e c i d i n g w h i c hf o r mi n p u t st ob ef i l l e dw h e ns u b m i t t i n gq u e r i e st oa f o r m ，p r o p o s eam e t h o df o r s e a r c h i n gv a l i da t t r i b u t ec o m p o u n d i n gb a s e do na t t r i b u t e sc o r r e l a t i o n ( 2 ) a n a l y z ec h a r a c t e r i s t i co fa t t r i b u t e si nq u e r yi n t e f a c e s am e t h o dt oi d e n t i f ye a c h t y p e dt e x ta t t r i b u t ei nq u e r yi n t e r f a c eb ym a c h i n el e a r n i n gm e t h o d si sp r o p o s e d ( 3 ) b y t h ec l a s s i f i c a t i o no fa t t r i b u t e s ，f o rd i f f e r e n tt y p e so fa t t r i b u t e s u s e dd i f f e r e n t m e t h o d st of i n da p p r o p r i a t eq u e r yw o r d s f o rg e n e r i ct e x t a t t r i b u t e s ，e x t r a c t i n gt h e c o r r e s p o n d i n gc o n t e n ti nq u e r yr e s u l tp a g e ，a n dt h r o u g ha d a p t i v es t r a t e g yt os e l e c tt h e a p p r o p r i a t ek e y w o r d sa st h eq u e r yw o r d s f o rt y p e dt e x ta t t r i b u t e s ，u s e dt h ek n o w l e d g e b a s eb u i l tb yh a n d ( 4 ) a n a l y z et h ep a g e so ft h ed e e pw e bw e b s i t eu p d a t ef e a t u r e s ，b yt h ep o i s s o n m o d e lt om o d e lw e b p a g e su p d a t ee v e n t s ，i n c r e m e n t a lc r a w l i n gt h ed e e pw e bd a t a a n d d e s i g n e dt h es y s t e mf r a m eo fc r a w l e rt oi n c r e m e n t a lc r a w l i n gt h ed e e pw e bd a t a k e y w o r d s ：d e e pw e bc r a w l e r , a t t r i b u t e sc o r r e l a t i o n ，a t t r i b u t ec o m p o u n d i n g ，q u e r y s e l e c t i o n ，i n c r e m e n t a lc r a w l e r w r i t t e nb yc a ix i n b a o s u p e r v i s e db yc u iz h i m i n g 目录 第1 章绪论l 1 1 研究背景及意义l 1 2 国内外研究现状2 1 3 主要研究内容3 1 4 本文组织4 第2 章d e e pw e b 数据获取概述5 2 1 d e e pw e b 数据获取相关研究。5 2 2 d e e pw e b 数据获取的重要性。7 2 3 d e e pw e b 数据获取的难点。8 2 4 解决方法介绍9 2 4 1 d e e pw e b 网站特点分析。9 2 4 2 基于u r l 模式的d e e pw e b 数据获取方法1 0 2 4 3基于关键词查询的方法1 1 2 5 本章小结1 2 第3 章查询接口中有效属性组合的选择1 3 3 1 属性分类13 3 2 查询接口的特征提取1 4 3 2 1 h t m l 表单和d o m 树1 4 3 2 2查询接口的特征提取15 3 2 3特征的标准化18 3 3 选择有效的属性组合1 8 3 3 1属性相关度计算1 9 3 3 2基于属性相关度的属性组合有效性计算2 1 3 4 本章小结2 2 第4 章选择有效的查询关键词2 3 4 1 特定的文本属性2 3 4 2 普通的文本属性2 5 4 2 1 查询候选关键词生成2 5 4 2 1 1样本网页集聚类和模板生成2 5 4 2 1 2有效数据字段发现2 7 4 2 1 3有效数据字段与属性之间的映射2 7 4 2 2查询关键字选择策略2 8 4 2 2 1 获取d e e pw e b 数据的形式化定义。2 9 4 2 2 2性能评价标准3 0 4 2 2 3估计匹配的页面数量3 0 4 2 2 4查询选择算法3l 4 2 2 5查询效能值计算的统计方法3 2 4 2 2 6 限制结果页面数的站点3 3 4 3 本章小结。3 4 第5 章增量获取d e e pw e b 数据。3 5 5 1 增量采集研究现状3 5 5 1 1网页的增量采集策略3 5 5 1 2网页的增量采集方法3 6 5 2 相关概念3 7 5 2 1 网页库的新鲜度3 7 5 2 2增量采集的定义3 7 5 2 3 d e e pw e b 站点的网页更新特点3 7 5 3 基于泊松模型的增量获取d e e pw e b 数据的方法3 9 5 3 1基于泊松模型的方法3 9 5 3 2 泊松模型在d e e pw e b 数据获取中的应用4 2 5 3 3增量调度模块4 3 5 4 本章小结4 4 第6 章系统设计与实验4 5 6 1 系统设计4 5 6 2 d e e pw e b 爬虫效果的评价标准4 6 6 3 实验数据集4 7 6 4 实验结果及分析4 7 6 4 1基于属性相关度的属性组合选择的有效性与高效性4 7 6 4 2查询关键词选择的有效性与高效性4 9 6 4 3爬虫在覆盖率和网页库新鲜度方面的有效性5 1 6 5 本章小结一5 2 第7 章总结与展望5 3 7 1 工作总结5 3 7 2 特点与创新5 4 7 3 展望5 4 参考文献5 6 攻读学位期间公开发表的论文与科研项目6 l 致谢。6 2 图表目录 图2 1d e e pw 曲信息获取过程5 图2 2d e e pw e b 查询接口9 图2 3d e e pw r e b 查询结果页1 0 图2 4d e e pw e b 数据获取系统框架1 2 图3 1 查询接口中表单h t m l 代码1 7 图3 2 属性相关度矩阵2 0 图4 1 集覆盖的最优解问题2 9 图4 2 更新查询统计表3 3 图5 1 最佳采集频度与网页固有更新频度关系图4 3 图6 1d e e pw e b 增量爬虫的流程图4 5 图6 2d e e pw e b 数据获取系统结构4 6 图6 3v a c b a c ，c p ，t p 算法产生的查询次数4 8 图6 4 各种查询词选择策略效果比较5l 表3 1 基于属性相关度的属性组合有效性计算2 1 表4 1 查询关键词选择算法3 2 表6 1 有效属性组合生成的相关数据4 9 表6 2 特定文本属性分类结果5 0 表6 3d e e pw e b 增量爬虫的覆盖率5 2 表6 4 增量爬虫与周期性爬虫新鲜度比较5 2 d e e pw e b 数据获取方法研究第l 章绪论 1 1 研究背景及意义 第1 章绪论 w e b 信息正以空前的速度增长，在史无前例的范围内实现信息的共享。目前，整 个w e b 信息量己超过2 0 0 ，0 0 0 t b ，运用搜索引擎技术已经能够较好的获得w e b 信息。 然而，w e b 资源正在不断的深化，使得大量有价值的资源隐藏于w e b 查询接口后端。 这些信息通常由后台w e b 数据库动态产生，传统的网络爬虫( c r a w l e r ) 无法获取这些页 面，只能通过查询接口表单( f o r m ) 提交查询来获得，造成现有搜索引擎技术无法对这 些页面索引或者只能索引到少量的部分。因此，这些页面对于用户来说是隐藏的，通 常称之为d e e pw e b 1 】( 又称为h i d d e nw e b t 2 1 ，或i n v i s i b l ew e b l 3 】) 。 按w e b 信息蕴含的深度，整个w r e b 可以划分为表层网( s u r f a c ew e b ) 和深层网( d e e p w e b ) 两部分。d e e pw e b 的概念最初由d r j i l le l l s w o r t h 于19 9 4 年提出，是指那些由普 通搜索引擎难以发现其信息内容的w | e b 页面【1 1 。d e e pw 曲信息量的快速增长，以及信 息潜在的巨大价值，使d e e pw e b 研究越来越受到人们的关注。d e e pw e b 蕴含了整个 w e b 中大部分的信息，较之s u r f a c ew 曲蕴含的信息有千百倍的差距。d e e pw 曲与 s u r f a c ew e b 相比，具有很多优点【3 1 1 4 1 5 】： ( 1 ) 信息量大。根据研究调查，d e e pw e b 页面的信息大约是s u r f a c ew 曲信息的 8 0 0 倍，包含了大量传统搜索引擎搜索不到的信息。c o m p l e t e p l a n e t 网站曾 对w e b 上的6 0 个包含w e b 数据库的站点进行统计【6 】【7 1 ，发现这6 0 个站点 的总数据量达到7 5 0 0 ，0 0 0 g ，大约是s u r f a c ew e b 中数据量的4 0 倍。 ( 2 ) 信息质量高。在线数据库中的信息都是以结构化的形式保存的，并且同一个 数据库中一般只保存一个或几个领域的信息，信息的针对性强，可利用性 高。 ( 3 ) 信息增长速度快。目前d e e pw 曲中的信息规模还在迅速增大，目前平均每 年的增长速度是3 7 倍。 所以，鉴于以上几个优点，充分利用d e e pw r e b 中的信息就显得意义重大。 d e e pw e b 数据来源于w 曲在线数据库，目前获取这些在线数据库中信息的主 第l章绪论deepweb数据获取方法研究 要途径是在查询接口上提交查询来获得所需要的信息【l l 。因此，用户查询信息时可 能需要多次填写表单，或者同时在多个网站上提交关键字以获得需要的信息。很显 然，这个过程很繁琐且耽误时间，而且获得的信息很多都是重复冗余的，这样使得 查询效率低下。d e e pw 曲研究的重点就是收集这些在线数据库中的信息，并对其 进行集成，然后提供一个统一的查询接口给用户，使用户的查询效率更加高效。同 时还可以添加一些可供用户选择的信息处理功能，使得信息检索更贴近用户实际需 要。实现大规模d e e pw e b 数据源集成是方便用户使用d e e pw e b 信息的一个有效 途径。在d e e pw e b 数据集成研究中，数据获取为d e e pw 曲数据集成提供数据，是 集成中的关键步骤。由于在线w e b 数据库的异构性和自主性，如何从各个w e b 数 据库获取数据成为一项非常具有挑战性的工作。 1 2国内外研究现状 d e e pw r e b 信息获取至今仍是一个新兴的研究领域，其中包含有若干需要解决 的问题。总体来看，在该领域已经开展了大量的研究工作，但各个方面发展并不均 衡。对d e e pw e b 数据资源进行大规模的信息集成，从原理上来分主要有如下三种 方法： ( 1 ) 基于分类目录的方法。国外仅有d e e p w e b t 6 1 、b r i g h t p l a n e t t l l 、i n v i s i b l e w e b l 3 等公司生产相关产品，他们把d e e pw e b 查询接口按其所属类别进行分类，用户可以 根据类别找到所需要的查询接口。由于这种方法对查询接口的分类进行了严格上的区 分，通常还采用多层次的分类方式，所以需要较多的人工干预，自动化程度不高。目 前国内外还没有针对中文d e e pw e b 查询接口的分类目录。 ( 2 ) 基于全局查询模式的方法。从分布式数据库角度来说，所谓全局模式( g l o b a l s c h e m a ) 就是把现有的各个分布的数据库模式集成起来，将各个数据库的数据定义 进行整合，并解决对同一个数据的不同表示方法之间的冲突问题。具体实现和元搜 索引擎类似，即在每个领域中，提供给用户一个全局的查询接口。这个接口接收用 户的查询，并把查询派发到各个成员接口进行查询，然后把从各个成员数据库中得 到的结果组合起来，返回给用户。采用这种方法的典型系统有m e t a q u e r i e r t 8 1 、 w i s e i n t e g r a t _ 1 9 1 。在这种架构方式下，涉及到的具体技术主要包括：接口属性的抽 2 d e e pw e b 数据获取方法研究 第i 章绪论 取、模式匹配、数据源选择、查询分发、分类和聚类、查询结果集成等。由于这种 方法是当用户提交查询时实时的从各个相关数据源抽取数据、整合数据、返回数据， 因此随着数据源数量的爆炸式增长就会造成用户查询所需时间的无限延迟。 ( 3 ) 在本地集成w e b 数据库内容的方法。这种方法首先自动获取w e b 数据库的 内容，接着利用信息抽取技术抽取所需信息，最后把数据集成到本地数据库中供用 户检索。该方法与上述两种方法的最大区别在于：上述两种方法的数据信息分布在 各地的w e b 数据库中，它们是自治的、异构的，用户查询时在线地从各w e b 数据 库中获取信息。而本方法需要把w e b 数据库中的对象数据尽可能多的下载集成到本 地数据库中，并对这些数据进行管理，用户查询的结果也来自本地数据库。在文献 【1 0 1 1 1 1 1 2 中，研究了这种架构方式。国内外已有一些学者对其中的具体技术进行 了初步研究，包括d e e pw e b 数据源发现、d e e pw e b 数据源选择、w e b 数据库内容 获取、信息抽取、对象匹配、排序技术等。由于这种方法是将从各个数据源获取数 据保存到本地数据库中，大大提高了数据的处理速度和灵活性。但因此需要花费很 大的下载资源和本地存储代价。本文所研究的d e e pw e b 数据获取方法就是在这种 信息集成方式下进行的。 1 3主要研究内容 d e e pw e b 只能通过填写查询接口表单对后台在线数据库的查询才能获得d e e p w e b 数据。由于缺乏被指向的超链接而没有被搜索引擎索引到的页面，大约占整个比 例的2 1 3 t 1 3 】。由于d e e pw 曲中固有的特点，导致了获取这些信息时存在很多困难： 首先，d e e pw e b 表单绝大多数包括文本输入项，需要提交有效的查询词才能返回有 效的结果；其次，d e e pw r e b 表单通常包括不止一个输入项，但只对每个输入项的笛 卡尔积可能产生很多无效的结果；再者，d e e pw e b 数据量大，更新速度快，更新频 率具有明显的差别，所以获取该类数据的方法必须是可以增量的。为了解决这些问题， 本文研究内容主要有提取d e e pw e b 查询接口特征、建立评价机制，选择出合适的表 单输入项组合、自动生成有效的查询关键词、采用一定的策略，提高查询的效率、建 立d e e pw e b 数据更新模型，根据数据源更新频度确定爬虫采集频繁度。 在获取d e e pw e b 数据时可能还会遇到其它一些问题，如：需要注册或其它限制 第1 章绪论 d e e pw e b 数据获取方法研究 才能访问其内容；另外在查询接口，以及查询结果页j a v a s c r i p t 的使用都给d e e pw e b 数据获取带来了很多问题。但这些不是本文考虑的重点，本文研究的重点是如何通过 填写表单来获取在线数据库的的数据。 1 4本文组织 本文共分为七章： 第1 章介绍了论文的研究背景及意义、国内外研究现状、主要研究内容以及本 文的结构安排。 第2 章介绍d e e pw e b 数据获取相关研究，然后阐述 d e e pw e b 数据获取的重 要性，接着分析 d e e pw e b 数据获取中所面临的问题和难点，最后分析t d e e pw e b 网站的特点并简单介绍了本文的解决方法。 第3 章首先介绍了查询接口中属性的分类，接着分析d e e pw e b 查询接口的特 征提取，然后阐述了查询接口中属性相关度的计算方法，最后介绍了基于属性相关度 的属性组合有效性计算方法。 第4 章通过对属性的分类，针对不同类型的属性采用不同方法产生查询词。对 于特定的属性，通过机器学习的方法识别出查询接口中每个特定的文本属性，再根据 知识库的内容填写属性；对于普通的文本属性通过抽取查询结果页中的相应内容，并 通过适应性的策略来选取合适的关键词作为查询词。 第5 章分析 d e e pw e b 数据源中网页的更新特点，通过泊松模型对网页更新 事件建立模型，增量获取d e e pw e b 数据。 第6 章介绍了d e e pw e b 数据获取的系统结构，并对本文的方法进行了实验。 第7 章对本文工作的总结和展望。 4 d e e pw e b 数据获取方法研究第2 章d e e p w e b 数据获取概述 第2 章d e e pw e b 数据获取概述 随着i n t e m e t 技术的飞速发展，整个w e b 信息已经被各种各样可搜索的在线数据库 所深化。由于功能、内容和可维护性的需要，所以d e e pw 曲站点越来越多。w 曲数据 库中蕴藏着大量高质量的结构化数据，成为数据挖掘和集成的宝藏4 1 。这些信息隐藏 在w e b 查询接口之后，不能直接通过静态链接获取，只能通过填写表单提交查询来获 取， j n _ k d e e pw 曲数据量大的特点，这给d e e pw 曲数据获取带来了巨大的挑战。 2 1 d e e pw e b 数据获取相关研究 d e e pw e b 信息“深藏的原因，主要是由于w 曲上没有直接指向包含d e e pw 曲 信息的页面的静态链接，这类资源对传统搜索引擎是不可见的，必须通过提交查询才 能动态获取。图2 一l 是d e e pw e b 数据获取的基本过程。正因为不能通过静态链接的方 法获取d e e pw 曲数据，而只能通过填写表单提交查询来获取，所以近年来d e e pw 曲 爬虫的研究都聚集在对查询表单的处理上。 图2 - 1d e e p w e b 信息获取过程 针对d e e pw r e b 数据获取，s r i r a mr a g h a v a n 等提出了h i w e 系统，一种半自动的 d e e pw - e b 爬虫，结合领域知识生成合理的查询关键词提交给查询接口，获得查询结 果【1 5 1 。h i w e 系统中管理器负责管理搜集过程，它对下载的w e b 页面进行分析，包含 表单的页面被送到表单处理器中专门处理。表单处理器先从页面中抽取出表单，再从 第2 章d e e pweb数据捩取概述deep w e b 数据获取方法研究 预先准备好的数据集中选择数据自动地完成表单的填写，然后将合成的u r l 提交 c r a w l e r 管理器去下载相应的结果页面。由于需要系统自动完成表单填写，所以要求 用户事先准备相应的表单数据集。h i w e 系统通过l v s 表来定义领域知识，通过视觉 距离和文本相似度来识别表单。不足之处是每个表单项只跟一个文本相关联，不能站 在全局的观点上来处理表单项：在评价表单中的每个输入项方面，只简单的判断查询 结果的错误页情况。 文献 1 6 】针对文本数据库，提出了自动生成查询的理论框架及生成查询的策略， 并对数据库内容获取问题进行了形式化处理。在生成候选关键词方面，一种方法是估 计总结出具体w e b 数据库中不同词语的分布情况，然后根据分析结果生成查询词的词 库，对所有查询结果使用相同的词库【1 7 1 。另一种方法是使用初始的一定词语提交查询， 获得查询结果，提取查询结果中的词语，作为查询关键词，不断提交以获得w e b 数据 库中的数据1 6 】【1 8 f 1 9 2 0 1 。在文献 1 9 中，通过探索得到的词语被划分到不同的主题分类 当中，提高准确性。在选择表单输入项方面，一种方法是选择单个属性，另一种方法 是选择多个属性。文献 1 6 】 2 l 】中提出的d e e pw e b 爬虫方法只处理单一检索条件，主 要对非结构化d e e pw e b 提供的单一检索条件的表单进行处理。文献 2 2 研究了结构 化数据库坏境下如何高效的选择输入项。它用“属性值 图来描述数据库，并把数 据库内容获取问题转变为对“属性值”图的遍历问题。在选择输入项上考虑了表单 的多属性，但在提交查询时基本上是选择单个属性。文献 2 3 介绍了g o o g l e 的d e e p w e b 爬虫，在选择查询关键词时，通过提取查询结果中的词语，使用t f i d f 2 4 钡0 试与 当前网页的相关性，选择相关的词语作为查询词，不断提交查询以获得w e b 数据库中 的数据。在选择输入项方面考虑了多个属性的组合，该文通过i s i t 算法，选择查询接 口中有效的属性组合，每个组合从一个属性开始，不断的添加新属性，然后判断当前 组合是否是有效的查询组合，直到添加新属性会导致属性组合无效。 m a n u e la l v a r e z 等人【2 5 】提出的d e e p b o t 基于一系列的领域知识，每种领域定义描述 了一个数据采集任务。它采用了基于视觉距离和角度的方法计算表单各项的最佳项 值，距离超出阈值的文本舍弃，距离相等的文本比较该文本与表单项的角度，表单项 与文本之间的文本相似度通过t f i d f 和j a r o w i n k l e re d i t d i s t a n c e 算法来计算。并且通 过各表单项的相似度计算表单与主题的相似度，来识别与主题相关的表单，然后模拟 填写表单，基于对象和客户端脚本的事件触发机制提交执行表单来得至l j h i d d e nw e b 6 d e e pw e b 数据获取方法研究第2 章d e e p w e b 数据获取概述 中隐藏的信息。这种方法不适于快速搜索和加密的表单。文献 2 6 】提出了基于图模型 的数据库采样方法，通过查询接口从数据库中增量的方式获取近似随机的样本，并用 保存在本地的记录生成下一次的查询。郑冬冬等人在文献 2 7 】中提出的爬虫，首先针 对站点接口产生一个查询，然后下载结果的索引列表页面，最后根据结果的索引下载 具体页面，其中在查询关键字选择中使用适用性策略。林超等人在文献 2 8 中提出的 d e e pw e b 聚焦爬虫主要通过页面与主题的相关性和链接的相关信息来评价链接的重 要性，该方法没有考虑对查询接口的分析和查询词的选择。 除了关于d e e pw e b 数据获取方法的直接内容，还有很多和d e e pw e b 数据获取相 关的技术：d e e pw e b 查询接口的自动判定【3 0 1 ，这是d e e pw 曲数据获取的前提步骤， 只有在发现d e e pw e b 查询接口后才能对d e e pw e b 数据源的数据进行采集；w 曲数据库 大小估算叫【3 2 】【3 3 1 ，可以作为爬虫停止的参考条件；d e e pw 曲查询结果页的数据抽取 【3 4 】【3 5 1 ，文献【3 6 】介绍了一种基于查询接口的数据抽取方法，能从大型文本数据库中的 抽取出相关信息的方法；文献 3 7 介绍了一种对查询结果的标注方法；a j a x 站点的 网络爬虫【3 8 】【3 9 】。 2 2 d e e pw e b 数据获取的重要性 文献【l 】在2 0 0 0 年6 月对全球d e e pw r e b 的规模进行了宏观统计，称约有4 3 ，0 0 0 9 6 ， 0 0 0 个站点，数据量为7 ，5 0 0 t b ，约为静态页面的5 0 0 倍；2 0 0 4 年4 月文献 4 0 】对其进 行重新统计称有3 0 7 ，0 0 0 个d e e pw e b 站点，四年间增长了3 7 倍。文献 4 l 】对中国d e e p w r e b 的规模、分布和结构进行了研究，称约有2 4 ，0 0 0 个站点，2 8 ，0 0 0 个d e e pw e b 数据库。研究表明，当前大量的重要的网页不能通过超链接的方式访问到【4 0 1 。d e e p w e b 站点已成为人们高质量信息的重要来源。 d e e pw e b 可以分为两类：( 1 ) 非结构化d e e pw e b ，提供非结构化的数据对象如文 本、图像、音视频等；( 2 ) 结构化d e e pw e b ，提供结构化的查询接口和结构化的数据 对象，如成对的属性值关系记录。研究表明结构化的d e e pw e b 和非结构化的d e e p w 曲之比为3 ：1 t 4 0 。对于很多应用来说，高质量、结构化数据的价值是不可估量的。 d e e pw e b 信息一般存储在数据库中，和静态页面相比通常信息量更大、主题更专 一、信息质量更好、信息结构化更好、增长速度更快【。目前，d e e pw 曲已经受到很 7 第2 章d e e p w e b 数据获取概述d e e pw e b 数据扶取方法研究 多研究人员的关注，而且已经有了相当多的相关研究成果。由于d e e pw 曲信息的快 速增长，实现大规模d e e pw e b 数据源集成是方便用户使用d e e pw 曲信息的必然选择。 对d e e pw e b 研究的目的是为了能够自动地获取并高效的利用d e e pw r e b 中的丰富信 息。本地集成w 曲数据库内容的方法是实现大规模d e e pw e b 数据源集成一个有效途 径。这种方法首先获取w e b 数据库的内容，接着利用信息抽取技术抽取所需信息，最 后把数据集成到本地数据库供用户检索。获取d e e pw e b 数据到本地可以提高查询的 效率，有着很重要的应用。同时搜索引擎、数据挖掘以及商业智能等诸多领域都涉及 n d e e pw e b 数据的获取。因此，获取d e e pw e b 数据库是大规模d e e pw e b 数据集成、 搜索引擎、数据挖掘以及商业智能等其它应用的基本步骤，具有重要的意义。 2 3 d e e pw e b 数据获取的难点 w e b 正在迅速地“深化”，以数据库为载体的网站数量正以指数级的速度增长， 数据量也在迅速增长，己成为人们获取资源的重要来源。由于表单是访问资源的唯一 入口，用户往往需要提交表单才能获得所需的信息在获取d e e pw e b 数据。这些给获 取d e e pw r e b 数据带来了很多难点【5 】【1 5 】【1 6 】【1 7 】【2 0 】【2 2 】。这些难点很大程度上限制3 d e e p w e b 数据的完整性和高效性，这些难点主要有： 1 ) d e e pw e b 表单绝大多数包括文本输入项，需要提交有效的查询词才能返回结 果。 2 ) d e e pw e b 表单通常包括不止一个文本输入项，对每个文本输入项的笛卡尔积 可能产生很多错误的查询和无效的结果，但只选择一个输入项作为提交关键词的输入 可能不很很好的对w e b 数据库的覆盖。 3 ) 由于d e e pw e b 数据量大，更新速度快，更新频率具有明显的差别，所以获取 该类数据的方法必须是自动化的、高效的、增量的。 j 下是由于d e e pw e b 固有的信息蕴含方式，导致了获取这些信息时存在很多困难。 同时在解决以上这些问题的过程中，也涉及到其他相关技术的实现，如查询接口特征 提取、查询结果抽取、查询结果标注等这些都直接关系n d e e pw e b 数据获取的效果。 8 d e e pw e b 数据获取方法研究第2 章d e e p w e b 数据获取概述 2 4 解决方法介绍 2 4 1 d e e pw e b 网站特点分析 通过观察可以发现，d e e pw - e b 站点为了用户方便浏览会提供一些导航信息。除 此以外，用户浏览d e e pw r e b 网站通常会接触n - - 类网页。第一类是查询接口，如图 2 2 所示：( a ) 图是搜狐网新闻的查询接口，该接口只提供了单一的文本检索输入框； ( b ) 图是当当网图书的检索界面，该接口提供了结构化的查询条件。 绷匦塾酞避避鲤噬 荡辐，、蕾谰词 l 搜索j 。- - ； ( a ) 书名： 著译看： 出版桂： i 并： 折扣： 定价： 当当价： 出版时阊： 上架时闻： ，年匮月 盈年圈月 瓣日i 闻稿国溺 口困匡囹 图2 2d e e p w e b 查询接口 第二类是查询结果页。在查询结果页里面又分为两类，一类是查询结果的列表页， 在用户提交查洵后，网站会返回一个查询结果列表页，包括网站收藏的符合查询条件 的所有信息，如图2 3 ( a ) 是当当图书网检索j a v a 后的查询结果列表页。另一类是查 询结果的详细页用户在获得查询结果列