（计算机软件与理论专业论文）支持ajax的deep+web爬虫技术研究.pdf

苏州大学学位论文使用授权声明 本人完全了解苏州大学关于收集、保存和使用学位论文的规定， 即：学位论文著作权归属苏州大学。本学位论文电子文档的内容和纸 质论文的内容相一致。苏州大学有权向国家图书馆、中国社科院文献 信息情报中心、中国科学技术信息研究所( 含万方数据电子出版社) 、 中国学术期刊( 光盘版) 电子杂志社送交本学位论文的复印件和电子 文档，允许论文被查阅和借阅，可以采用影印、缩印或其他复制手段 保存和汇编学位论文，可以将学位论文的全部或部分内容编入有关数 据库进行检索。 涉密论文口 本学位论文属 在年一月解密后适用本规定。 非涉密论文口 论文作者签名 导师签名 支持a j a ) ( 的d e e pw e b 爬虫技术研究中文摘要 支持a j 8 x 的d e e pw e b 爬虫技术研究 中文摘要 d e e pw - e b 中包含了大量有价值的信息，并且信息量在快速增长。随着w 曲2 0 的发展，越来越多的d e e pw e b 网站开始运用a j a x 技术来改善用户体验。但由于a j a x 技术可以异步方式与服务器交互，实现无刷新的动态改变页面内容，使得搜索引擎抓 取页面时面临着巨大的挑战。传统爬虫由于不具备处理a j a ) 【的能力，在爬取此类d e e p w e b 数据时面临困难，在一定程度上影响信息覆盖率。然而随着a j a x 技术的广泛应 用，以a j a x 为基础的新一代网络信息抽取问题的研究却将变得越来越重要。因此， 研究如何获取这类应用a j f i x 技术的d e e pw e b 网站信息成为了本文工作的出发点。 本文的研究内容与成果主要是： ( 1 ) 首先对国内外d e e pw e b 资源的规模、结构进行了调查研究，研究表明采用 a j a x 技术的d e e pw e b 网站蕴含着丰富的信息资源。纵观国内外对d e e pw e b 资源发 现的新进展，目前对这类应用a j a x 技术的d e e pw e b 网站研究的非常少。 ( 2 ) 在d e e pw - e b 爬虫体系结构的基础上，详细分析了支持a j a x 的d e e pw 曲爬 虫所面临的困难：a j a ) ( 查询接口的识别、a j a x 表单提交、a j a ) 【分页抓取。基于此， 构建了支持a j a x 的d e e pw e b 爬虫框架。 ( 3 ) 对a j a x 查询接口，根据特征将其分为三种类型。针对三种类型的a j a x 查询 接口，分别给出其识别方法与处理模型。最后完成a j a x 表单的提交。 ( 4 ) 基于d o m 树和子树的相似度，建立了结果索引页面数据区域识别模型，并 以数据区域为基础自动发现分页导航模式。同时对a j a x 分页导航模式进行研究，设 计了a j a x 分页抓取模型，最终抓取到d e e pw e b 网站查询结果。 本文进行了大量的实验，验证提出的各种理论和方法的有效性。最后本文提出了 有待进一步深入解决的问题，展望该领域科研发展的方向和前景。 关键词：深层网，爬虫，a j f i x ，查询接口 作者：郭若飞 指导教师：崔志明( 教授) r e s e a r c ho fd e e pw e bc r a w l e rs u p p o r t i n ga j a x a b s t r a c t t h e r ei sal o to fv a l u a b l ei n f o r m a t i o ni nd e e pw e b ，a n dt h ea m o u n to fi n f o r m a t i o ni s g r o w i n gr a p i d l y a st h ed e v e l o p m e n to fw e b2 0 ，m o r ea n dm o r ed e e pw e b s i t e sa p p l y i n g t h et e c h n o l o g yo fa j a xt oi m p r o v et h ee x p e r i e n c eo fu s e r s h o w e v e r , a j a xt e c h n o l o g yc a n i n t e r a c tw i t ht h es e r v e ra s y n c h r o n o u s l y , a n dr e f r e s h - f r e ed y n a m i cc h a n g e si np a g ec o n t e n t t h o s ef e a t u r e so fa j a xm a k es e a r c he n g i n e sf a c ee n o r m o u sc h a l l e n g e sw h e nc r a w l i n gt h e p a g e s s i n c et h et r a d i t i o n a ls e a r c he n g i n e sd on o th a v et h ea b i l i t yt oh a n d l ea j a x ，t h e yf a c e d i f f i c u l t i e si nc r a w l i n gd e e pw e bd a t a t h u s ，t h ec o v e r a g eo ft h ei n f o r m a t i o ni sr e d u c e d i na d d i t i o n ，谢t ht h ee x t e n s i v er e s e a r c ha n da p p l i c a t i o n so ft h et e c h n o l o g yo fa j a x ，an e w g e n e r a t i o no fa j a x b a s e dw e bi n f o r m a t i o ne x t r a c t i o ni sg r o w i n gm o r ea n dm o r ei m p o r t a n t t h e r e f o r e ，t h er e s e a r c ho nh o wt oo b t a i nt h ei n f o r m a t i o nf r o mt h ed e e pw e bs i t e st h a t a p p l i e dt h ea j a xt e c h n o l o g yi st h es t a r t i n gp o i n to f t h i sp a p e r t h e m a i nw o r ka n dr e s u l t sa r ea sf o l l o w s ： ( 1 ) f i r s to fa l l ，t h es c a l ea n ds t r u c t u r eo ft h er e s o u r c e so fd e e pw e b o nd o m e s t i ca n d i n t e r n a t i o n a lw a si n v e s t i g a t e d t h es t u d i e ss h o wt h a tt h ed e e pw e bs i t e s ，w h i c hu s ea j a x t e c h n o l o g yc o n t a i n saw e a l t ho fi n f o r m a t i o nr e s o u r c e s h o w e v e r ，t h er e s e a r c h e so ft h e d e e pw e ba p p l i e da j a xt e c h n o l o g ya r ev e r yf e w ( 2 ) o nt h eb a s i so ft h es t r u c t u r eo f t h ed e e pw e bc r a w l e r , t h ed i f f i c u l t i e so ft h ed e e p w e bc r a w l e rt h a ts u p p o r ta j a xi sa n a l y s i s ，s u c ha st h ei d e n t i f i c a t i o no ft h ea j a xq u e r y i n t e r f a c e ，t h es u b m i s s i o no ft h ea j a xf o r m ，a n dt h ec r a w lp a g eo fa j a x b a s e do nt h i s ，a f r a m e w o r ko fd e e pw e bc r a w lt h a ts u p p o r ta j a xi se s t a b l i s h e d ( 3 ) a c c o r d i n gt ot h ec h a r a c t e r i s t i co ft h ea j a xq u e r yi n t e r f a c e ，i tc a nb ed i v i d e di n t o t h r e et y p e s t h e n ，t h er e c o g n i t i o nm e t h o da n dp r o c e s s i n gm o d e li sg i v e nr e s p e c f i v e l y f i n a l l y , t h es u b m i s s i o no ft h ea j a xf o r mi sc o m p l e t e d i i r e s e a r c ho fd e e pw e bc r a w l e rs u p p o r t i n ga j a x a b s t r a c t ( 4 ) t h ed a t a - r e g i o nr e c o g n i t i o nm o d e lo ft h er e s u l t sp a g e si se s t a b l i s h e d ，o nt h e s i m i l a r i t yo ft h ed o m t r e e sa n ds u b t r e e s t h ea u t o d i s c o v e r yp a g en a v i g a t i o nm o d ei s a c h i e v e do nt h eb a s i so ft h ed a t a r e g i o n i na d d i t i o n ，t h ea j a xp a g en a v i g a t i o nm o d ei s f u r t h e rd i s c u s s e d ，a n dt h eq u e r yr e s u l t so ft h ed e e pw e bs i t e sa r eo b t a i n e df i n a l l y al o to fe x p e r i m e n t sa r ec a r d e do u tt ov e r i f yt h et h e o r i e sa n dm e t h o d s ，w h i c hi sp r o p o s e di nt h i s d i s s e r t a t i o n a tt h el a s tp a r to ft h i sp a p e r , s o m ep r o b l e m st h a tn e e df u r t h e rr e s e a r c ha r ep u t f o r w a r d f u r t h e r m o r e ，w el o o kf o r w a r dt h ed i r e c t i o na n dp r o s p e c t so ft h i sf i e l d k e y w o r d s ：d e e pw e b ，c r a w l ，a j a x ，q u e r yi n t e r f a c e i i i w f i r e n b yg u or u o - f e i s u p e r v i s e db yc u iz h i m i n g 目录 第一章引论1 1 1 研究背景与意义1 1 2 国内外研究现状2 1 3 研究的主要内容与特色创新3 1 3 1 研究目标与内容3 1 3 2 特色创新3 1 4 论文结构安排4 第二章d e e pw e b 信息集成系统与爬虫6 2 1 相关技术6 2 1 1h t m l 6 2 1 2w e b2 0 7 2 1 ：；j a v a s c r i p t 7 2 1 z ia j a x 8 2 2d e e pw e b 信息集成9 2 2 1d e e pw e b 信息集成体系结构9 2 2 2d e e pw e b 信息集成难点1 1 2 3d e e pw e b 爬虫：11 2 3 1d e e pw e b 爬虫体系结构1 l 2 3 2d e e pw e b 爬虫关键问题13 2 4 支持a j a x 的d e e pw e b 爬虫1 4 2 4 1 支持a j a x 的d e e pw | e b 爬虫的技术难点1 4 2 4 2 支持a j a x 的d e e pw r e b 爬虫框架15 2 5 本章小结1 6 第三章d e e pw e b 查询接口研究。l8 3 1d e e pw e b 查询接口18 3 1 1d e e pw e b 查询接口分类18 3 1 2d e e pw e b 查询接口发现1 8 3 1 3d e e pw e b 查询接口过滤2 0 3 2a j a ) 【查询接口识别2 2 3 2 1a j a n 查询接口特征2 2 3 2 2a j a x 查询接口识别2 4 3 2 3a j a x 查询接口处理模块2 6 3 3a j a x 表单提交2 8 3 3 1 表单提交2 8 3 3 2a j a x 表单提交2 8 3 4 本章小结2 9 第四章d e e pw 曲查询结果抓取技术研究3 0 4 1d e e pw e b 查询结果页面3 0 4 1 1d o m 树一3 0 4 1 2d e e pw 曲查询结果页面分析3 1 4 1 3d e e pw r e b 查询结果页面处理3 3 4 1 4 数据区域识别模型3 3 4 1 5d e e pw e b 查询结果抽取3 5 4 2 超链接分页导航3 6 4 2 1 超链接分页导航模式3 6 4 2 2 超链接分页结果抓取3 7 4 3a j a x 分页导航3 7 4 3 1a j a x 分页导航模式3 7 4 3 2a j a x 分页抓取的难点3 9 4 - 3 3a j a x 分页抓取的实现3 9 4 4 本章小结4 1 第五章实验设计与分析4 2 5 1a j a x 表单识别4 2 5 1 1a j a x 表单识别实验设计4 2 5 1 2a j a x 表单识别实验结果与分析4 2 5 2a j a x 表单提交4 3 5 2 1a j a x 表单提交实验设计。4 3 5 2 2a j a x 表单提交实验结果与分析4 3 5 3 数据区域识别4 4 5 3 1 数据区域识别实验设计一4 4 5 3 2 数据区域识别实验结果与分析4 5 5 4a j a x 分页抓取实验4 5 5 4 1a j a x 分页抓取实验设计4 5 5 4 2a j a x 分页抓取实验结果与分析4 6 5 5 本章小结4 6 第六章工作总结与展望一4 7 6 1 工作总结4 7 6 2 特色与创新点4 7 6 3 工作展望4 8 参考文献4 9 攻读学位期间公开发表的论文与科研项目5 4 致谢5 5 图表目录 图2 1d e e pw e b 信息集成系统( a ) 。9 图2 2d e e pw e b 信息集成系统( b ) 1 0 图2 3d e e pw e b 爬虫框架1 2 图2 4 支持a j a x 的d e e pw e b 爬虫框架1 6 图3 1 用户访问d e e pw e b 流程示例1 9 图3 2d e e pw e b 查询接口分布示意图2 0 图3 3 表单结构示意图2 l 图3 4 传统查询接口与a j a x 查询接口对比2 2 图3 5a j a ) 【查询接口实例一一2 3 图3 - 6a j a x 查询接口实例二2 4 图3 7a j a ) 【查询接口识别一2 6 图3 8a j a x 查询接口处理模块。2 7 图4 1w e b 页面d o m 树示例3 1 图4 2 查询结果索引页面示例3 2 图4 3 部分d o m 树结构。3 4 图4 4 超链接分页导航模式实例一3 6 图4 5 超链接分页导航代码实例3 6 图4 - 6 超链接分页结果抓取3 7 图4 7a j a x 分页导航模式示意图。3 8 图4 8a j f i x 分页抓取流程4 0 图5 1a j a x 分页抓取实验结果4 6 表3 1i n p u t 类型2 0 表4 1 状态转换表3 9 表5 1 爬虫执行统计4 2 表5 2a j a x 表单识别4 2 表5 3a j a ) 【表单提交实验结果4 3 表5 4 数据区域识别模型实验结果4 5 支持a j a x 的d e e pw e b 爬虫技术研究 第一章引论 第一章引论弟一早ji 可匕 本章主要介绍d e e pw e b 研究背景和研究意义，以及d e e pw | e b 当前的研究现状。 同时，提出了本文的研究内容和目标以及特色创新，最后给出本文的章节安排。 1 1 研究背景与意义 随着技术的发展，互联网包含的信息以爆炸式的速度在增长。互联网网页按其存 在方式可分为浅层网( s u r f a c ew e b ) 和深层网( d e e pw e b ) 。s u r f a c ew r e b 指以超链接可以 到达的静态网页为主构成的，传统搜索引擎可以索引的w e b 页面。d e e pw e b 是指那些 存储在网络数据库中，不能通过超链接访问的资源集合。1 9 9 4 年，d r j i l le l l s w o r t h 将 d e e pw e b 定义为那些由普通搜索引擎难以发现其信息内容的w e b 页面。根据调查显示 【l ，2 】：d e e pw 曲包含信息大约是s u r f a c ew r e b 信息的5 0 0 倍；整个互联网有3 0 7 ，0 0 0 个提 供w e b 数据库的网站、4 5 0 ，0 0 0 个w e b 数据库、1 , 2 5 8 ，0 0 0 个查询接口；d e e pw e b 信息量 在迅速增长，与2 0 0 0 年相比增长了3 至7 倍；对d e e pw e b 数据的访问量l g s u r f a c ew r e b 要高出5 0 ；d e e pw e b 上9 5 的信息是可以公开访问的，即免费获取。另外，d e e pw e b 还具有质量高、内容丰富、主题专一等许多优点。鉴于此，充分利用d e e pw e b 中的 信息显得意义十分重大，研究d e e pw e b 成为提高互联网信息获取质量和数量的有效 途径。 然而，由于d e e pw r e b 的动态性和异构性，传统的搜索引擎在索l d e e pw e b 信息 时无能为力。d e e pw r e b 研究的目的就是利用d e e pw e b 爬虫对d e e pw e b 信息资源进行 搜集整理，最后为用户提供某一领域的统一查询接口，使用户能够更快更准确地找到 需要的信息。 近年来，随着w e b2 0 的发展，运用a j a x 技术开发设计的网站越来越多。例如 g o o g l eg r o u p s ，g o o g l es u g g e s t 和g o o g l e m a p s ，都大量应用了a j a x 技术。亚马逊、当 当网的搜索引擎也采用了类似的技术。m i c r o s o f t 在a s p n e t 中也实现了a j a x 。随着 a j a x 技术的广泛应用，以a j a x 为基础的新一代网络信息抽取问题的研究将变得越来越 重要。 第一章引论 支持a j a x 的d e e pw e b 爬虫技术研究 但与此同时，由于a j a x 技术以异步方式与服务器交互，实现无刷新动态改变页面 内容，因此d e e pw 曲网站采用a j a x 技术后使得获取其数据信息更加困难。目前针对此 类网页进行信息爬取的研究还相对较少，但这方面的研究必将成为d e e pw r e b 爬虫亟 需处理的技术之一。 本文针对目前一些应用a j a x 技术的d e e pw 曲网站，从表单处理和查询结果处理两 个方面进行研究。首先，构建了g j a x 表单自动识别及处理模型，使得爬虫具备处理 a j a x 查询接口的能力。同时对查询结果索引页面进行研究，给出a j a x 分页抓取框架， 分析了a j a x 分页抓取的难点并给出了解决方案。最后设计相关实验并进行分析。 1 2 国内外研究现状 d e e pw e b 信息获取至今仍然是一个方兴未艾的研究领域，其中包含有若干需要 解决的问题。总体来看，国内外众多学者在该领域已经开展了大量的研究工作，许多 国内外的研究机构也做出了有益的探索。 p l c o m p l e t e p l a n e t t 3 1 与i n v i s i b l e w 曲【4 】等一些专门机构，通过构建d e e pw 曲目录 实现对w e b 数据库按领域分类，涉及多个领域的若干个分类。但其w e b 数据库覆盖面 仅占到整个w e b 中很小的比例，即使最大的c o m p l e t e p l a n e t 也只有1 5 6 。 由于查询接口是获取d e e pw e b 信息的唯一入口，因此d e e pw e b 爬虫首先面对的 问题就是查询接口的处理。其中针对表单填写的研究较多。根据表单填写方法的不同 大致可以分为两类：一种是基于网页结构分析的表单填写，一种是基于领域知识的表 单填写。基于网页结构分析的研究主要有针对全文本搜索的单关键字输入表单5 , 6 1 、 解析页面构建d o m 树区分简单表单及复杂表单1 7 、阶段采样表单提交【引、自适应抓取 1 9 、 亏：x q u e r y 搜索系统10 1 、自动查询系统【1 1 】等；基于领域知识的研究主要有 h i w e 1 2 1 、d e e pb o t 13 1 、多注解表单【1 4 】、动态网页爬行【1 5 】、查询关键字选择策略【1 6 1 等。同时，对于查询接1 2 1 分类【1 7 艺0 1 、表单特征提取【2 1 之4 1 等也有许多研究者进行了相关 探索。 对于a j a ) 【网页数据抓取面临一些困难2 5 1 ，一般的方法是用脚本分析引擎来模 拟浏览器动作，执行a j a x 代码。开放源码的j a v a s c r i p t 弓l 擎s p i d e r m o n k e y 提供了一个最 2 支持a j a x 的d e e pw e b 爬虫技术研究第一章引论 基本的且易于扩展的j a v a s c r i p t 分析器。另外的方法是使用标准浏览器a p i 自动构建迷 你浏览器替代h t t p 客户端处理脚本执行代码，通过自底向上的递归算法来处理动态页 面元素。 1 3 研究的主要内容与特色创新 1 3 1 研究目标与内容 随着互联网的飞速发展，整个w e b 信息己经被各种各样的可搜索在线数据库所深 化。d e e pw e b 中蕴含了海量的可供访问信息，并且还在迅速增长。尽管丰富的信息 蕴藏在d e e pw | e b 中，但由于d e e pw 曲数据的异构性和动态性，有效地把这些信息加 以利用却是一件具有挑战性的工作。特别是，当g j a x 技术被广泛应用于网站设计之后， 由于a j a ) 【技术以异步方式与服务器交互，实现无刷新动态改变页面内容的特点，使得 获取采用a j 8 x 技术后的d e e pw 曲网站的数据信息变得更加困难。 目前针对此类网页进行信息爬取的研究还相对较少口他9 1 ，但这方面的研究却是 d e e pw e b 爬虫必须面对和处理的技术之一。本文针对目前一些应用a j a x 技术的d e e p w e b 网站，尝试从表单分析和查询结果处理两个方面进行研究，主要解决的问题有： ( 1 ) 如何识别a j a x 查询接口。 ( 2 ) 如何实现a j a x 查询提交及处理。 ( 3 ) 如何提取查询结果索引页面的详细记录u r l 地址。 ( 4 ) 如何抓取a j a x 分页导航模式的分页数据。 针对以上问题，本文展开相关研究，寻找解决方案，并通过实验验证所给方法的 有效性。 1 3 2 特色创新 d e e pw 曲中蕴含了丰富的信息，并且还在迅速增长。人们对信息的需求使d e e p w 曲成为了学者与业界的研究热点。通过对d e e pw 曲进行研究，使人们可以更好更快 第一章引论 支持a j a x 的d e e pw e b 爬虫技术研究 地获取d e e pw e b 的高质量信息，同时为信息检索和知识发现等提供服务，并以此弥 补传统搜索引擎由于本身索引的偏好而导致的数据不完整，从而大大提高了索引的覆 盖率。当a j a x 技术被广泛应用于网站设计之后，由于a j a x 技术以异步方式与服务器交 互，实现无刷新动态改变页面内容的特点，使得获取d e e pw r e b 网站的数据信息变得 更加困难。尽管目前针对此类网页进行信息爬取的研究相对较少，但这方面的问题却 是d e e pw e b 爬虫必须要面临和解决的技术难题之一。 基于这种认识，本文对支持a j a x 的d e e pw e b 爬虫技术进行了深入的研究，对于提 出的每个问题进行了广泛的探讨，最终给出可行的解决方案。本文的特色与主要贡献 如下： ( 1 ) 构建a j a x 表单识别框架，自动识别使用a j a ) ( 技术的d e e pw e b 查询接口。 ( 2 ) 建立a j a x 表单提交模型，扩展d e e pw e b 爬虫支持a j a x 的处理能力。 ( 3 ) 基于d o m 树结构识别查询结果索引页面数据区域，并借助于数据区域自动发 现查询结果分页导航模式。 ( 4 ) 针对a j a x 分页导航模式，分析了a j a x 分页抓取的技术难点并给出解决方案， 同时讨论了a j a x 分页抓取系统的性能。 1 4 论文结构安排 下： 本文针对支持a j a x 的d e e pw e b 爬虫技术进行研究，共分为六章，内容组织安排如 第一章引论。该章首先介绍本文的研究背景与研究意义，通过阐述d e e pw e b 国 内外研究现状，揭示出d e e pw 曲研究的重要性。最后介绍了本文的主要创新点和内 容组织安排。 第二章d e e pw 曲信息集成系统与爬虫。该章主要介绍d e e pw e b 信息集成系统和 d e e pw | e b 爬虫的系统结构及相关技术，同时给出支持a j a x f l 勺d e e pw r e b 爬虫框架。 第三章d e e pw | e b 查询接e l 研究。该章首先对d e e pw e b 查询接口进行介绍，然后 4 支持a j a x 的d e e pw e b 爬虫技术研究 第一章引论 重点研究a j a x 查询接口的自动识别、处理，最后实现a j a x 表单提交。 第四章d e e pw e b 查询结果抓取技术研究。该章建立结果索引页面数据区域识别 模型，并以此发现分页导航模式，重点分析了a j a x 分页导航模式带来的困难并给出了 解决方法。 第五章实验设计与分析。该章主要针对第三章和第四章的研究内容设计实验， 对支持g j a x 的d e e pw e b 爬虫相关技术进行验证，并对实验结果进行分析。 第六章工作总结与展望。该章总结了全文的研究工作并再次阐述了本文的创新 之处，同时对还需要进一步解决的问题进行了讨论和展望。 5 第二章d e e pw e b 信息集成系统与爬虫支持a j a x 的d e e pw e b 爬虫技术研究 第二章d e e pw e b 信息集成系统与爬虫 本章首先简单介绍使用到的几种相关技术。然后给d e e pw e b 信息集成系统体 系结构及工作原理，引d e e pw r e b 爬虫的系统结构及关键问题。最后给出支持a j a x 的d e e pw e b 爬虫框架。 2 1 相关技术 2 1 1h t m 吐 h t m l ( h y p e r t e x tm a r k u pl a n g u a g e ) 是一种超文本标记语言。h t m l 被用来结构化信 息例如标题、段落和列表等等，也可用来在一定程度上描述文档的外观和语义。 由蒂姆伯纳斯李给出原始定义，由i e t f 用简化的s g m l ( 标准通用置标语言) 语 法进行进一步发展的h t m l ，后来成为国际标准，由万维网联n ( w 3 c ) 维护。h t m l 语法由标记t a g 和数据两部分组成： ( 1 ) 标记t a g 标记t a g 是包含在 之间的部分，由标记名和属性组成。例如： 其中i n p u t 是标记名，i d 、t y p e 、n a m e 、v a l u e 、s i z e 是属性名，属性对应等号后面 的s t p 、t e x t 、b o o k 、j a v a 、3 5 是属性值。标记名和属性不区分大小写格式，属性值可 以使用单引号、双引号包围起来，也可以不加任何引号。 h t m l 包含的标记有很多，按功能可以分为四类： 用于描述h t m l 文字意图的结构性标记，比较常用的有 、 、 、 、 、 等。 用于描述h t m l 文字显示外观的呈现性标记，例如 、 、 、 等。 6 支持a j a x 的d e e pw e b 爬虫技术研究第二章d e e pw e b 信息集成系统与爬虫 用于提供h t m l 文档关联功能的超文本标记 。 用于描述框架的框架页面标记 。 ( 2 ) 数据 数据部分是指h t m l 文档中标记t a g 以外的部分，例如： 注册会员 a p 其中“注册会员”即为数据部分。 2 1 2w e b2 o w e b2 0 是相对w | e b1 0 而言新的一类互联网应用的统称，是以f l i c k r 、c r a i g s l i s t 、 l i n k e d i n 、t r i b e s 、r y z e 、f r i e n d s t e r 、d e l i c i o u s 、4 3 t h i n g s t o m 等网站为代表，以b l o g 、 t a g 、s n s 、r s s 、w i k i 等应用为核心，依据六度分隔、x m l 、a j a x 等新理论和技术 实现的新一代互联网模式。 i 刍2 0 0 4 年w e b2 0 概念提出之后，互联网应用方式与几年前相比发生了很大的变 化。在此之前，人们应用互联网的主要方式是通过门户网站浏览新闻。而现在以论坛、 社区、博客、r s s 等为代表的更注重用户交互体验的w e b 应用模式已经成为新的技术 发展方向。 2 1 3j a v a s c r i p t j a v a s c r i p t 是一种脚本语言，即一种轻量级的编程语言。通常j a v a s c r i p t 可以由数 行可执行的代码组成。设计j a v a s c r i p t 主要是用于向h t m l 页面添加交互行为，因此 j a v a s c r i p t 通常被直接嵌入在h t m l 页面中。 j a v a s c r i p t 为h t m l 设计师提供了一种编程工具，它可以实现将动态的文本放入 h t m l 页面、对事件作出响应、读写h t m l 元素、验证数据、检测访问者的浏览器、 创建c o o k i e s 等诸多功能。 7 第二章d e e pw e b 信息集成系统与爬虫支持a j a x 的d e e pw e b 爬虫技术研究 2 1 4a j a x 1 9 9 8 年，微软开发出了允许从客户端脚本向服务器发送h t t p 请求的组件 ( x m l h t t p ) ，奠定了“支持异步请求的技术基础。2 0 0 5 年美国用户体验咨询公司 总裁j e s s ej a m e sg a r r e t t 在a j a x ：an e wa p p r o a c ht ow 曲a p p l i c a t i o n s ) ) 文章【3 0 】中， 提出了建立在x m l h t t p 组件之上，将j a v a s c r i p t 、x m l 的几种技术以新的方式组合而 成的“异步交互网络开发技术( a j a x a s y n c h r o n o u sj a v a s c r i p ta n dx m l ) ”的定义与概 念。 a j a x 是a s y n c h r o n o u sj a v a s c d p ta n dx m l 的缩写，a s y n c h r o n o u s 是“异步 的意思。 a j a x 的提出者j e s s ej a m e sg a r r e t t 这样描述a j a x ( 1 ) 使用x h t m l 和c s s 标准化显示 ( 2 ) 使用d o m ( d o c u m e n to b j e c tm o d e l ) 动态显示和交互 ( 3 ) 使用x m l 和x s l t 进行数据交互和处理 ( 4 ) 使用x m l h t t p r e q u e s t 进行异步数据获取 ( 5 ) 使用j a v a s c d p t 整合所有这一切( 这部分被称为a j a xe n g i n e ) a j a x 并不是一门全新的技术，它所包含的技术可能5 年前甚至更早就出现了，它 只是才被人们重视，并适时的出现于w e b2 0 应用中。 从技术上分析，传统的w e b 应用模式是基于超链接和表单形式实现的。当用户浏 览网页时，通过超链接或者填写并提交表单的方式，向w r e b 服务器发送请求，服务器 接收处理并返回一个新的网页。该做法浪费了许多带宽；同时由于每次应用的交互操 作都需要向服务器发送请求，导致用户界面的响应远远慢于本地应用的需要。而a j a x 技术的特点是：用户操作与服务器响应的异步化。用户访问以这种技术建设的网站时， 通过异步模式向服务器发送请求并取回需要的数据，减少了服务器和浏览器之间通信 的数据量，也减少了w r e b 服务器的处理时间；同时由于该技术采用j a v a s c r i p t 处理来自 服务器的响应，异步交互网络引擎运行在客户端，可以使很多的处理工作在发出请求 的客户机完成，提高了应用响应的速度，降低了服务器的负载。 8 支持a j a x 的d e e pw e b 爬虫技术研究第二章d e e pw e b 信息集成系统与爬虫 2 2d e e pw e b 信息集成 2 2 1d e e pw e b 信息集成体系结构 目前整个d e e pw e b 中几乎包含了我们所需要的任何信息，但要想以手工的方式 对其加以有效的利用在实际当中是一件非常困难的事情。对d e e pw e b 数据库的集成 正是为了以尽可能自动的方式来完成对w e b 数据库中信息的有效利用。根据信息集 成的方式，d e e pw e b 信息集成系统可划分为两种形式的体系结构。下面给出d e e p w e b 信息集成的两种体系结构。 图2 - 1d e e pw e b 信息集成系统( a ) 图2 1 描述的d e e pw e b 信息集成体系结构( a ) 可以分为两个部分：数据下载和数 据整理。数据下载包括的主要工作有：爬虫自动发现d e e pw e b 数据库、识别查询接 口、学习表单填写、完成查询提交并下载结果页面；数据整理包括的主要工作是：将 9 第二章d e e pw e b 信息集成系统与爬虫 支持a j a x 的d