



全文预览已结束
下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
网络信息动态采集策略的研究及应用【摘要】 在Internet高速发展的今天,网页数量急剧的增长,给信息采集的硬件带来极大的压力,与此同时,搜索引擎中网络爬虫的“密集”抓取活动会阻碍普通用户通过浏览器的正常访问。网络信息的采集策略对如何充分有效地利用Web信息源是至关重要的,有必要根据网页自身更新的频度来动态地调整搜索引擎采集的频率。一方面可以有针对性的采集,网页变化频率加快时可以增加采集次数,网页变化频率放慢时可以减少采集次数;另一方面减少因网站集中于某时间点采集给硬件所带来的压力。本文分析了网络爬虫原理及增量采集技术的特点,然后进一步研究了网页的变化规律,介绍了相关行业数据采集方面的自适调节周期算法。针对目前网页变化频率阈值的确定仍然存在较大主观性的情况,本文提出了四分位法,该方法是在采集过程中记录下最近N次数据,利用四分位数自动确定该阈值。本研究中所应用网络信息动态采集策略是,结合网站(或频道)的自身特点,以增量信息采集技术为基础取得采集周期内的网页变化,然后与四分位法所确定的网页变化频率阈值进行比较,当网页的变化频率超出该阈值时,相应的调节采集周期,从而实现网络信息动态采集的目的。另外,还结合本课题组动态采集算法进行了进.更多还原【Abstract】 Due to the rapid development of Internet, the quantity of web page sharply augments, to bring the acquisition hardware a great challenge, and the dense gripping of World Wide Web Crawler in search engine baffles the access of the common user through the browser. How can the network information be effectively applied? Acquisition strategy is crucial. It is essential to adjust the acquisition frequency according to the fresh frequency. Not only the acquisition is provided with the pertinence, but .更多还原 【关键词】 信息采集; 动态采集; 网页变化; 四分位法; 【Key words】 Information acquisition; Dynamic acquisition; Webpage evolution; Quartile; 【索购全文】Q联系Q:138113721 Q联系Q: 139938848付费即发摘要 4-5 Abstract 5 第1章 绪论 8-11 1.1 课题研究的背景及意义 8-9 1.2 课题的主要工作和创新点 9-10 1.3 本文研究内容及组织结构 10-11 第2章 搜索引擎的相关技术 11-24 2.1 搜索引擎概述 11-15 2.1.1 搜索引擎的起源与发展 11 2.1.2 搜索引擎的发展现状 11-13 2.1.3 搜索引擎的分类 13-15 2.2 网络爬虫的概述 15-19 2.2.1 基本原理 16 2.2.2 搜索策略 16-17 2.2.3 漫游空间的划分 17-18 2.2.4 更新周期 18 2.2.5 爬虫礼节 18-19 2.3 增量采集 19 2.4 动态信息采集技术 19-23 2.4.1 网页变化规律的研究 19-21 2.4.2 动态采集研究 21-23 2.5 本章小结 23-24 第3章 动态更新算法设计 24-38 3.1 动态采集策略的提出 24-27 3.1.1 动态采集的思想 24-25 3.1.2 改进策略 25-27 3.1.3 更新调整 27 3.2 动态更新算法的结构 27-28 3.3 动态更新算法的流程图 28-29 3.4 动态更新的具体算法 29 3.5 动态采集实验 29-37 3.5.1 算法实现与分析 29-31 3.5.2 采集实验的评价 31-33 3.5.3 固定周期与动态采集的比较研究 33-35 3.5.4 平均法动态采集与黄金分割法动态采集的比较研究 35-37 3.6 本章小结 37-38 第4章 动态更新算法的改进 38-49 4.1 基于网站优先级动态调整的动态采集算法 38-39 4.2 改进的平均动态采集算法 39-42 4.2.1 采集周期内部算法流程图 39-40 4.2.2 优先级表征指标 40-41 4.2.3 采样数量对网页的采集滞后时间的影响 41-42 4.2.4 网页发布时间的采集 42 4.3 算法实验与分析 42-47 4.3.1 平均动态采集
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 物流运输管理及成本控制方法
- 莎士比亚《哈姆雷特》经典独白深入解读
- DB15-T 3586-2024 黄河灌区高标准农田盐碱地改良效果综合评价方法
- DB23-T 3022-2021 市场主体电子档案影像管理系统信息化规范
- 软件代理合同范本及注意事项
- 音乐教学课件设计与教案编写
- 终端设备安全事件机器学习分析-洞察及研究
- 预制木结构建筑施工技术-洞察及研究
- 货币政策与金融市场效率-洞察及研究
- 六年级英语重点知识点专项复习
- 鸟笼效应课件
- 压缩空气储能系统中离心压缩机的变工况特性与调节规律深度剖析
- 党建知识应知应会测试题库(附答案)
- 制造业设备维护保养计划与检查标准
- 2025年小学诗词大会题库(含答案)
- 2025年度河北省招聘社区工作者考试模拟卷及答案
- 2025-2026学年辽师大版(三起)(2024)小学英语四年级上册(全册)教学设计(附目录)
- 医院护工消毒隔离培训
- (正式版)DB42∕T 1857-2022 《齐口裂腹鱼人工繁殖技术规范》
- 关于辩论的教学课件
- 谢好网金字塔教学课件
评论
0/150
提交评论