网页爬虫解决方案_第1页
网页爬虫解决方案_第2页
网页爬虫解决方案_第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、网页爬虫解决方案1. 需求（质量、性能）1. 对于复杂型文本（如：一个标签中包含多个要提取的词或其他多余的词）要进行分词处理。2. 对于无法处理的页面或文件，需将整个页面或文件以二进制形式保存。3. 对于关键字段（如：处罚对象、处罚时间等），确保精确度在99%以上，要求去掉HTML标签、标点符号和无关单词。4. 提高爬虫的性能，对于增量数据要求在一小时内爬取完成。5. 针对现有爬虫无法达到上述目标，需调整项目方案。2. 开发方案2.1.分布式架构整个爬取过程采用分布式架构，对于90多个网站来说，将任务并行处理，可以有效的提高爬取效率。采用Linux+Hadoop进行分布式架构搭建，Hadoop

2、的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：1. 高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。2. 高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。3. 高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。4. 高容错性。Hadoop能够自动保

3、存数据的多个副本，并且能够自动将失败的任务重新分配。5. 低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。 采用分布式架构，实现爬虫的并行计算，可以有效满足对于该爬虫的性能要求。多台虚拟机可以并行的爬取网站的数据，并且可以并发的对数据库进行写操作。2.2.热词词库与分词引擎构建行政处罚数据热刺词库。分析行政处罚网站的文本语义以及组织结构，采用人工分析或机器学习模型提取关键的、经常使用的热词，构建热词词库。中文分词就是将一段中文的字序列切分成词序列的过程，基于词库的分词方法，它是按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行匹配。若在词库中找到某个字符串，则匹配成功。该方法有三个要素，即分词词典、文本扫描顺序和匹配原则。根据构建的热词词库以及标识符，对文本进行中文分词处理，切分包含该词的最小子串作为需要爬取的内容，提高从非结构化数据中提取结构化数据的质量。由于绝大多数政府网站的数据不规范，建设热词词库以及分词引擎也有利于后期维护，有更强的适应性。3. 开发周期虽然开发工作是在原来的基础上进行的，但为了能满足需

人人文库> 全部分类> 应用文书 > 事务文书

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论