分布式数据采集平台介绍(网络爬虫).doc_第1页
分布式数据采集平台介绍(网络爬虫).doc_第2页
分布式数据采集平台介绍(网络爬虫).doc_第3页
分布式数据采集平台介绍(网络爬虫).doc_第4页
分布式数据采集平台介绍(网络爬虫).doc_第5页
已阅读5页，还剩4页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

分布式数据采集平台（网络爬虫）设计框架作者：数荟集 CTO时间：2016-6-8产品特色1、 高性能2、 分布式部署，规模无限扩展3、 配置灵活，可以任意配置规则4、 支持对爬虫单独设置：执行周期、执行开始时间、执行间隔等参数5、 支持http、https等协议6、 支持get方式和post方式7、 支持文件下载8、 支持翻页采集9、 支持二次js请求采集10、 支持html标签、json等任意报文11、 支持登录采集12、 支持代理采集，具有代理池功能，定时自动探测代理有效性13、 独创的规则配置体系，具有处理复杂报文的能力14、 具有采集结果加工处理能力，比如：替换、截取、清除垃圾标签、清除空格等操作15、 支持多数据库，多表数据结果16、 支持数据库插入、删除、修改等操作的功能17、 支持保存文件功能18、 具有规则失效告警功能功能介绍爬虫服务器管理（1） 新增、修改、查看和删除爬虫服务器（2） 控制分布式爬虫服务器的启动和停止。（3） 配置爬虫执行周期、执行开始时间、执行间隔等参数网址管理（队列管理）、配置网址相关参数分组管理，维护网址的分组信息，便于分类进行操作配置解析规则代理服务状态设置代理服务器导入数据库管理输入库写入规则可以配置，标题标识从网页中采集过来的标题输出文件管理输出文件名可以进行配置$日期表示系统变量日期爬虫测
人人文库> 全部分类> 应用文书 > 技术指导

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论