八爪鱼云采集特点以及使用教程_第1页
八爪鱼云采集特点以及使用教程_第2页
八爪鱼云采集特点以及使用教程_第3页
八爪鱼云采集特点以及使用教程_第4页
八爪鱼云采集特点以及使用教程_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、八爪鱼 . 让数据触手可及！目录什么是云采集云采集设置云采集数据查看及导出云采集原理规则加速设计方法云采集相关排错什么是云采集云采集是指通过使用八爪鱼采集器提供的服务器集群进行工作，该集群是采取724小时的工作状态，时刻都可以进行数据的采集抓取。在客户端将任务设置完成并提交到云服务执行进行云采集之后，可以关闭软件，关闭电脑进行脱机采集，真正的实现无人值守。除此之外云采集通过云服务器集群的分布式部署方式，多节点同时进行作业，可以提高采集效率，并且可以高效的避开各种网站的IP封锁策略。云采集设置启动，停止云采集设置定时任务数据导出API查看云采集报告优先级，分配资源云采集数据查看及导出查看数据：直

2、接点击-“云采集已采集到XX条数据.”字样或者更多操作-查看数据-云采集数据云采集数据查看及导出云采集原理A. 一个规则任务进行云采集最少占用一个云节点，最多可以占满所有云节点B. 一个规则任务满足可拆分成子任务的情况下，最多拆成199个子任务C. 一个子任务占用一个节点，子任务全部执行完成意味着任务完成D. 一个规则任务拆成多个子任务分配到不同云节点就达到加速采集的效果E. 如果云节点被占满，那么新启动的任务或被拆分的子任务会进入等待队列，直到用户某个云节点执行完用户的某个任务释放出节点资源云采集原理如图红线处任务分配到云节点，多任务并发采集数据，如图红框处，由于节点被占满，只能进入等待队列，等待某个云节点执行完成后释放资源。（未知表示未拆分）规则加速设计方法/search/category/15/30A.URL列表循环B.文本列表循环C.固定元素列表循环云采集相关排错云采集去重原则云采集比单机慢拆分任务任务本地运行时间较短同时运行多个云采集任务云采集优化案例：/showtopic.asp

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论