分布式网络爬虫平台技术方案

网罗数据大智若渔

网络爬虫平台建设方案

爬虫工具驱动力1分布式爬虫能力介绍2分布式爬虫应用场景3巨量非结构化数据为企业带来机遇超过7.51亿网民分散在526万余个网站里*数据来源：CNNIC第40次中国互联网络发展状况统计报告用户意见观点客户潜在需求行业市场变化行业竞争趋势分散的非结构化数据……数据爬取分析变互联网数据为资源，加速驱动大数据探索及应用！当前市面工具难以满足爬取效率需求难以应对各类网站反爬策略单机模式爬取，软件性能及容错性低爬取配置繁琐，学习成本和专业要求高针对不同爬取内容需要定制开发，缺乏通用爬取能力目前市场上的通用爬虫工具繁多，主要为轻量级的单机采集版本，对于运营商级的互联网大数据爬取效率难以满足。渔夫——网罗互联网信息，构建大数据森林渔夫——互联网信息采集工具，提供规则自定义和灵活配置功能，将互联网大数据为己所用，帮助补充企业大数据维度，辅助运营。配置方式简洁明了，使用操作简单高性能分布式爬取模式抗反爬能力强，解决封IP等问题智能爬取异步加载数据实时监控爬取状态节点1节点2节点3节点N已爬取URL记录待爬取URL仓库资源库爬虫控制器队列爬取策略存储爬取内容更新待爬取记录URL筛选规则配置爬取入口适配爬虫工具驱动力1分布式爬虫能力介绍2分布式爬虫应用场景3整体架构-分布式架构设计分布式爬虫框架：采用webMagic+redisMVC技术框架：采用Springboot+mybatis爬取配置权限管理监控展示redis内存数据库爬虫DRIVER调度器爬虫节点1爬虫节点2爬虫节点3FTPHDFSRDSRDS数据库结果分析展示IP代理服务器资源配置展现层存储层调度层存储适配器监控器分布式架构部署拓扑示例调度中心中央控制器监控器IP代理服务器爬虫节点1爬虫节点2爬虫节点3爬虫节点4..............RDS数据库HDFS非关系型数据库FTP/SFTP存储适配器URL仓库下发爬取命令到各节点从仓库获取待爬URL将新的URL放入仓库获取代理IP上传爬取状态分布式多线程爬虫，萃取数据效率高；单个节点宕机，不影响其他爬虫正常工作；维护方便快捷；支持节点热拔插。爬虫控制调度产品功能模块系统管理采集状态采集数量趋势网站采集概览任务采集明细任务执行状态系统配置集群管理资源管理策略管理配置项管理采集配置采集类型监控采集策略配置伪造Header用户管理权限管理日志管理自身监控Sleep代理IP模拟登录验证码识别JS插件爬取定向内容爬取主题内容爬取网站附件爬取爬取规则定义输出模板选择爬取预览配置文件导入输出模板修改输出模板管理适配规则停用适配规则新增适配规则查询适配规则管理采集监控任务调度新增任务配置采集频次设置采集周期设置线程资源设置执行时间设置任务执行停止任务管理采集状态监控监控时间选择监控粒度选择监控指标选择任务明细查看明细检查索引库数据采集处理逻辑后台逻辑配置爬取规则调取爬取任务网页内容采集去噪、萃取存储索引模块主要数据索引文件文本分析搜索模块热点分析主题聚类情感分析……数据补充基础库自定义查询数据结果查看爬虫管理员数据使用者数据分析师前台应用支持灵活多种爬取入口，想你所想，随心所欲为用户提供多种爬取需求的入口支持，支持单网址爬取适配、URL列表导入、定向内容爬取适配、热点话题和主题的爬取适配、配置文件的爬取入口适配。URL列表导入配置文件参数配置输入适配主题/话题框选自定义爬取规则配置主题：XXX大会定向网址

RDS关系型数据库

FTP/SFTP文本存储支持各类页面内容采集和存储方式，降低使用门槛针对页面内容，可通过选择采集模板、参数格式配置、下钻链接采集等方式进行目标内容采集，且具备网页内容智能去噪等功能，输出存储到指定路径，支持多种类型存储方式。指定模板采集指定格式采集多网页合并网页智能去噪采集处理非关系型数据库HDFS存储URL下钻采集存储方式支持多类页面数据采集，提升爬虫通用能力，即见即所得图片视频流商品评论论坛评论附件导航分类主题/标题文本信息正文内容提供高度集成封装的可配置化界面，提升用户体验资源配置管理地址过滤策略萃取模板配置爬取任务调度网站萃取内容模板管理形成网站爬取规则的模板库支持模板的快速配置更新爬取任务可定义采集频率和时间配置任务状态可控分布式集群管理节点、进程数可管理资源连接及存储模块管理非目标网页可过滤URL地址可监测过滤地址可管理爬虫设计遵从“高集成、深封装、高可配”设计原则，尽可能的减少复杂配置，降低非专业人士的操作难度，在即满足多样化需求的同时，又提升用户体验，从而通过配置爬取规则和策略，快速、准确获取目标数据。可配置化界面示例规则配置采集主题配置采集采集状态任务调度实时监控采集状态，运筹帷幄可从采集任务、规则、URL级进行采集监控，支持不同监控指标和监控时间段选择查看：采集任务监控任务执行状态成功/失败数执行时长执行次数……网站采集情况采集数量趋势爬取网页总数各大网站采集数量多类采集能力机制封装，为爬虫顺利采集数据保驾护航反爬问题：有些网站要求登录访问，或者会用cookie跟踪访问过程。需要用户在网站上保持登录状态，需要在多个页面中使用同一个cookie解决方案：在web上登录之后取下cookie，将这些Cookie信息加入爬虫代码里即可模拟登录。可用开发者工具或一些浏览器插件（EditThisCookie）显示访问网站时的cookie信息模拟登录反爬问题：网站登录时要求输入验证码，或在超过访问量时弹出验证码，去阻止网络爬虫解决方案：把验证码down到本地之后，手动输入验证，但不能做到自动抓取，需要人为干预;图像识别验证码，自动填写验证，需要用到图像处理和模式识别等技术，学习成本高接入自动打码平台（最实用）

验证码识别反爬问题：文件加密，如异步请求通过js的加密库生成动态的token，这种URL通常跟浏览器参数绑定在一起，并带有时效性解决方案：编写浏览器JS插件，获取到下一请求的URL，直接爬取。selenium+phantomJS框架，调用浏览器内核，利用phantomJS执行js来模拟人为操作触发JS插件爬取反爬问题：存在需要对请求头进行验证的网站解决方案：只要请求时加入Header，则可骗过验证配置被大多数浏览器用来初始化网络请求的参数反爬问题：网站设定访问次数阈值，超过阈值时禁止请求解决方案：如访问58同城网站频繁时，会弹出一个验证码。只要有规律的sleep，就可以绕过这条限制。反爬问题：sleep降低了爬取效率解决方案：购买高质量的代理IP服务，使用多线程或分布式爬取，提高效率并解决网站封IP问题。伪造Headersleep代理IP同类产品竞争对比--我们不一样比较项渔夫主流工具架构&性能分布式架构，多线程爬取性能具备高稳定、高可靠性维护方便快捷，资源可配置，支持节点热拔插大部分是单机版，性能较低多线程爬取时，稳定性较差，维护较麻烦爬取入口多入口爬取适配、灵活方便支持单个URL录入或者批量URL批量导入定向爬取方式支持话题搜索方式支持自定义参数配置爬取方式支持模板导入方法爬取方式大部分只支持单个目标网址和关键字配置爬取爬取规则模板化对爬取规则定义进行模板化管理且对配置好的规则也模板化爬取规则不能模板化，需单独配置采集数据类型网页文本内容采集附件嗅探及采集流文件（语音/视频）大部分支持文本内容采集存储类型多样性输出介质可配置，支持文本存储、非关系性数据库、关系性数据库、索引库、Hadoop文件系统输出介质主要为文本和关系性数据库采集能力封装内置多种采集能力机制：伪造浏览器、代理IP、绕过页面“陷阱”，验证码识别等主要为代理IP、自动登录较常用方案数据关联分析为DPI数据解析注智，更为深如精准分析用户行为无DPI解析能力，不可关联DPI分析易用性界面集成封装、适应不同业务场景操作需求、配置可简可繁，以尽量保证非专业人士使用操作配置复杂，非专业人员不能使用衍生产品成熟产品链，可封装应用于多种行业、企业和场景属于独立工具，产品体系单一爬虫工具驱动力1分布式爬虫能力介绍2分布式爬虫应用场景3产品客户价值同业竞争分析舆情监测分析企业洞察画像辅助内容运营行业数据报告等开展数据运营采集泛行业基础数据跨域整合数据资源构建基础信息库构建大数据资源池补强内部数据维度等进行数据整合通过爬虫萃取并积累，构建各个行业信息库、产品库等，比如终端信息、汽车信息库、竞品信息库、电商信息库等等。与内容数据融合，进行社会/舆情、热点事件、企业洞察等分析应用，服务于行业精细化运营和精细化管理，开展数据运营。客户价值孵化数据产品生态体系以爬虫为基础能力，构建互联网大数据生态，孵化上层应用级数据产品链，以服务于电信、手机终端等泛行业的经营管理活动。大数据生态体系URL过滤URL标签DPI数据关联规则库标签库词库基础能力互联网数据爬取目标爬取数据处理数据存储文本分类聚类分析文本内容分析数据资源更新热点监测舆情监测数据分析报告用户体验分析用户需求标签产品体系情感分析……目标市场电信运营商广告运营游戏运营电商平台互联网企业终端生产商提供软件产品提供产品维护产品交付数据交付提供目标数据定期输出更新产品应用竞争分析行业发展趋势营销效果分析应用场景——热点分析自动关联DPI浏览数据，将用户访问行为和热度计算模型融合计算，捕捉市场热点与用户兴趣，进行分类展现。包括：热点地图分布综合热点排名搜索热点分析地域关注分析用户情感分析热点来源分析……应用场景——