《商务数据采集与处理》课件 第1节：采集基础

商务数据采集课程第1节：采集基础课程目标实现一个简单的小目标：1、了解八爪鱼采集器采集能力2、安装注册八爪鱼采集器3、理解八爪鱼采集原理，能手动执行一次采集流程4、配置一个可执行的规则，采到100条数据5、理解AJax和新标签的差异目标全球全网通用的互联网数据采集平台，可简单快速地将网页中的多模态数据（包括文本、图片、视频等）转化为结构化数据，存储于Excel或数据库等多种形式，并且提供基于云计算的大数据云采集解决方案，实现精准、高效、大规模的数据采集。八爪鱼采集器全网通用互联网公开数据99.9%均可采集，包括各类新闻媒体、政务公告、本地生活、旅游房产、社交媒体、金融证券、电商平台及其他各种类型网站数据。极简采集通用的大数据采集平台，无需编程，自动生成采集规则可视化流程，配置灵活，帮助用户快速获取互联网公开数据，轻松掌握数据采集技能。注册与登录•登录官网/bzyedu•点击右上角【登录】按钮，选择手机号或者邮箱注册账号1.免费注册•新注册默认赠送3天会员，待会员到期后进行学生版申请。•打开学生版链接/education。•填入相关信息提交后。2.学生版申请•登陆官网教程/helpcenter查看学习。•公众号关注bzy_edu随时查看完整视频教程，可向公众号提问。3.视频教程学习•完成所有视频教程学习可以达到中级采集水平，可以解决学习和生活中90%的数据采集需求。•如果对数据采集非常感兴趣可以申请加入八爪鱼数据工坊项目，参与企业真实项目实战，以达到中级以上或高级采集水平。4.进阶简易模式-模板采集300+主流网站模板内置300+主流网站采集模板，覆盖多个真实业务采集需求。淘宝、京东、亚马逊、抖音、微博、b站、人民网、中新网、携程、同城、拉钩、小红书等等简单3步，数据直出选择模板→设置参数→获得数据，简单三步轻松抓取，多种格式一键导出。自定义模式-自定义识别全自动智能识别，简单易用对网页进行识别分析，自动生成采集流程，轻松获取数据。内置操作指引，一步步跟着操作，即可处理更复杂场景。实操1、自动识别体验/GB/414330/index.html自定义模式-自定义任务可视化流程图，操作灵活模拟人的思维浏览网页，点击页面目标区域，生成可视化采集流程，满足多种采集应用场景。任务列表页界面认识采集流程采集流程当前页面的数据预览内置谷歌浏览器流程步骤

在八爪鱼采集器中，一共有11个流程设计操作，其中分为常用步骤和进阶步骤。常用步骤：1）打开网页

2）点击元素

3）输入文本

4）循环

5）循环滚动网页

6）提取数据进阶步骤：1）识别验证码

2）切换下拉选项

3）判断条件

4）返回上一级网页

5）移动鼠标到元素上

采集原理&流程步骤采集原理►模拟人的思维浏览网页►通过设计工作流程完成自动化数据采集打开网页：输入网页URL，在八爪鱼中打开点击元素：点击网页上的某个地方，如按钮循环翻页：处理需要翻页的网页提取数据：正式的数据采集步骤循环框：记录要循环的列表，本身没有任何操作流程步骤流程执行逻辑流程执行逻辑：先从上至下，再由内而外单个步骤：会执行的步骤，与网页发生互动循环框：记录网页特征，不与网页发生互动从数据源到格式化数据单关键词多关键词单板块数据多板块数据点击字段位置选择字段类型编辑字段名称添加固定字段是否需要登录下拉框采集是否需要翻页是否需要滚动网页是否需要采集列表是否需要下载图片是否需要下载视频时间格式化长文本段落处理前后缀添加数据匹配数据筛选本地采集云采集定时采集导出到Excel导出到csv导出到数据库关键词或板块字段编辑流程编辑数据格式化采集与导出采集过程设计采集准备采集成功常见网页样式网页数据的4种样式表格列表列表详情既列表又详情列表示例网址：/search?q=%E8%87%AA%E8%A1%8C%E8%BD%A6&spm=d3d3Lnlpd3Vnby5jb20v自动识别建立循环，在设置中开启自动识别网页。输入网址后，程序就会自动识别。列表手动点击页面建立循环：Step1.选中一个列表（移动鼠标选中列表的最大范围，包含所有字段）Step2.选中全部子元素Step3.选中全部相似组Step4.点击提取元素中数据内容Step5.点击保存Step6.点击采集，选择本地采集-普通模式5分钟复现以上操作表格示例网址：/xg/xg/自动识别建立循环，没有开启自动识别功能的，在网页打开后，也可以点击操作提示中的自动识别网页。表格示例网址：/xg/xg/手动建立循环：Step1.选中一个小的单元格Step2.点击“TR”或“扩大选区“按钮（目的是选中一整行）Step3.选中全部子元素Step4.选中全部相似组Step5.点击保存Step6.点击采集，选择本地采集-普通模式3分钟复现以上操作详情示例网址：/tag/%E5%B0%8F%E8%AF%B4建立循环：Step1.选中第一个链接Step2.选中全部相似元素Step3.循环点击每个链接Step4.选择详情页需要采集的数据Step5.点击保存Step6.点击采集，选择本地采集-普通模式3分钟复现以上操作既列表又详情示例网址：/tag/%E5%B0%8F%E8%AF%B4建立循环：Step1.先用列表采集的方法，建一个循环Step2.再在循环列表内，加一个点击该链接流程（或者可以直接通过进入下一级页面功能进入详情页）Step3.选择需要采集的数据Step4.点击保存Step5.点击采集，选择本地采集-普通模式5分钟复现以上操作流程执行逻辑-3个实例实例2实例1实例3流程执行逻辑-实例1循环提取列表【打开网页】，八爪鱼自动打开目标网页。【循环翻页】，当前页是第1页，找到并记录下网页上的翻页按钮。【循环-提取数据】，记录第1页所有数据项，并按顺序依次提取每个数据项中的具体字段。最后1个数据项中的字段提取完成后，退出循环。【点击翻页】，当前页是第1页，执行1次【点击翻页】，翻到第2页。【循环-提取数据】，记录第2页所有数据项，并按顺序依次提取每个数据项中的具体字段。最后1个数据项中的字段提取完成后，退出循环。【点击翻页】，当前页是第2页，执行1次【点击翻页】，翻到第3页。【点击翻页】，当前页是倒数第2页，执行1次【点击翻页】，翻到最后1页。【循环-提取数据】，记录最后1页所有数据项，并按顺序依次提取每个数据项中的具体字段。最后1个数据项中的字段提取完成后，退出循环。【点击翻页】，当前页已经是最后1页了，找不到翻页按钮，退出翻页循环。整个【采集流程】结束。流程执行逻辑-实例2循环提取详情【打开网页】，八爪鱼自动打开目标网页。【循环翻页】，当前页是第1页，找到并记录下网页上的翻页按钮。【循环-点击元素-提取数据】，记录第1页所有目标链接，并按顺序依次点击每个链接进入详情页，提取详情页中的数据。最后1个链接点击进入详情页，并提取数据完成后，退出循环。【点击翻页】，当前页是第1页，执行1次【点击翻页】，翻到第2页。【循环-提取数据】，记录第2页所有目标链接，并按顺序依次点击每个链接进入详情页，提取详情页中的数据。最后1个链接点击进入详情页，并提取数据完成后，退出循环。【点击翻页】，当前页是第2页，执行1次【点击翻页】，翻到第3页。【点击翻页】，当前页是倒数第2页，执行1次【点击翻页】，翻到最后1页。【循环-提取数据】，记录最后1页所有目标链接，并按顺序依次点击每个链接进入详情页，提取详情页中的数据。最后1个链接点击进入详情页，并提取数据完成后，退出循环。【点击翻页】，当前页已经是最后1页了，找不到翻页按钮，退出翻页循环。整个【采集流程】结束。流程执行逻辑-实例3先翻页后采集【打开网页】，八爪鱼自动打开目标网页。【循环-点击翻页】，当前页是第1页，循环执行【点击翻页】，直到最后1页。【循环-提取数据】，记录全部页上的所有数据项，并按顺序依次提取每个数据项中的具体字段。最后1个数据项中的字段提取完成后，退出循环。整个【采集流程】结束。特别注意项：Ajax和新标签在网页上【点击】操作时，其实有两种类型：一种在当前页直接出现新数据，叫【Ajax】；一种会打开一个新标签来展示新数据，叫【新标签】；示例网址：/注：一个点击操作，不是Ajax就是新标签，一般只会勾选一个；