商业大数据应用基础（AI+微课版） 课件 项目二-商业数据的采集

项目二

商业数据的采集

目录

01数据采集的概念

02数据采集的步骤

03数据采集的原则

商业数据的采集学习目标

01知识目标

•理解数据采集的基本概念•掌握数据采集的基本步骤•熟悉数据采集的基本原则•了解数据采集常用工具

02技能目标

•能根据需求选择合适数据源•会使用采集工具获取数据•能对原始数据进行清洗预处理•能评估数据采集效果与质量

03素质目标

•培养对大数据技术的学习兴趣•树立严谨的数据素养与职业精神•增强数据安全与合规意识•培养团队协作与沟通能力

数据采集的概念Part01

概念商业数据的采集，又称“数据获取”，是指根据数据使用者的需求，通过各种技术手段，运用各种数据采集工具收集、获取和提取与企业运营、市场趋势、用户行为等相关的海量数据并加以利用的过程，并为后期的数据分析提供数据准备。1.数据采集的概念商业数据的采集

这些数据来源于多个方面，包括但不限于社交媒体、网站流量、移动应用、日志文件、传感器等。数据采集是进行商业数据分析的基础，也是数据分析过程中相当重要的一个环节，正所谓“巧妇难为无米之炊”，商业数据分析的后续所有工作内容都需要围绕数据采集环节获取的数据展开。1.数据采集的概念商业数据的采集

数据采集的步骤Part023.数据采集1.明确数据需求5.数据采集效果评估4.数据检查与预处理2.数据采集的步骤

2.选择数据源商业数据采集的流程是一个闭环的过程，需要持续地迭代和优化。通过遵循上述流程，企业能够确保所采集的数据具备高质量和可靠性，进而为企业决策提供强有力的支持。

商业数据的采集12第一步明确数据需求，确定数据采集的目标比如，我们进行数据分析是为了了解用户偏好还是分析市场趋势等。第二步根据需求选择合适的数据源包括互联网、社交媒体、传感器等。数据源的选择直接影响到数据的质量和后续分析的准确性。3第三步数据采集我们可以利用网络爬虫、API接口、传感器监测等技术手段从选定的数据源中抓取数据。2.数据采集的步骤商业数据的采集45第四步数据检查与预处理直接获取的数据往往被称为“脏数据”，我们要对采集到的原始数据进行初步的清洗，去除噪声、重复和不完整的数据，使其符合分析要求。这一步是提高数据质量的关键。第五步数据采集效果的评估判断采集的数据是否完成了数据分析的目标，从而对数据采集和分析流程进行反馈和优化。商业数据采集的流程是一个闭环过程，需要不断迭代和优化。

2.数据采集的步骤商业数据的采集

数据采集的原则Part033.数据采集的原则

完整性

准确性

合规性

可靠性

高效性

实效性商业数据的采集项目实训Part04项目实训——八爪鱼采集器实训目标1.了解网页数据采集过程2.熟悉八爪鱼采集器基本操作3.独立完成竞品数据采集任务实训环境1.八爪鱼采集器软件2.网页浏览器（Chrome/Edge）实训主题：采集淘宝网"赣南脐橙"商品的关键字、价格、主图、商品描述等信息，开展竞品分析，为市场分析提供数据支持。商业数据的采集项目实训——八爪鱼采集器1第一步确定实训数据采集主题打开八爪鱼采集器，新建采集任务，输入目标网址，明确采集对象为商品的关键词、价格、图片等信息。2第二步设计实训数据采集规则等待网页加载完成，向下滚动浏览页面内容；在页面中选中需要采集的元素，设置采集字段（店铺名称、商品价格、商品关键字等）。商业数据的采集项目实训——八爪鱼采集器3第三步设置实训数据采集流程选择"本地采集"模式，配置采集循环和翻页规则，确认采集流程无误后保存任务配置。4第四步采集实训数据启动采集任务，等待程序运行完成；在数据预览中检查采集结果，确认数据完整后导出为Excel或CSV文件。商业数据的采集项目实训——Python爬虫使用Python的requests和BeautifulSoup库，从网页中自动提取结构化数据，替代手工复制粘贴。知识准备requests：发送HTTP请求，获取网页HTML内容BeautifulSoup：解析HTML文档，提取目标数据准备工作1.打开JupyterNotebook2.安装依赖库（pipinstall）3.导入requests和bs4商业数据的采集项目实训——Python爬虫实战任务一：爬取国家统计局表格数据目标：采集第四次全国经济普查公报中"分地区企业数量"表格，用于市场潜力分析。1发送请求获取网页requests.get(url)获取统计局网页HTML，设置编码为utf-8。2解析提取表格数据BeautifulSoup解析HTML，find('table')定位表格，提取表头和行数据。3保存结果为CSV文件使用csv.writer将数据写入本地"经济普查报告.csv"。商业数据的采集项目实训——Python爬虫实战任务二：抓取新浪财经利润表（多页采集）目标：采集浦发银行（600000）2021—2024年利润表数据，掌握多页循环采集方法。1设置目标URL与年份列表URL中年份用占位符{year}表示，years=[2021,2022,2023,2024]。2循环遍历年份，逐页采集foryearinyears循环请求每个年份网页，定位第14个表格（利润表）。3拓展任务：换股票代码即可