《商务数据分析与应用》 课件 项目三 获取与收集商务数据

项目三

商务数据的获取

与收集CONTENTS目录01

课程导入与学习目标02

任务一：收集企业数据库数据03

任务二：收集市场调研数据04

任务三：采集网络数据05

项目总结与实操训练课程导入与学习目标01课程学习目标

了解企业数据库数据收集方法掌握企业数据库的分类、价值衡量指标及核心处理概念

了解市场调研数据收集方法熟悉市场调研的作用、开展方式及9种具体调研方法的特点

了解网络数据采集方法掌握网络爬虫的原理、类型、抓取策略及常用采集工具的使用项目整体框架

知识模块划分本项目共分为企业数据库数据收集、市场调研数据收集、网络数据采集三个核心模块

思维导图参见教材。

学习路径说明按照从传统数据渠道到互联网数据渠道的顺序逐步学习，搭配实操训练巩固知识点任务一：收集企业数据库数据02企业数据库的定义与价值

企业数据库定义按照数据结构存储、组织、管理企业数据的集合，是具有相关性的用户共同关注的数据汇总

全国企业数据库内容涵盖国内40多万家上市、非上市公司的注册信息、财务信息、股东情况，是行业研究的必备工具

核心应用价值可快速推测行业经济运营状况，避免实地调研的人力、物力、时间成本投入企业数据库的分类

企业内部数据库存储单个企业的注册信息、场地、员工规模、薪酬、生产能力、技术水平等内部运营数据

企业信息库由国家机关收集全国企业的注册、经营、股东变更信息，用于宏观经济统计、行业研究和普查

两类数据库的适用场景内部数据库用于企业自身运营分析，外部信息库用于行业趋势、宏观市场研究数据库价值的衡量指标

核心评价指标全面性、准确性、时效性是数据库生存发展的三个最重要指标，用户评价是最重要的衡量维度

数据库的附加功能配套搜索功能，可快速检索特定企业信息，大幅降低信息获取的时间与成本

商用数据库的特点覆盖全量企业信息的数据库价格较高，多由投资咨询、行业研究公司持有，用于大型调研项目工业企业数据类型图示

三类数据的适用场景未脱敏数据用于企业深度研究，脱敏数据用于行业整体趋势分析

工业企业数据分为以下三种类型1、经过序贯匹配之后的未脱敏数据2、经过序贯匹配之后的脱敏数据3、未经过序贯匹配的未脱敏数据

数据处理注意事项工业企业数据处理复杂度较高，需先明确数据类型再开展后续分析工作任务二：收集市场调研数据03市场调研的定义与作用

市场调研定义运用科学方法收集消费者产品购买、使用的意见、动机等资料，开展分析研究的过程

调研开展方式可委托专业市场调研公司执行，也可由企业内部市场研究部门自主开展

对营销管理的作用提供决策基础信息、弥补信息缺口、了解外部环境变化、掌握新的市场机会传统调研方法：电话访问与CATI

01传统电话访问优点是客户参与度高，缺点是拒绝率高、第三方委托成本高，访问员多为经过培训的兼职人员

02计算机辅助电话访问（CATI）通过计算机生成问卷，访问员通过终端直接录入答案，可自动校验数据，大幅提升效率和数据质量

03两类方法适用场景传统电话访问适合小范围精准调研，CATI适合大规模标准化调研项目线下调研方法：入户访问与拦截访问

入户访问调查员到受访者家中或工作单位访问，是国内常用调研方法，抽样和受访对象选择需符合随机准则

拦截访问在商业区拦截路人开展面访，优点是效率高，缺点是样本代表性不足，多用于消费者意向调查

两类方法适用场景入户访问适合需要深度沟通的调研，拦截访问适合快速收集大众消费偏好类信息深度调研方法：小组座谈与深度访谈小组（焦点）座谈由主持人邀请6-15名目标用户开展无结构讨论，可获取意外发现，缺点是易受主持人偏见影响深度访谈法由专业调查员开展一对一无结构访问，常用阶梯前进、隐蔽问题寻探等技术，挖掘用户潜在动机两类方法适用场景小组座谈适合探索用户群体共性偏好，深度访谈适合挖掘个体深层态度和需求特殊调研方法：投影技法

投影技法定义通过让受访者解释他人行为的无结构询问方式，间接投射受访者自身的动机、态度和感情

技法分类分为联想技法、完成技法、结构技法和表现技法四类，类似心理咨询的心理分析方法

适用场景适合用于用户不愿意直接表达态度的敏感问题、潜在需求类调研远程调研方法：在线访问与邮寄调查在线访问法利用网络问卷、用户评论等收集信息，优点是反馈率高、成本低、分析便捷，缺点是易产生偏差、样本不全邮寄/传真调查表通过直邮发送问卷，优点是受访者回答时间充足、数据质量高，缺点是回收率低、反馈周期长两类方法适用场景在线访问适合年轻用户群体调研，邮寄调查适合需要精准量化结果的调研项目任务三：采集网络数据04网络数据采集的定义与技术基础

网络数据采集定义利用搜索引擎技术有针对性抓取数据，按照规则归类形成数据库的过程

核心技术支撑基于垂直搜索引擎的网络爬虫、分词系统、任务与索引系统等技术综合实现

核心应用价值可对海量网络信息分拣加工，实现数据价值最大化，服务于大数据分析和数据挖掘场景网络爬虫的定义与类型

网络爬虫定义自动下载网页的程序，可按既定目标选择性访问网页和链接，获取所需信息

爬虫的主流类型分为通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫四类，实际系统多结合使用

核心应用场景是Web信息挖掘的核心数据来源，决定了搜索系统的内容丰富度和更新及时性网页抓取策略：广度优先与最佳优先

广度优先搜索按层次逐层抓取网页，实现简单，可覆盖更多网页，缺点是会下载大量无关页面，效率较低

最佳优先搜索通过网页分析算法预测URL相关性，仅抓取高价值页面，可减少30%-90%的无关页面，缺点是易陷入局部最优

两类策略适用场景广度优先适合通用搜索引擎全量抓取，最佳优先适合面向特定主题的聚焦爬虫网页抓取策略：深度优先

深度优先搜索原理从起始网页开始，沿单条链接逐层深入抓取，处理完一条路线后再处理下一条

策略优缺点实现简单，但深层网页价值通常较低，抓取深度控制难度大，目前实际应用较少

策略适用场景仅适合特定场景下的垂直领域深度数据采集，不适合通用网页抓取任务八爪鱼采集工具介绍

八爪鱼工具定位国内领先的互联网数据收集平台，可将非结构化网页数据转换为结构化数据，支持多种格式导出

核心功能优势支持云采集，可实现精准、高效的大规模数据采集，适用于电商价格监控、舆情分析、市场分析等场景

入门采集方式官方提供200+现成采集模板，无需自行配置，仅需输入参数即可快速获取主流网站数据八爪鱼模板采集操作流程模板查找方法可通过首页输入框搜索、热门采集模板列表查找，无对应模板可提交需求申请官方制作。模板使用步骤确认模板符合需求后配置参数，启动本地采集，采集完成后可导出为Excel等格式。任务管理方法采集任务会保存在“我的任务”中，可随时查看历史数据和调整任务配置Python爬虫的核心步骤第一步：获取网页数据

通过requests库发起HTTP请求，GET请求用于获取资源，POST请求用于提交数据，获取网页HTML内容第二步：解析网页数据

利用BeautifulSoup、lxml等第三方库，通过正则表达式、xpath解析等方式提取目标信息第三步：存储网页数据

可保存为txt、csv、json等文本格式，数据量较大时可存入MySQL、MongoDB等数据库Python爬虫的数据分析环节核心分析库介绍NumPy是高性能科学计算基础包，Pandas可高效处理结构化数据，Matplotlib用于数据可视化可视化输出类型可制作散点图、折线图、条形图、直方图、饼状图、箱形图等各类统计图形流程完整性说明数据采集、解析、存储、分析是完整的工作流，最终输出满足业务需求的分析结果项目总结与实操训练05项目核心内容总结

三类数据渠道对比企业数据库使用便利但资源有限，市场调研数据一手精准但成本较高，网络采集数据覆盖面广但需技术支持

核心知识点回顾掌握三类数据渠道的收集方法、适用场景，熟悉常用工具的基础操作

后续学习方向可根据业务需求选择合适的数据获取方式，结合后续数据分析课程开展综合应用实操训练任务

实训1：国家统计局数据下载登录国家统计局官网，搜索人口数据并下载，使用WPS表格整理分析。

实训2：八爪鱼数据采集练习使用八爪鱼采集贝壳找房新房列表、京东商品详情数据，参考配套数据表格完成操作

实训要求按步骤完成操作，