商务基础及应用 2

《商务数据分析与应用》教案03课题

（项目、章节）项目三商务数据的采集与处理

3.1规范商务数据采集

3.2完成商务数据处理课时6授课地点授课时间授课方式理论课（√）、实践课（√）、实习（）教学目标教学目标：

知识目标：识记商务数据采集的概念与常用方法（实验法、问卷调查法、网络爬虫等）；了解商务数据采集工具（八爪鱼采集器等）的基本操作；掌握商务数据处理的三种核心问题（缺失数据、重复数据、错误数据）的处理方法与Excel实操技能；理解数据处理工具（Excel、SQL、Python、BI等）的适用场景。

能力目标：能够运用实验法、问卷调查法设计数据收集方案；能够使用八爪鱼采集器进行网页数据采集；能够熟练运用Excel进行缺失值填充、重复值删除、错误值修正等数据清洗操作；能够根据业务需求选择合适的数据处理工具；能够撰写规范的数据采集与处理说明文档。

素养目标：培养学生规范经营的职业道德；坚持公平交易，不弄虚作假；树立数据质量意识，认识到"脏数据"对分析结果的严重影响；培养严谨细致的工作态度和数据安全意识。

教学方法：讲授法、案例分析法、讨论法、演示法、任务驱动法、实操训练法。

教学手段：多媒体教学、八爪鱼采集器实操演示、Excel数据处理实操演示、网络教学资源、案例数据文件。教学方法与手段重点难点教学重点：商务数据采集的实验法与问卷调查法设计要点；八爪鱼采集器的操作流程；Excel缺失数据的三种处理方法（数值替代法、数值删除法、数值保留法）；重复数据的四种查找与删除方法（条件格式、高级筛选、COUNTIF函数、数据透视表）；错误数据的两种处理方法（不符合规范处理、手动输入错误处理）。

教学难点：理解数值替代法中样本统计量选择与统计模型计算的适用场景；掌握COUNTIF函数与IF函数的嵌套使用进行错误数据检查；区分不同数据清洗方法的适用条件与潜在风险；理解数据处理的"鲁棒性"概念及其在建模中的应用。教学过程与内容教学环节设计课堂准备（5min）

1.回顾项目二核心内容（数据分析方法与模型），引出"巧妇难为无米之炊"——数据采集与处理是数据分析的前提和基础；

2.教师准备：课件、八爪鱼采集器客户端、Excel案例数据文件（清洗缺失数据.xlsx、清洗重复数据.xlsx、清洗错误数据.xlsx）、网络环境；

3.学生准备：预习项目三，思考"在电商购物过程中，平台采集了哪些关于你的数据"。

课堂讲授（60min）

1.回顾项目一数据分析流程中的"数据收集"与"数据处理"环节，强调其在整个分析流程中的基础地位；

2.对重点难点及学生的薄弱环节进行知识点补充讲解，突出课程思政（数据隐私保护、合法合规采集、拒绝数据造假）。

知识内容：一、规范商务数据采集1.商务数据采集的概念

商务数据采集是指由预先设计的采集平台与系统程序自动采集商务平台上的数据。商务数据伴随消费者和企业的行为实时产生，广泛分布于商务平台、社交媒体、智能终端、企业内部系统和第三方服务平台，类型包括交易信息、基本信息、评论信息、行为信息、社交信息和地理位置信息等。

2.商务数据采集的方法

（1）实验法：挑选目标群体分为测试组和对照组，对测试组进行某种处理后观察反应，获取数据。适用于调查店铺装修风格、商品价格、陈列方式、付费推广等因素对用户购买行为的影响。

（2）问卷调查法：通过制订详细问卷要求被调查者回答以收集数据。设计要点：①问题表述亲切自然；②简短有概括性；③简单易懂，避免专业术语；④文字清晰，避免模棱两可；⑤顺序由浅入深；⑥不带偏见和倾向性；⑦敏感问题避免直接询问。

3.使用八爪鱼采集器采集数据

八爪鱼是深圳视界信息技术有限公司研发的网页数据采集软件，具有使用简单、功能强大等优点，可快速将网页数据转化为结构化数据。

操作模式：智能模式（输入网址全自动化导出）、简易模式（内置上百种主流网站数据源模板）、自定义模式。

操作流程：①下载客户端并注册登录；②新建自定义任务，输入目标网址；③系统自动识别网页内容并提取字段；④在"当前页面数据预览"中调整优化采集规则；⑤手动添加系统无法自动提取的字段；⑥启动采集并导出数据（Excel/数据库）。

案例：亚马逊平台商品评论采集（商品标题、图片链接、商品链接、商品价格、商品评分、评论数等字段）。

二、完成商务数据处理1.商务数据处理的概念与工具

广义：所有数据采集、存储、加工、分析、挖掘和展示等工作。

狭义：从存储数据中提取、筛选有用数据，进行增加、删除、改动、查询等操作。

核心工作：数据清洗——对"脏数据"进行清洗，让数据更加规范、结构更合理、含义更明确。

常用工具：Excel（排序、筛选、去重、分列、异常值处理、透视表）、SQL、Hive、Python、GoogleAnalytics、GrowingIO、BI、ETL（Informatica、Kettle）、Oracle、DB2、MySQL、Origin、Matlab等。

2.缺失数据处理

缺失值通常使用错误标识符（#DIV/0!）或空值表示。三种处理方法：

（1）数值替代法：使用样本统计量（平均值）或统计模型计算值替代缺失值。大样本多缺失值：定位空值后用"Ctrl+Enter"批量输入平均值；少量缺失值：使用前后记录平均值填充。

（2）数值删除法：直接删除带有缺失值的行记录或列字段。不适用场景：①缺失记录超过10%；②缺失值集中于某类样本。

（3）数值保留法：保留含缺失值的数据记录，利用KNN、决策树、随机森林、神经网络、朴素贝叶斯等鲁棒性较强的模型处理。

Excel实操：打开素材文件→选中数据→"查找和选择"→"定位条件"→"空值"→自动选中空值单元格→选择替代方法处理。

3.重复数据处理

重复数据分为完全重复和部分字段重复两类。

（1）条件格式法："开始"→"条件格式"→"突出显示单元格规则"→"重复值"→设置颜色标识。

（2）高级筛选法："数据"→"筛选"→"高级"→勾选"选择不重复的记录"→重复数据被隐藏。

（3）COUNTIF函数法：插入新列输入"=COUNTIF(\$A\$2:A2,A2)"→填充公式→统计出现次数→大于1次即为重复。

（4）数据透视表法："插入"→"数据透视表"→将目标字段拖入"行"和"值"→降序排列→计数大于1即为重复。

4.错误数据处理

（1）不符合规范要求的错误数据：使用COUNTIF与IF函数嵌套判断。例如，会员购买打折商品数量不能多于3个，公式"=IF(COUNTIF(B2:G2,"<>0")>3,"错误","正确")"，统计非零单元格数量是否超过规定范围。

（2）手动输入错误数据：使用条件格式标记。例如，数据只能为0或1，公式"=OR(B2=1,B2=0)=FALSE"，设置格式（如绿底）标记错误数据。

三、综合实践案例

1.供应商信息采集与整理：利用搜索引擎、B2B平台（阿里巴巴、慧聪网）、政府企业信用信息公示系统收集供应商信息，按地区/产品类别/规模分类整理，提交Excel文件及说明文档。

2.电动牙刷月销售数据处理：数据格式统一→重复数据处理→缺失数据处理→错误数据修正→数据验证与审核；销售趋势分析（数据透视表+折线图）、品牌型号分析（饼图+柱状图）、价格销售关系分析、促销活动效果分析、地区销售差异分析。

3.客户信息采集与处理：客户信息导入记事本TXT格式、设置自动添加客户编号、美化客户资料表格式、冻结标题行查看靠后数据。

复盘反思（10min）

（1）总结本次课重点难点，突出课程思政内容（数据隐私保护、合法合规采集、诚信经营、拒绝数据造假）。

（2）组织学生讨论本次课的收获：

知识盘点：对比三种"脏数据"（缺失、重复、错误）的处理方法，说说你的理解。

反思："数据质量决定分析质量"——讨论数据采集与处理环节中最容易被忽视的问题，以及如何在实际工作中建立数据质量保障机制。

学生反馈：八爪鱼采集器操作是否顺畅，Excel函数使用是否熟练，对数据清洗流程的理解是否到位。

以上情况，在本节课的教学活动中，以激发学生兴趣为指导原则，以团队合作为主要形式。课前准备

（5分钟）

新课讲授

（60分钟）

教师总结

（25分钟）作业（1）课后完成填空题、单选题、名词解释题、简答题、操作题等内容（见教材项目检测）；

（2）操作题：下载"清洗缺失数据.xlsx"和"清洗重复数据.xlsx"素材文件，完成以下任务：①对缺失数据分别使用"平均值替代法"和"前后记录平均值替代法"进行处理，比较两种方法的结果差异；②使用至少两种方法查找并删除重复数据；③撰写数据处理说明文档（不少于500字），说明处理思路、方法选择依据及处理结果。教学小结本专题系统介绍了商务数据采集与处理的核心技能，学生通过八爪鱼采集器实操掌握了网页数据采集方法，通过Excel实操熟练掌握了缺失数据、重复数据、错误数据的清洗技术。"潮流前线"和电动牙刷案例使学生认识到数据质量对分析结果的决定性影响。后续需加强数据清洗的自动化思维培养（如Pythonpandas应用），提升学生处理大规模数据的能力，同时强化数据伦理与合规意识教育。2026-2027学年第一学期课程教学总结