《商务数据采集与处理》(微课版)教学大纲

1、商务数据采集与处理（微课版）教学大纲一、课程信息课程名称：商务数据采集与处理（微课版）课程类别：专业基础课课程性质：必修计划学时：24计划学分：3先修课程：无选用教材：商务数据采集与处理（微课版），刘宝强主编，2019年；人民邮电出版社 出版教材适用专业：本书可以作为本科院校及职业院校商务数据采集与处理课程的教学用书，也可供相关从业人员和对商务数据采集与处理感兴趣的人员学习和参考。课程负责人：二、课程简介本书结合了一线大数据企业在商务数据上的采集和应用方式，从数据基础、数据来源、 数据采集到数据处理等方面展开内容讲解。本书融入了大量的实操案例，对学习目标进行详细讲解，反复强化“理论围绕实操，实

2、操深化理论，真实掌握技能”的教学理念。三、课程教学要求序号专业毕业要求课程教学要求关联程度1工程知识了解商务数据的基础知识及来源、常规数据采集工具及应 用，对商务数据以及数据采集有直观认识，了解数据采集 方法与采集器、数据采集器应用、数据采集器高级应用、 数据采集器定位方式及云采集以及使用较为广泛的采集器 八爪鱼采集器，掌握在采集数据完成后如何进行数据处理， 根据不同需要进行处理和清洗，使数据分析结果更为准确。H2问题分析发现商务数据采集与处理中存在的问题，寻找出现问题 的原因H3设计/开发解决方案提高商务数据的基础知识及来源、常规数据采集工具及应 用，对商务数据以及数据采集有直观认识，结合市

3、场上常 用的数据采集和处理工具，开发自发探索能力，更好地将 专业所学和就业技能相结合，达到学以致用的目的。H4研究5使用现代工具Excel、Database CSV、TXT、电子商务平台、 Web 爬虫、API、Java、Python、PHP、为八爪鱼数据采集系统H6工程与社会7环境和可持续发展8职业规范培养认真、谨慎的职业精神；提升各种工具的使用熟练 度和精确度H9个人和团队10沟通11项目管理12终身学习了解新的各类商务数据米集与处理软件，不断提高各类 商务数据采集与处理软件的操作能力H注：“课程教学要求”栏中内容为针对该课程适用专业的专业毕业要求与相关教学要求的具 体描述。“关联程度”栏

4、中字母表示二者关联程度。关联程度按高关联、中关联、低关联三 档分别表示为“ H”“ M ”或“ L”。“课程教学要求”及“关联程度”中的空白栏表示该课程 与所对应的专业毕业要求条目不相关。四、课程教学内容早节名称主要内容重难点关键词学时类型1商务数据采集概述商务数据的定义及类型 商务数据的主要来源及用途 商务数据采集和处理的基本方法商务数据的定义 及类型，商务数 据的主要来源及 用途，商务数据 采集和处理的基 本方法3理论2商务数据采集 工具及应用商务数据采集工具介绍爬虫软件在商务数据分析中的应 用Python爬虫在商务数据采集中 的应用数据采集方法， 常用的数据采集 工具，Python爬 虫

5、的优劣势3理论+操作3数据采集方法 与采集器了解数据采集器数据采集器的安装与界面数据采集器的优 势，安装注册数 据采集器2理论+ 操作4数据采集器应 用简易采集模式及实例 向导模式及实例 自定义采集模式使用简易采集模 式进行常见网站 数据采集，使用 自定义采集模式 进行列表详情页 数据采集，掌握 在规则中对采集 内容做初步筛选 和清洗操作3理论+ 操作5数据采集器高级应用屏蔽网页广告切换浏览器版本禁止加载图片增量采集智能防封登录采集网页源码提取图片、附件的采集与下载循环切换下拉框移动鼠标指针到元素上数据采集器的高 级功能，增量采 集和智能防封的 应对方式，增量 采集的方式5理论+ 操作6数据采

6、集器定 位方式及云采 集XPath数据定位 云采集XPath书写方 法，云采集功能与使用2理论+ 操作7数据采集器采集实例数据采集器应用领域金融网站、新闻网站、职场招聘、 店铺位置的数据采集竞品数据、企业产品相关评价、公众号文早信息的采集在实训中获得数 据采集冃匕力，熟 悉各类数据采集 领域典型网站4理论+ 操作8数据处理数据清洗与加工数据处理的定义 及作用，常见的 数据清洗方法，对各类数据进行 标准化加工处理2理论+ 操作五、考核要求及成绩评定序号成绩类别考核方式考核要求权重（% ）备注1期末成绩期末考试大作业50百分制，60分为及格2平时成绩实战训练10次40优、良、中、及格、不及格3平时

7、表现出勤情况10两次未参加课程则无法获得学分注：此表中内容为该课程的全部考核方式及其相关信息。六、学生学习建议（一）学习方法建议1 理论配合实战训练进行学习，提高学生在商务数据分析与应用专业课程中数据采集和处理问题的能力；2 在条件允许的情况下，可以 结合市场上常用的数据采集和处理工具，开发自发探索能 力，更好地将专业所学和就业技能相结合，达到学以致用的目的。3 培养、提升学生根据不同需要进行处理和清洗数据的能力。（二）学生课外阅读参考资料商务数据分析与应用，沈凤池主编，2019年；人民邮电岀版社岀版。七、课程改革与建设本书分为三部分内容，第一部分包括“商务数据采集概述” “商务数据采集工具及

8、应用”， 帮助学生对商务数据以及数据采集有直观认识，可以做到了解数据来源，规划采集方法，认识采集工具。第二部分包括“数据采集方法与采集器”“数据采集器应用” “数据采集器高级应用” “数据采集器定位方式及云采集”“数据采集器采集实例”，帮助学生通过学习掌握 98%以上互联网公开数据的采集，自行根据课题需要收集相关数据。第三部分为“数据处理”，主要介绍在采集数据完成后如何进行数据处理，根据不同需要进行处理和清洗，使数据分析结果更为准确。本书采用图解教学的体例形式，以图析文，让读者通过直观、清晰的方式掌握商务数据采集与处理的方法与技巧。同时，本书还提供了丰富的教学资源，其中包括PPT、教学大纲、教案、微课视频、案例素