《数据采集技术》课程标准

第第页六、课程教学实施（一）师资要求1.专任教师担任本课程的专任教师需要具有数据采集开发经验，具备一定的数据编程能力，同时要求对后续课程比较熟悉，把握大数据系列课程的培养目标及要求。在教学组织能力方面，本课程的主讲教师应具备基本的设计能力，即根据本课程的整体设计制定详细的授课计划，对每一堂课的教学过程精心设计，做到详细、具体的安排；还应具备较强的施教能力，在教学过程中具备一定的课堂控制能力和应变能力。2.兼职教师从事本课程教学的兼职教师，应为具备计算机类专业本科以上学历且有数据采集、处理相关工作经验的工程技术人员（二）设备、设施、软件要求名称单位最低数量备注台式计算机台每个学生一台接入互联网、预装相关环境（三）教材及参考资料1.教材信息序号名称主编出版社1数据采集技术穆建平机械工业出版社2.参考资料信息序号名称主编出版社1大数据采集与预处理技术唐世伟清华大学出版社2Python网络数据采集瑞安·米切尔人民邮电出版社（四）教学方法主要教学内容教学方法描述数据采集的核心地位案例教学、类比教学法数据来源案例教学，故事展示数据采集的主要技术路线与常用工具概览类比、举例、案例教学数据采集与数据伦理案例教学，故事展示HTTP/HTTPS协议详解案例教学、类比教学法前端基础类比、举例、案例教学静态网页与动态网页（SPA）的区分与采集策略差异类比、举例、案例教学常见反爬虫机制简介及基础应对策略案例教学、类比教学法爬虫技术类比、举例、案例教学爬虫框架与应用案例教学，故事展示其他数据源采集对比演示法与问题探究法数据库数据采集类比、举例、案例教学日志文件数据采集案例教学、类比教学法数据质量评估类比、举例、案例教学数据格式标准化案例教学，故事展示使用Python（Pandas库）进行基础的数据清洗操作类比、举例、案例教学Hash算法去重对比演示法与问题探究法ETL概念深化类比、举例、案例教学数据存储案例教学，故事展示数据可视化入门对比演示法与问题探究法（五）合作企业序号企业名称合作内容合作程度12（六）人工智能技术的应用1.智能爬虫策略优化与反反爬2.自动化网页结构识别与数据提取3.智能数据生成与隐私数据脱敏七、课程考核方法与评价标准（一）考核方式本课程考核方式为：考查。（二）评价方式1.过程性评价（1）课堂参与与职业素养评价内容：课堂互动积极性、提问与回答质量、在小组活动中的协作精神、遵守实验操作规程的意识、数据合规与伦理观念的体现。评价方式：教师观察记录、课堂提问、小组讨论贡献度评价。重点关注学生是否在实践操作中遵守robots.txt协议、尊重数据安全等职业规范。（2）实验作业评价内容：针对每个核心技能模块（如HTTP请求模拟、网页解析、数据清洗、API调用等）的独立完成情况。重点评估代码（或配置）的规范性、结果的正确性、实验报告的完整性。评价方式：根据每次实验任务的难度和重要性加权计分。采用教师批改、学生互评相结合的方式。鼓励使用Git等版本控制工具提交代码，以评估其工程习惯。2.终结性评价终结性评价在课程结束时进行，旨在综合检验学生对课程核心知识、技能的整体掌握程度和综合应用能力。评价内容：设计一个覆盖数据采集全流程的综合性项目，如“针对某一特定主题（如‘新能源汽车’），从至少两种不同来源（如新闻网站、公开API）采集数据，进行清洗、去重、整合，并完成一份包含数据来源说明、清洗过程、简单可视化图表和分析结论的报告”。评价方式：项目成果：评估采集数据的质量、清洗的有效性、代码的质量、报告的专业性。口头答辩：学生演示项目成果，并回答教师提出的技术细节、方案设计思路、遇到的困难及解决方法等问题，考察其沟通表达与深度理解能力。3.增值评价对比学生初期在编程、工具使用上的生疏程度与期末的熟练程度，评价其技术技能的提升幅度。（三）分项比例（说明：1.要求注重过程性考核，考试课过程性成绩占比60%，期末考试成绩占比40%，考查课（含实习、实训）应以过程考核为主，过程性成绩占比为90%，期末考核占比10%。2.各专业可根据课程实际情况分配过程性成绩构成和比例，其中，过程性考核必须包含“思政素养、增值评价”的考核分项，各占过程性考核成绩的10%。3.终结性考核：考试课考核项目为考试，考查课根据各课程实际情况填写，如论文、报告等。4.混合式教学须在过程性考核和终结性考核中根据实际情况填写线上、线下占比，非混合式教学只填写线下占比。此段文字提交前须删除。）过程性考核成绩、终结性考核成绩和总评成绩、均为百分制，满分均为100分。总评成绩=过程性考核成绩×过程性考核占总评成绩的比例+终结性考