数据采集与预处理技术 教案 孔祥铭 项目1-5 导论、Python 及相关编程工具-数据库数据抽取与处理

授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学☑课内实践□理论+实践□习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号1授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点多媒体教室教学内容：项目一任务一认识数据采集与预处理课程思政设计：1.职业认同与岗位意识——本课是课程第一节课，用入职第一天的真实情境把学生带入岗位角色，讲清数据处理不是附属工作而是分析工作的起点与基础。2.质量意识与责任担当——业界那句垃圾进、垃圾出要讲透。课堂讲清前期数据质量直接决定后续结论的可靠性，数据从业者对每一个被采用的数字都有责任。3.求实态度——采集必须走合法正当的途径，教材四条采集来源里爬虫一条特别标注了公开与合规。课堂讲清技术能力越强，越要先问有没有资格采。4.耐心细致与时间观——据统计这一环节可能占据整个数据分析项目时间的60%~80%。课堂讲清愿意在前期下笨功夫，是数据从业者的基本功而不是低效率。教学目标：知识目标：能说出数据采集的定义及其在数据分析工作中的位置；能说出传感器采集、系统日志采集、网络爬虫采集、人工录入采集四种采集来源各自的原理与典型场景；能说出数据预处理的定义与清洗、转换、整合、归约四项任务；能说出原始数据常见的四类质量问题及其具体表现与影响；能说出数据采集与预处理基本流程的六个步骤及其先后顺序。能力目标：能把一份杂乱数据的具体问题归入缺失、错误、重复、格式不统一四类中的对应类别；能按六步顺序复述数据采集与预处理的完整流程；能看懂Python读取数据的三段代码，并说出head、info、describe三句各自看什么。素质目标：养成先看清数据质量再谈分析的习惯，不拿到数据就直接做结论；养成按流程推进的习惯，不做跳步的处理；养成记录数据来源与采集方式的习惯。教学重难点及解决方法：教学重点：数据采集四条来源的辨识；原始数据四类质量问题的归类；基本流程六步的顺序。教学难点：四类质量问题的区分与归类；六步流程中质量验证环节的闭环作用。学生容易把格式不统一当成数据错误，对验证不通过要退回重做这一点也常忽略。解决方法：针对难点：把环节一中小明遇到的问题逐条投屏，让学生当场归到四类中，日期写成01/15/2024这类单独拿出来讨论，讲清它不是错值而是格式问题，学生自己说出两者的处理办法不一样；六步流程画成带回路的图，在第六步与第四步之间画一条退回箭头，学生看到箭头就知道验证不是收尾而是把关。针对重点问题：采用边讲边练，每讲完一类采集来源或一类质量问题即在课程在线教学平台推送1～2道限时练习当堂消化；把四类问题与四类采集来源各做一张归类卡片，学生人手一份；讲流程时让全班按六步复述，教师当场补正；课后按练习正确率推送分层强化题。教学环境及平台：多媒体教室，配备投影与扩音设备；课程在线教学平台。软件与工具：演示用Python运行环境（pandas），仅用于教师投屏演示，本次课学生不上机。数据与素材：教材示例学生信息文件（student_info.csv）。教学资源：①教材《数据采集与预处理技术》第11–13页正文与示例代码；②本课程课件（含四条采集来源卡片、四类质量问题归类卡片、带退回箭头的六步流程图）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂参与（主要部分）：完成四类质量问题归类卡片并复述六步流程，按归类准确性、顺序正确性、术语准确性三项评分；②随堂测验：下课前5题（四条采集来源、四类质量问题、六步流程、三个查看语句、垃圾进垃圾出），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交四类质量问题归类说明与六步流程的顺序说明。课前预习：平台3道诊断题（数据来源有哪些、常见数据问题），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.课程开篇：讲本课程的性质与定位——《数据采集与预处理技术》是一门把原始数据变成可用数据的技能课，九个项目串成一条从采集到清洗的链条。2.给出情境：小明是一名刚入职的数据分析助理，入职第一天，主管交给他一项任务——分析公司上个月的销售情况。3.讲他打开电脑看到的三类存放位置：有的在Excel表格里，有的在业务系统的数据库中，还有一些客户反馈信息存储在文本文件里。4.讲他遇到的三类具体问题：有的日期格式不统一，有的存在空白单元格，还有一些明显不合理的数值。5.提问：如果你是小明，第一步先做什么？让学生先表态再追问理由。6.讲清他的两个困惑：这些分散的数据该如何整合在一起？那些不完整、不准确的数据又该如何处理？7.点明本任务：这两个问题正是数据采集与预处理要解决的核心问题；只有将原始数据采集齐全、清洗干净、转换成统一规范格式，才能为后续的分析工作打好坚实的基础。【学生活动】听情境并记录小明遇到的三类数据存放位置与三类具体问题；对第一步先做什么发表看法并说明理由。【设计意图】对应知识目标1。本任务是本课程第一节课，用入职第一天这个具体场景把学生带入岗位角色，比直接抛定义更容易建立代入感；先让学生自己说第一步做什么，教师再引出本课主题，学生的初始猜想与后面讲的六步流程形成对照；把两个困惑明确列出，本任务的全部内容都围绕这两条展开，直接回应思政中的职业认同。环节一情境导入：入职第一天的那个难题（10分钟）情境导入任务驱动法（投屏＋讲述）职业认同：数据工作是分析的地基【教师活动】1.给定义：数据采集是指从各种数据源中获取原始数据的过程，是数据分析工作的第一步。2.讲比喻：数据采集就像是厨师准备食材的过程——要做一道菜，首先需要从菜市场、超市等不同地方购买各种原料。3.讲第一类传感器采集：传感器是一种能够感知周围环境并将信息转换为电信号的设备。举例：智能手环通过传感器采集用户的心率、步数；工厂生产线监测设备的温度、振动；气象站记录温度、湿度、风速。4.讲第二类系统日志采集：日志是计算机系统或应用程序自动记录的运行信息。举例：网站服务器记录每一次用户访问的时间、页面、停留时长；手机App记录用户的点击行为、使用时长；银行系统记录每一笔交易的详细信息。5.讲第三类网络爬虫采集：网络爬虫是一种自动访问网页并提取公开信息的程序。举例：电商平台通过合规爬虫采集竞争对手的公开商品价格信息；舆情监测系统采集社交媒体上的公开用户评论；学术研究机构采集公开发表的论文和报告。强调这里的两个关键词是公开与合规。6.讲第四类人工录入采集：这是最传统的数据采集方式，通过人工将信息输入计算机系统。举例：医院护士将患者的体温、血压录入电子病历系统；超市收银员将商品信息录入销售系统；问卷调查中将受访者的回答录入数据库。7.并列四类来源并板书，逐类标注典型场景与后续要讲的对应项目。8.提问：四类里哪一类最适合采集竞争对手的公开价格？哪一类最容易出错？让学生先答。9.点明后续：本课程的后续项目会逐个讲这些采集方式的技术实现。【学生活动】记录四类采集来源并各举一个自己见过的例子；说出采集竞争对手公开价格该用哪一类；说出哪一类最容易出错及理由。【设计意图】对应知识目标2。四类来源按技术性质分列，学生先知道数据从哪来，后面讲预处理时才知道问题从哪带来；爬虫一类单独强调公开与合规两个关键词，把法律边界讲在技术实现之前，直接回应思政中的求实态度；把四类与后续项目对应起来，学生对整门课的地图有初步印象。环节二什么是数据采集四条来源（18分钟）讲授＋板书案例分析讲练结合网络法治：采集要公开也要合规【教师活动】1.给定义：数据预处理是指对采集到的原始数据进行清洗、转换、整合、归约等操作，使其达到分析要求的过程。2.讲比喻：如果说数据采集是买菜，那么数据预处理就是洗菜、切菜——只有将食材处理干净、切成合适的形状，才能下锅烹饪。3.讲第一类数据缺失：某些记录中的部分字段没有值。举例：用户注册时没有填写年龄，订单信息中缺少收货地址。讲影响：这些缺失的数据会影响分析的完整性和准确性。4.讲第二类数据错误：数据中存在明显不合理或错误的值。举例：年龄显示为200岁、价格显示为负数、日期格式混乱等。讲影响：这些错误数据如果不加以处理，就会严重干扰分析结果。5.讲第三类数据重复：同一条信息在数据中出现多次。举例：用户多次刷新页面导致同一次访问被记录多次，系统故障导致订单被重复提交。讲影响：重复数据会导致统计结果偏高。6.讲第四类格式不统一：来自不同系统或渠道的数据，其格式可能各不相同。举例：日期有的写成2024-01-15，有的写成01/15/2024；性别有的用男女表示，有的用M/F表示。讲影响：格式不统一会给数据整合带来困难。7.并列四类问题并板书，逐类标注表现与影响。8.把01/15/2024这个例子单独拿出来问：它算错误还是格式问题？让学生讨论后说明它本身没有错，只是与另一套写法不一致，两者处理办法不同。9.讲预处理的四项任务：数据清洗、数据转换、数据整合和数据归约，说明这些内容将在后续任务中详细介绍。10.让学生把小明遇到的三类问题归入四类中。【学生活动】记录四类问题并各举一例；参与讨论01/15/2024算错误还是格式问题；把小明遇到的三类问题归入四类中。【设计意图】对应知识目标3、4，突破难点四类问题的区分。四类问题按表现与影响并列讲，学生记住的是问题长什么样；把日期写法这个例子单独拿出来讨论，学生自己说出它与错误值的差别，归类能力才真正建立；与环节一小明的三类问题当场对应，两个环节形成闭环，学生看到情境里的问题在知识里都有位置。环节三什么是数据预处理与四类质量问题（18分钟）讲授＋板书对比讲授讲练结合严谨态度：格式不一致不等于数据错【教师活动】1.点明数据采集与预处理虽然是数据分析的前期准备工作，但其重要性不可忽视。2.讲业界广为流传的一句话：垃圾进，垃圾出。讲清意思是如果输入的数据质量很差，那么无论使用多么先进的分析方法，得出的结论也不会可靠。3.讲金融风控例子：银行需要通过分析用户的信用数据来判断其贷款风险。如果采集的数据不全面，比如缺少用户的收入信息，或者数据存在错误，比如将还款记录弄混，那么风控模型就可能做出错误的判断，导致不该放贷的用户获得贷款，或者优质客户被拒之门外。4.讲电商推荐例子：平台需要根据用户的浏览和购买记录来推荐商品。如果用户行为数据采集不完整，或者存在大量重复和错误的记录，那么推荐系统就无法准确理解用户的喜好，推荐的商品可能与用户需求相差甚远，从而影响用户体验和平台销售额。5.并列两个例子并板书共同结构：数据质量出问题→模型判断出错→业务结果受损。6.讲时间占比：在实际工作中，数据分析人员往往需要花费大量时间在数据采集与预处理上；据统计，这一环节可能占据整个数据分析项目时间的60%~80%。7.提问：60%~80%这个比例说明了什么？引导学生说出前期工作决定了后续分析的上限。8.点明结论：因此，高质量的数据采集与预处理是数据分析成功的基础和前提。【学生活动】记录两个行业案例并各说出一个后果；说出两个例子的共同结构；对60%~80%这个比例说明什么发表看法。【设计意图】对应知识目标5。两个行业案例分列讲但都归结到同一条因果链，学生记住的是一个结构而不是两个故事；把60%~80%摆出来让学生自己解读，比例带来的冲击由数据本身给出，直接回应思政中的质量意识与时间观；把结论讲在本环节最后，前面的案例与比例都成了它的支撑而不是装饰。环节四为什么要重视：垃圾进垃圾出（12分钟）案例分析讲授＋板书问题驱动法质量意识：前期质量决定结论上限【教师活动】1.点明数据采集与预处理是一个系统性的工作，通常包含六个步骤。2.第一步明确需求：在开始采集数据之前，需要明确分析的目标是什么，需要哪些数据来支撑分析。举例：如果要分析用户的购买行为，就需要采集用户的基本信息、浏览记录、购买记录等数据。3.第二步确定数据源：根据需求确定数据从哪里获取。数据源可能包括企业内部的数据库、日志系统，也可能包括企业外部的公开数据、第三方数据等。4.第三步数据采集：使用合适的技术手段从各个数据源获取数据。不同类型的数据源需要使用不同的采集方法，例如数据库需要通过SQL语句，网页需要通过爬虫抓取。5.第四步数据预处理：对采集到的原始数据进行清洗、转换、整合、归约等操作，解决数据中存在的质量问题，使其满足分析要求。6.第五步数据存储：将处理好的数据存储到合适的位置，以便后续分析使用。存储方式可以是数据库、数据仓库，也可以是文件系统。7.第六步质量验证：对处理后的数据进行检查，确保数据的完整性、准确性和一致性均符合要求。8.讲清六步的闭环：第六步验证不合格要退回第四步重做，画一条从第六步指向第四步的退回箭头。9.讲清需求与数据源两步的关系：需求不明确，数据源就无从确定；这两步不做，后面全是无的放矢。10.让全班按六步复述，教师当场补正。【学生活动】按六步顺序复述流程；说出验证不合格要退回哪一步；说出需求与数据源两步的关系。【设计意图】对应知识目标6，突破难点六步流程的闭环作用。六步按依赖顺序讲而不是罗列，学生看到的是一条链；退回箭头是本环节的关键一笔，学生看到箭头就明白验证不是收尾动作而是把关动作，直接落实思政中的耐心细致；让全班复述而不是教师总结，便于当场发现理解缺口。环节五基本流程六步（15分钟）讲授＋板书流程图示讲练结合流程意识：验证不合格要退回重做【教师活动】1.说明本环节是教师投屏演示，学生同步记录代码；本次课不上机实操，上机从项目二开始。2.给出案例：有一个记录学生信息的CSV文件student_info.csv，需要将其读取到Python中进行查看。3.逐句投屏演示：导入Pandas库；用read_csv读取文件；打印数据预览并输出前5行；打印数据基本信息；打印数据统计摘要。4.逐句讲清每段输出看什么：head看前5行的字段名与内容；info看有多少行多少列、每列的数据类型、是否存在缺失值；describe看数值列的统计摘要。5.投屏实际运行结果，逐项读出本数据集的行数、列数、各列类型与缺失情况。6.讲这三句的作用：这三句就是初步了解数据质量状况的入口，为后续的预处理工作做好准备。7.讲清使用Python进行数据采集与预处理的基本流程：首先导入相关库，然后读取数据，最后对数据进行查看和分析。8.讲清本次演示的定位：这只是感性认识，在后续的学习中将逐步掌握更多的数据处理技术和方法。【学生活动】记录三段代码与各自的输出内容；跟着教师读出本数据集的行数、列数与缺失情况；口述使用Python处理数据的基本流程。【设计意图】对应能力目标3。本环节定位为教师投屏演示而非学生实操，与本次课的理论教学定位一致，学生的课堂预期在环节开头就被明确，不产生落差；逐句讲清每段输出看什么，学生知道这三句不是要背的代码而是读数据的三个角度；把演示定位讲明，避免学生以为数据查看只有这三句，也为项目二的上机留出衔接。环节六综合演示：Python初体验（12分钟）演示—模仿直观演示法（投屏＋记录）循序渐进：先看懂再上手【教师活动】1.引导学生用三句话小结：①采集是买菜、预处理是洗菜切菜，两步缺一不可；②原始数据的问题有缺失、错误、重复、格式不统一四类；③工作六步走，最后一步是质量验证，不合格要退回重做。2.板书知识框架：采集四条来源→四类质量问题→六步流程→初体验，学生拍照记录。3.课程在线教学平台推送当堂检测5题（四条采集来源、四类质量问题、六步流程、三个查看语句、垃圾进垃圾出），限时5分钟，系统自动批改，当场讲评错误率最高的一题。4.布置作业并预告：下一任务讲数据的三种类型与各自的预处理流程，请课前观察自己手机里哪些数据是表格、哪些是文本、哪些是图片。【学生活动】口述三句话小结；独立完成检测；记录作业要求与下一任务思考题。【设计意图】覆盖知识目标1～6，属形成性评价。三句话小结把本课压缩成三条可复述的准则，其中第三条承载流程闭环；知识框架与环节二的四条来源、环节三的四类问题、环节五的六步流程完全对应，学生在一节课内形成完整图景；预告下一任务时用手机里的数据分类做引导，把抽象的三类数据落到学生自己身上，保持整门课的连续性。环节七小结与当堂检测（5分钟）归纳小结在线检测自动批改诚信意识：独立作答不查资料课外学习任务及学习指导课前：1.预习教材项目一任务一（第11–13页），标注不理解的概念。2.观察自己日常接触的数据分别存放在哪里，为课堂讨论做准备。3.完成课程在线教学平台3道课前诊断题（数据来源有哪些、常见数据问题），统计错误率用于调整讲授重点。课后：一、基础巩固（必做，下次课前提交）1.完成教材第11–13页本节练习。2.提交四类数据质量问题的归类说明，各举一个自己见过的例子，并写出数据采集与预处理六步流程的顺序说明。二、拓展提升（选做，A／B二选一）A.另选一个行业（如医疗、交通、农业），说明该行业主要依靠四类采集来源中的哪一类获取数据，并说明理由。B.收集三份自己日常接触到的电子数据（如成绩表、聊天记录、照片），分别说明它们属于哪种存放形式，并指出其中可能存在哪类质量问题。三、思政拓展（选做）结合本次课讲的垃圾进、垃圾出，写100字感想，谈谈为什么数据分析人员愿意把60%~80%的时间花在前期数据处理上。填表说明：1.本页可续页；2.教学方法如：项目教学、案例分析、分组讨论、角色扮演、启发引导等；3.教学手段如：课件演示、模型讲解、实物讲解、挂图讲解、视频讲解、网络课程等。授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学☑课内实践□理论+实践□习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号2授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点多媒体教室教学内容：项目一任务二数据类型与预处理流程课程思政设计：1.分类意识与方法匹配——不同形态的数据要用不同办法处理，不存在通用解。课堂讲清先判断数据属于哪一类再选工具，是数据工作者的第一道判断。2.辩证思维与顺序意识——清洗、转换、整合、归约四步不能乱。课堂讲清格式没统一就整合会合并不上，顺序不是形式主义而是依赖关系。3.工程规范与异常意识——采集前要确定范围、频率，还要做好异常处理与日志记录。课堂讲清采集不是拿到数据就完事，采不到时怎么办也要先想好。4.数据主权与存储安全——结构化进关系库、半结构化进NoSQL、非结构化进对象存储。课堂讲清不同数据存在不同地方，权限与保护的边界也不同。教学目标：知识目标：能说出结构化、半结构化、非结构化三类数据的定义、典型示例与存储方式；能说出结构化数据的三个主要特点与非结构化数据占比越来越大的现状；能说出结构化数据采集的三种常用方式及其适用场景；能说出采集过程中需要事先确定的三个注意事项；能说出结构化数据预处理四个环节各自的目的与主要任务；能说出文本数据与图像数据各自的预处理步骤；能说出Python及常用库、数据库工具、ETL工具三类工具各自的用途。能力目标：能把一份给定的数据准确归入三类中的一类并说明判断理由；能按清洗、转换、整合、归约四步说明一份结构化数据的处理顺序；能看懂结构化数据处理的五段演示代码，并说出每段输出看什么；能说出文本与图像两条非结构化处理流程的共同点。素质目标：养成拿到数据先判断类型再选工具的习惯，不一律用表格的办法处理所有数据；养成按依赖顺序推进处理的习惯，不做跳步的合并；养成采集前先确定范围与频率的习惯，不盲目全量抓取。教学重难点及解决方法：教学重点：三类数据的辨识与存储方式的对应；结构化数据预处理四环节的顺序；文本与图像两条非结构化处理流程的异同。教学难点：半结构化数据的定位；四环节顺序的依赖关系。学生容易把半结构化简单归到结构化或非结构化，对四步顺序为什么不能换也说不出理由。解决方法：针对难点：把同一本书的三种表示并列投屏——一张Excel表格、一段JSON文本、一页扫描图片，让学生自己说哪个能一眼看出行列、哪个要靠标签才读得懂、哪个完全没有行列，半结构化的位置由学生自己定位；四环节用反例追问，先问不清洗直接转换会怎样、不转换直接整合会怎样，学生自己说出合并不上，顺序理由由结论倒推。针对重点问题：采用边讲边练，每讲完一类数据或一个环节即在课程在线教学平台推送1～2道限时练习当堂消化；把表1-1放大投屏，学生按定义、示例、存储方式三列逐格记录；讲四环节时让全班按四步复述并各举一例；课后按练习正确率推送分层强化题。教学环境及平台：多媒体教室，配备投影与扩音设备；课程在线教学平台。软件与工具：演示用Python运行环境（pandas），仅用于教师投屏演示，本次课学生不上机。数据与素材：教材示例销售数据文件（sales_data.csv）、三种数据类型的对照样例（Excel表格、JSON文本、图片）。教学资源：①教材《数据采集与预处理技术》第14–17页正文、表1-1与示例代码；②本课程课件（含三类数据对照样例、四环节流程图、文本与图像两条流程对照表）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂参与（主要部分）：完成三类数据辨识并复述四环节顺序，按辨识准确性、顺序正确性、举例合理性三项评分；②随堂测验：下课前5题（三类数据及存储方式、三种采集方式、四个环节、两条非结构化流程、三类工具），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交三类数据辨识说明与四环节顺序说明。课前预习：平台3道诊断题（常见数据格式、Excel与JSON的区别），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.承接任务一：上一任务认识了数据采集与预处理的基本概念，也知道了原始数据有缺失、错误、重复、格式不统一四类问题。提问：是不是所有数据都长成一个样？2.给出情境：在实际工作中，我们会遇到各种各样的数据——有的数据结构规整，像Excel表格一样行列分明；有的数据则比较松散，例如一段用户评论或一张产品图片。3.点明差别：这些不同形态的数据，采集和处理的方式也各不相同。例如，处理一张图片和处理一份Excel表格，所需要的技术和工具就完全不一样。4.提问：一段用户评论和一张产品图片，处理时会有什么不同？让学生先说再补充。5.点明本任务：了解数据的分类方式及特点，是学习数据采集与预处理的重要理论基础。6.讲本任务路线：先分三类，再分别看结构化与非结构化的采集预处理流程，最后认识常用工具。【学生活动】口述上一任务讲的四类数据质量问题；对图片的表格在处理上的差别给出猜想；说出自己日常接触过哪些形态的数据。【设计意图】对应知识目标1。以任务一已建立的四类问题为起点，把话题从数据好不好的问题推进到数据长什么样的问题，认知层次自然递进；先让学生自己说图片与表格的差别，后续三类数据的判断标准就由他们自己的观察引出；明确本任务路线，学生在听课过程中知道当前处在哪一段，直接回应思政中的分类意识。环节一情境导入：一段评论和一张表格（8分钟）情境导入问题驱动法（投屏＋讲述）分类意识：先看清长什么样再谈怎么处理【教师活动】1.讲分类的着眼点是数据的组织形式和结构特点，据此通常将数据分为结构化数据、半结构化数据和非结构化数据三大类。2.讲结构化数据：指具有固定格式和模式的数据，可以用二维表格的形式来表示，即有明确的行和列。每一行代表一条记录，每一列代表一个字段（属性），每个字段都有固定的数据类型。3.讲典型例子：数据库中的表格、Excel电子表格、CSV文件。举例：一张记录学生信息的表格，包含学号、姓名、性别、年龄、班级等字段，每个学生的信息占一行。4.讲三个特点：格式固定（数据的结构在创建时就已确定，所有记录都遵循相同的格式）；易于存储与查询（可以使用关系型数据库如MySQL、Oracle进行存储，通过SQL语言进行高效查询）；便于统计分析（由于格式统一，可以直接使用各种统计分析方法进行处理）。5.讲半结构化数据：是介于结构化数据和非结构化数据之间的一种数据类型。它虽然不具有像关系型数据库中的表那样严格规整的结构，但通过特定标签或标记分隔数据元素，具有一定的组织形式。6.讲典型例子并投屏书籍JSON：逐行说明花括号、方括号、冒号如何组织数据，讲清它具有一定的结构，但不像表格那样有严格固定的行列形式。7.讲半结构化特点：具有一定的结构性，但比结构化数据更加灵活；可以使用NoSQL数据库（如MongoDB）进行存储，在互联网应用中使用非常广泛。8.讲非结构化数据：指没有固定格式和模式的数据，内容形式自由，难以用传统的行列结构来表示。典型例子：文本文档、图片、音频、视频、电子邮件。9.讲非结构化特点与现状：格式自由，内容丰富多样，但处理与分析难度相对较大；在大数据时代非结构化数据的占比越来越大，据估计企业数据中80%以上是非结构化数据；处理非结构化数据通常需要借助自然语言处理、计算机视觉等人工智能技术。10.投屏表1-1，逐格讲清定义、典型示例、存储方式三列。11.让学生把手边的一个数据归入三类之一并说明理由。【学生活动】记录三类数据的定义与典型示例；观察JSON例子并说出它与表格的差别；把手边的一个数据归入三类之一并说明理由。【设计意图】对应知识目标1、2，突破难点半结构化的定位。三类数据按组织形式由紧到松排列，学生记住的是一条谱系而不是三个名词；把JSON例子逐行讲透，半结构化夹在中间的位置就由例子自己说清楚；表1-1逐格讲存储方式，学生知道不同类型存在不同地方，为后面讲工具与数据主权埋下伏笔。环节二三种数据类型（18分钟）讲授＋板书对比讲授讲练结合分类意识：三类数据存在不同地方【教师活动】1.讲数据库查询：是最直接的方式，通过SQL语句从数据库中提取所需数据。举例：从订单表中查询上个月的所有订单记录。2.讲文件读取：适用于存储在CSV、Excel等文件中的数据，可以使用编程语言的相关库（如Python的Pandas）直接读取。3.讲API接口调用：适用于从第三方系统获取数据的场景，通过调用对方提供的接口获取数据，返回的数据通常是JSON格式。4.并列三种方式并板书，逐种说明适用场景。5.讲采集过程中第一个注意：明确采集范围，确定需要哪些表、哪些字段、哪个时间段的数据。6.讲第二个注意：选择合适的采集频率，根据业务需求决定是全量采集还是增量采集。7.讲第三个注意：做好异常处理，针对采集失败的情况设置重试机制并做好日志记录。8.讲三条注意的共同点：都是动手之前要定下来的事，没定清楚就采，采回来的数据要么不全要么太多。9.提问：一张日订单百万条的表，每天全量采一遍合不合适？引导学生说出该用增量采集。10.点明本环节讲的是结构化数据的采集，非结构化数据的采集方式不同，下一环节讲。【学生活动】记录三种采集方式及适用场景；说出三条采集注意事项；对日订单百万条的表该全量还是增量给出判断。【设计意图】对应知识目标3、4。三种方式按数据来源分列，学生知道该从哪下手；三条注意事项放在采集方式之后讲，是先讲怎么做再讲怎么做才对，顺序符合认知；用百万订单表让学生自己判断全量与增量，抽象的频率选择落到具体数量上，直接落实思政中的工程规范。环节三结构化采集三种方式与三个注意（13分钟）讲授＋板书问题驱动法讲练结合工程规范：采不到怎么办也要先想好【教师活动】1.讲数据清洗：目的是去除数据中的噪声和错误，提高数据质量。主要任务包括处理缺失值、删除重复记录、修正错误数据等。举例：对于订单金额为负数的记录需要进行检查和修正；对于重复提交的订单需要进行去重处理。2.讲数据转换：目的是将数据转换成统一的格式，便于后续分析。主要任务包括统一日期格式、统一计量单位、对分类数据进行编码等。举例：将不同格式的日期统一转换为年月日的格式；将美元金额按汇率转换为人民币。3.讲数据整合：目的是将来自不同数据源的数据合并到一起。主要任务包括关联不同表的数据、合并不同系统的数据等。举例：将订单表与用户表通过用户ID关联，获取订单对应的用户信息。4.讲数据归约：目的是在保持数据完整性的前提下减少数据量，提高处理效率。主要任务包括删除冗余字段、对数据进行聚合汇总等。举例：删除与分析目标无关的字段，将明细数据按天汇总为日报数据。5.并列四个环节并板书，逐个标注目的与主要任务。6.讲四者的顺序与联系：先清洗去掉脏的，再转换统一格式，然后才能整合，最后按需归约。7.用反例追问：不清洗直接转换会怎样？不转换直接整合会怎样？引导学生自己说出合并不上。8.联系任务一：这四个环节就是任务一讲的预处理四项任务的具体展开，本任务把它讲细。9.让全班按四步复述并各举一例。【学生活动】记录四个环节各自的目的与主要任务；回答两个反例追问；按四步复述并各举一例。【设计意图】对应知识目标5，突破难点四环节顺序的依赖关系。四个环节按目的与任务并列讲，学生记住的是每个环节解决什么；两个反例追问是本环节的关键，学生自己说出合并不上，顺序就从规定变成了认识；与任务一的四项任务呼应，新旧知识接成一条链，直接落实思政中的顺序意识。环节四结构化预处理四环节（16分钟）讲授＋板书反例追问讲练结合顺序意识：格式没统一就合并不上【教师活动】1.讲文本数据：是最常见的非结构化数据类型之一，包括新闻报道、用户评论、电子邮件等。2.讲文本采集：通常通过网络爬虫、API接口或直接读取文件等方式实现。举例：从社交媒体平台采集用户评论，需要使用爬虫技术或调用平台提供的API接口。3.讲文本预处理四步：文本清洗，去除文本中的噪声信息，如HTML标签、特殊符号、多余空格等；分词处理，将连续的文本切分成独立的词语，其中中文分词需要使用专门的分词工具如jieba分词；停用词过滤，去除的了是等没有实际意义的词语；文本向量化，将文本转换成计算机可以处理的数值形式。4.讲图像数据：包括照片、扫描件、医学影像等，在安防监控、医疗诊断、自动驾驶等领域应用广泛。5.讲图像采集：通常通过摄像头拍摄、扫描仪扫描或从网络下载等方式实现；图像文件的常见格式包括JPG、PNG、BMP等。6.讲图像预处理四步：图像读取，将图像文件加载到内存中，转换成数值矩阵的形式；尺寸调整，将不同大小的图像调整为统一的尺寸；图像增强，通过调整亮度、对比度等参数提高图像质量；归一化处理，将像素值缩放到特定范围如0~1之间，便于后续模型处理。7.并列两条流程并板书，逐条讲清每一步做什么。8.讲两条流程的共同点：都是把形式自由的内容转换成可计算的数值，文本转成向量、图像转成矩阵。9.点明后续：项目八会专门讲文本、图像视频、音频三类非结构化数据的处理，本环节只做概览。【学生活动】记录文本与图像各自的四步流程；说出两条流程的共同点；举例说明自己见过的一个非结构化数据应用场景。【设计意图】对应知识目标6。两条流程并列讲，学生看到不同媒介的处理步骤表面不同、内在一致；把共同点单独提炼出来，学生把握住非结构化处理的核心思路而不只是记住八个名词；点明项目八会展开，学生对整门课有路线图，不在入门课上钻细节，直接落实思政中的方法匹配。环节五非结构化两类处理流程（16分钟）讲授＋板书对比讲授讲练结合方法匹配：不同媒介各有各的路【教师活动】1.讲Python及其相关库：Python是数据分析领域最流行的编程语言之一，拥有丰富的数据处理库。Pandas是最常用的数据处理库，提供了DataFrame数据结构，可以方便地进行数据读取、清洗、转换等操作；NumPy是数值计算库，提供了高效的数组运算功能；Requests和BeautifulSoup是常用的网络爬虫库，用于从网页采集数据。2.讲数据库工具：MySQL、PostgreSQL等关系型数据库是存储和管理结构化数据的重要工具，通过SQL语言，用户可以方便地进行数据查询、筛选、聚合等操作；MongoDB等NoSQL数据库则适合存储半结构化和非结构化数据。3.讲ETL工具：ETL是抽取、转换、加载的缩写，是指从数据源抽取数据、进行转换处理、加载到目标系统的过程；常用的ETL工具包括Informatica、Kettle等，这些工具提供了可视化的界面，可以方便地设计和管理数据处理流程。4.讲三类工具与三类数据的对应：结构化用SQL与pandas，半结构化与非结构化用MongoDB与对象存储，跨系统流转用ETL。5.投屏演示综合案例五步：读取数据并打印原始数据形状与预览；查看数据类型信息；检查缺失值；检查重复值；基本数据清洗，删除重复记录并打印去重后行数与统计摘要。6.逐句讲清每步看什么，强调本次是教师投屏演示，学生同步记录，上机从项目二开始。7.讲本案例的意义：通过以上五步完成了数据读取、信息查看、缺失值检查、重复值检查和基本数据清洗等操作，这是结构化数据预处理的典型流程。8.点明后续：在后续学习中将深入学习更多的数据清洗和转换技术。【学生活动】记录三类工具各自的用途；跟做记录五步演示代码与各自输出；口述本案例完成了哪几项操作。【设计意图】对应知识目标7，落实能力目标3。三类工具按用途分列并与三类数据对应，学生知道什么工具用在什么数据上；五步演示既是本任务的综合产出，也复现了环节四的四环节思路，理论与实践在同一环节闭合；明确本次只演示不上机，学生的预期与教学形式一致，也为项目二的上机留出衔接。环节六工具简介与综合案例（14分钟）讲授＋板书演示—模仿（投屏＋记录）循序渐进：先用对工具再谈优化【教师活动】1.引导学生用三句话小结：①数据分结构化、半结构化、非结构化三类，判断标准是有没有行列、靠不靠标签；②结构化预处理四步走，清洗、转换、整合、归约，顺序不能乱；③非结构化的共同点是都要转成可计算的数值，文本转向量、图像转矩阵。2.板书知识框架：三类数据→采集方式→四环节→两条非结构化流程→工具，学生拍照记录。3.课程在线教学平台推送当堂检测5题（三类数据及存储方式、三种采集方式、四个环节、两条非结构化流程、三类工具），限时5分钟，系统自动批改，当场讲评错误率最高的一题。4.布置作业并预告：下一任务讲数据采集的法律法规与伦理，请课前留意自己手机里哪些App要过哪些权限。【学生活动】口述三句话小结；独立完成检测；记录作业要求与下一任务思考题。【设计意图】覆盖知识目标1～7，属形成性评价。三句话小结把本任务压缩成三条可复述的准则，其中第二条承载顺序意识；知识框架与环节二的三类数据、环节四的四环节、环节五的两条流程完全对应，学生在一节课内形成完整图景；预告下一任务时用手机权限做引导，把法律问题落到学生自己身上，保持整门课的连续性。环节七小结与当堂检测（5分钟）归纳小结在线检测自动批改诚信意识：独立作答不查资料课外学习任务及学习指导课前：1.预习教材项目一任务二（第14–17页），标注不理解的概念。2.复习任务一讲的原始数据四类质量问题，本任务要在此基础上讲处理办法。3.完成课程在线教学平台3道课前诊断题（常见数据格式、Excel与JSON的区别），统计错误率用于调整讲授重点。课后：一、基础巩固（必做，下次课前提交）1.完成教材第14–17页本节练习。2.提交三类数据的辨识说明并各举两例，写出结构化数据预处理四环节的顺序说明。二、拓展提升（选做，A／B二选一）A.取一份自己日常接触的数据，判断它属于哪一类，说明应使用哪种工具采集、存在哪里，并指出它可能存在哪类质量问题。B.对比文本与图像两条非结构化处理流程，说明哪两步在两条流程里作用相当，并说明理由。三、思政拓展（选做）结合本次课讲的采集前要明确范围与频率，写100字感想，谈谈为什么采集不是拿到数据就完事，动手前要想清楚哪些事。填表说明：1.本页可续页；2.教学方法如：项目教学、案例分析、分组讨论、角色扮演、启发引导等；3.教学手段如：课件演示、模型讲解、实物讲解、挂图讲解、视频讲解、网络课程等。授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学☑课内实践□理论+实践□习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号3授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点多媒体教室教学内容：项目一任务三数据采集的法律法规与伦理课程思政设计：1.法治意识与底线思维——三部法律要讲清不只是约束更是保护。课堂讲清采集必须走合法正当的途径，窃取或以其他非法方式获取数据的将面临警告、罚款直至刑事责任。2.个人信息保护与单独同意——敏感个人信息包括生物识别、宗教信仰、特定身份、医疗健康、金融账户、行踪轨迹，以及不满十四周岁未成年人的个人信息。课堂讲清处理这类信息必须取得单独同意，不是一个总的授权就能覆盖。3.最小必要与克制意识——天气预报App没必要收集通讯录，注册账号只需手机号或邮箱。课堂讲清能不采的就不采，采集范围由目的决定而不是由技术能力决定。4.职业操守与责任担当——了解数据采集的法律法规要求、树立数据合规意识，是每一位数据从业者的必修课。课堂讲清数据从业者手里的权限越大，肩上的责任越重。教学目标：知识目标：能说出《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《中华人民共和国网络安全法》三部法律的施行时间与各自的核心内容；能说出国家核心数据的范围与数据分类分级保护制度；能说出告知—同意这一核心规则的含义，以及敏感个人信息包含的具体类别与单独同意要求；能说出数据采集五项基本原则的名称与各自的要求；能说出欧盟GDPR与美国CCPA两项法规的核心内容与处罚规定；能说出企业数据合规管理的制度、技术、流程三个层面各自的内容。能力目标：能对一项具体的采集需求判断它是否违背五项基本原则中的哪一条；能对一份数据判断是否属于敏感个人信息并说明处理前应取得何种同意；能按采集前、采集时、存储使用、用户权利四个环节复述电商营销推荐场景的合规要点；能说出联邦学习、差分隐私、安全多方计算三项隐私计算技术各自解决什么问题。素质目标：养成采集前先问有没有资格采的习惯，技术能力不越过法律边界；养成能不采就不采的克制意识，采集范围由目的决定；养成对敏感信息单独取得同意的习惯，用一个总授权覆盖所有用途。教学重难点及解决方法：教学重点：三部法律各自的核心内容；五项基本原则的辨识；电商营销推荐场景四条合规要点。教学难点：一般个人信息与敏感个人信息的区分；最小必要原则在具体场景中的应用。学生容易把所有个人信息当成一类，对能不采就不采在具体场景里该怎么判断也说不出尺度。解决方法：针对难点：列出十二类信息让学生当场分成两堆——姓名、手机号、收货地址、年龄归一般，指纹、人脸、病史、银行卡号、行踪轨迹、宗教信仰归敏感，不满十四周岁未成年人的个人信息单独强调，学生自己看出后果轻重不同；最小必要原则用天气预报App要通讯录这个反例，让学生说出它违背了哪一条，再用注册账号只要手机号或邮箱做正例，尺度由正反两例夹出来。针对重点问题：采用边讲边练，每讲完一部法律或一条原则即在课程在线教学平台推送1～2道限时练习当堂消化；把五项原则做成一张判定卡片，学生人手一份并当场判定三组场景；讲综合案例时让全班按四个环节逐条复述；课后按练习正确率推送分层强化题。教学环境及平台：多媒体教室，配备投影与扩音设备；课程在线教学平台。软件与工具：教材配套资源、演示文稿。数据与素材：教材两个分析场景（电商营销推荐系统、鲜享生活生鲜平台）。教学资源：①教材《数据采集与预处理技术》第18–22页正文、项目小结、技能强化与聚焦前沿部分；②本课程课件（含三部法律要点表、五项原则判定卡片、十二类信息分类卡片）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂参与（主要部分）：完成十二类信息分类并判定三组采集场景，按分类准确性、原则辨识准确性、理由充分性三项评分；②随堂测验：下课前5题（三部法律、敏感个人信息、五项原则、GDPR与CCPA、电商场景四条要点），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交三组场景的判定结果与电商场景四条合规要点。课前预习：平台3道诊断题（个人信息包含什么、常见App权限），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.承接前两个任务：前两个任务学习了数据采集与预处理的技术知识，包括采集来源、数据分类与预处理流程。提问：懂技术就够了吗？2.点明立场：在实际工作中，数据采集不仅是一个技术问题，更是一个需要遵守法律法规和职业道德的问题。3.讲现实背景：近年来，数据泄露、隐私侵犯等事件频发，给个人和企业带来了严重损失。4.举两类典型行为：某些App过度收集用户信息，某些企业非法买卖用户数据。5.讲后果：这些行为不仅侵犯了用户的合法权益，也受到了法律的严厉制裁。6.点明本任务：因此，了解数据采集的法律法规要求，树立数据合规意识，是每一位数据从业者的必修课。7.讲本任务路线：先认识三部法律，再掌握五项原则，然后看国际实践与企业做法，最后用两个真实场景做合规分析。【学生活动】口述前两个任务学过的技术内容；说出自己听说过的某一类数据泄露事件；对本任务为什么安排在技术课里发表看法。【设计意图】对应知识目标1。以两个技术任务为铺垫，此处明确转折，学生感受到合规不是附加内容而是技术工作的前置条件；先摆出两类真实违规行为与后果，法律条文才不是空话；把本任务列在课程开篇项目里，学生的合规意识与技术意识同时起步，直接回应思政中的法治意识。环节一情境导入：技术之外还有法律（8分钟）情境导入讲授＋板书（投屏＋讲述）法治意识：懂技术不等于能采【教师活动】1.讲我国高度重视数据安全和个人信息保护，已经建立起较为完善的法律法规体系，本环节讲其中三部重要法律。2.讲《中华人民共和国数据安全法》：于2021年9月1日起施行，是我国数据安全领域的基础性法律。讲两项核心内容：确立了数据分类分级保护制度，要求根据数据的重要程度实施不同级别的保护措施；关系国家安全、国民经济命脉、重要民生、重大公共利益等数据属于国家核心数据，需要实行更加严格的管理制度。3.讲该法的禁止性规定：明确规定任何组织和个人收集、获取数据，应当采取合法、正当的方式，不得窃取或者以其他非法方式获取数据。讲处罚：违反规定的，将面临警告、罚款甚至依法追究刑事责任等处罚。4.讲《中华人民共和国个人信息保护法》：于2021年11月1日起施行，是保护个人信息权益的专门法律。讲核心规则：构建了告知—同意的核心规则，即处理个人信息应当具有明确、合理的目的，并告知个人处理目的、方式等事项，取得个人的同意。5.讲两类个人信息：该法律将个人信息分为一般个人信息和敏感个人信息。讲敏感个人信息的定义：一旦泄露或者非法使用，容易导致自然人的人格尊严受到侵害或者人身、财产安全受到危害的个人信息。6.讲敏感个人信息的具体范围：包括生物识别、宗教信仰、特定身份、医疗健康、金融账户、行踪轨迹等信息，以及不满十四周岁未成年人的个人信息。讲要求：处理敏感个人信息应当取得个人的单独同意。7.讲《中华人民共和国网络安全法》：于2017年6月1日起施行，根据2025年10月28日第十四届全国人民代表大会常务委员会第十八次会议《关于修改〈中华人民共和国网络安全法〉的决定》修正，修正后的法律自2026年1月1日起施行，是保障网络安全的基础性法律。讲核心内容：规定了网络运营者的安全保护义务，要求采取技术措施和其他必要措施，保障网络安全、稳定运行，有效应对网络安全事件，防范网络违法犯罪活动，维护网络数据的完整性、保密性和可用性。8.并列三部法律并板书，逐部标注施行时间与核心内容。9.讲清三部法律的分工：数据安全法管数据本身的分级，个人信息法管个人信息处理，网络安全法管网络运行与网络数据。【学生活动】记录三部法律的施行时间与核心内容；说出敏感个人信息包含哪些类别；说出三部法律各自管什么。【设计意图】对应知识目标1、2。三部法律按管辖对象分列，学生知道该翻哪一部；把敏感个人信息的具体范围逐项列出并强调单独同意，学生以后遇到人脸、声纹、健康数据就知道要单独问，直接落实思政中的个人信息保护；把网络安全法的修正时间讲准确，学生看到法律是活的、会更新，养成查最新版本的习惯。环节二三部法律（18分钟）讲授＋板书对比讲授讲练结合个人信息保护：敏感信息要单独同意【教师活动】1.讲合法性原则：数据采集必须通过合法途径进行，并遵循诚信原则，禁止窃取或以其他非法方式获取数据。举例：不能通过黑客攻击获取他人系统中的数据，不能通过欺骗手段诱导用户提供个人信息。2.讲正当性原则：数据采集应当具有明确、合理的目的，收集的数据应当与处理目的直接相关。举例：一个天气预报App没有必要收集用户的通讯录信息，如果强制要求用户授权通讯录权限，就违背了正当性原则。3.讲最小必要原则：数据采集应当限于实现处理目的的最小范围，采取对个人权益影响最小的方式，不得过度收集。举例：用户注册账号只需要手机号或邮箱即可，不应强制要求用户提供身份证号、家庭住址等不必要的信息。4.讲透明度原则：数据采集应当以显著方式告知用户采集的目的、范围、方式等信息，保障用户的知情权。讲要求：企业应当制定清晰易懂的隐私政策，并在收集数据前向用户展示、明确告知并获得用户同意。5.讲安全保障原则：对采集到的数据应当采取技术和管理措施予以保护，防止数据泄露、篡改或丢失。举例：对敏感数据进行加密存储，设置访问权限控制，定期进行安全检查等。6.并列五项原则并板书，逐项标注要求与典型反例。7.发下判定卡片，让全班对三组场景判定它违背哪一条：天气预报App要通讯录权限；注册账号强制填身份证号；数据明文存放且不设访问权限。8.当场讲评判定错误最多的一组，并由学生自己说出正例该怎么做。【学生活动】记录五项原则的名称与要求；对三组场景判定它违背哪一条；对天气预报App的场景说出正确做法。【设计意图】对应知识目标4，落实能力目标1。五项原则逐条配反例，学生记住的是边界而不是条文；三组场景当场判定是本环节的核心动作，学生把原则用到具体情境里才算真懂；讲评后让学生自己说出正例，正反两例把尺度夹出来，直接落实思政中的最小必要与克制意识。环节三五项基本原则（15分钟）讲授＋板书场景判定讲练结合最小必要：能不采的就不采【教师活动】1.讲背景：随着经济全球化的发展，许多企业的业务涉及跨境数据处理，需要了解国际上主要的数据保护法规。2.讲欧盟GDPR：全称《通用数据保护条例》，是全球影响力最大的数据保护法规之一，于2018年5月在欧盟正式实施。讲核心：以用户权利为核心，赋予用户广泛的数据控制权，包括知情权、访问权、更正权、删除权（被遗忘权）等。3.讲GDPR的处罚：对违规行为规定了严厉的处罚措施，对严重违规行为最高可处以2000万欧元或企业全球年收入的4%的罚款（以较高者为准）。讲现实：多家知名跨国企业曾因违反GDPR而被处以巨额罚款。4.讲美国CCPA：全称《加利福尼亚州消费者隐私法案》，是美国较为严格的消费者个人信息保护法案，于2020年1月在加利福尼亚州生效。讲核心创新：引入了选择退出机制，即允许消费者拒绝企业出售其个人信息。讲其他权利：还赋予消费者了解企业收集了哪些个人信息、要求删除个人信息等权利。讲处罚：企业如果违反规定，视情节轻重可处以相应金额的罚款。5.并列两项法规并板书，讲清两者取向的差别：GDPR走的是事前同意路子，CCPA走的是事后退出路子。6.讲企业数据合规管理建议的第一层制度层面：企业应当制定完善的数据管理制度，包括数据分类分级标准、数据采集规范、数据使用权限规定、数据安全管理办法等；这些制度应当与法律法规的要求保持一致，并定期更新完善。7.讲第二层技术层面：企业应当部署相应的技术手段以保障数据安全，包括数据加密、访问控制、操作审计、异常检测等；对于敏感数据，企业应当采取脱敏处理措施，确保在使用过程中不泄露原始信息。8.讲第三层流程层面：企业应当建立规范的数据采集流程，包括采集前的合规审查、采集中的质量监控、采集后的安全管理等环节；同时，企业应当定期开展合规培训，提高员工的数据保护意识。9.讲三层的共同点：制度定规矩、技术做保障、流程管执行，缺一层就会有缝。【学生活动】记录GDPR与CCPA的核心内容与处罚规定；说出两项法规取向的差别；说出企业合规管理三层的分工。【设计意图】对应知识目标5、6。两项国际法规并列讲，学生看到不同法域对同一问题给出不同解法，视野从国内扩到国际；把处罚金额具体列出，合规的必要性由数字说明而不是说教；企业三层面讲清分工与互补，学生知道合规不是贴一张隐私政策就完事，直接落实思政中的责任担当。环节四国际实践与企业合规三层（16分钟）讲授＋板书对比讲授讲练结合责任担当：制度技术流程缺一层就有缝【教师活动】1.给出场景：某电商公司计划开发一个新的营销推荐系统，需要采集用户的浏览记录、购买记录、地理位置等信息。请分析该公司在数据采集过程中应当注意哪些合规要点。2.讲第一条采集前：公司应当更新隐私政策，明确告知用户将收集哪些信息、用于什么目的、如何保护这些信息；隐私政策应当使用清晰易懂的语言，避免使用过于专业的术语。3.讲第二条采集时：应当遵循最小必要原则，只收集与营销推荐直接相关的信息；对于地理位置等敏感信息，应当获取用户的单独同意，并提供关闭位置服务的选项。4.讲第三条存储和使用阶段：应当对用户数据进行加密存储，设置严格的访问权限，确保只有授权人员才能访问；同时应当建立数据使用审计机制，记录数据的访问和使用情况。5.讲第四条用户权利：应当为用户提供查询、更正、删除个人信息的渠道，尊重用户的数据控制权；如果用户要求删除其个人信息，公司应当及时响应并依法处理。6.讲清四条的时间顺序：采集前、采集时、存储使用、用户权利，正好覆盖数据生命周期的四个阶段。7.点明结论：通过以上分析可以看到，数据采集合规不是一个孤立的环节，而是贯穿数据处理全流程的系统性工作；只有将合规要求落实到每一个环节，才能真正保护用户的合法权益，降低企业的法律风险。8.让全班按四个阶段逐条复述合规要点。9.追问：本场景里哪一条信息属于敏感个人信息？引导学生说出地理位置并说明要单独同意。【学生活动】记录四条合规要点；按四个阶段逐条复述；说出本场景里哪条信息属于敏感个人信息及处理要求。【设计意图】对应知识目标4的综合运用，落实能力目标3。四条要点按数据生命周期排列，学生看到合规是跟着数据走的而不是一次性动作；把地理位置单独拎出来追问，学生把环节二的敏感信息概念用到真实场景，两个环节形成闭环；逐条复述让要点从听过变成能说，直接落实思政中的职业操守。环节五综合案例：电商营销推荐（14分钟）案例分析讲授＋板书讲练结合职业操守：合规贯穿数据全生命周期【教师活动】1.布置技能强化：鲜享生活是一家新兴的生鲜电商平台，主要通过线上App和小程序为城市居民提供新鲜蔬果、肉禽蛋奶等生鲜商品的配送服务，平台日均订单量达到5万单，注册用户超过100万。2.讲四类待采集数据：用户数据（注册信息、登录行为、浏览记录、收藏商品、购物车数据）；订单数据（订单编号、下单时间、商品明细、订单金额、收货地址、配送状态）；商品数据（商品名称、类别、产地、价格、库存、保质期）；用户反馈数据（商品评价、客服咨询记录、投诉建议）。3.讲四条要求：分析上述数据属于什么数据类型、应当采用什么方式进行采集；识别数据采集过程中可能存在的数据质量问题并提出相应的预处理策略；设计数据采集的合规方案，确保符合《中华人民共和国个人信息保护法》等法律法规的要求；绘制数据采集与预处理的流程图，清晰展示各环节的输入输出关系。4.让全班按四条要求逐条口述方案，教师补充纠正。5.讲聚焦前沿的第一个趋势智能化数据预处理：传统的数据预处理依赖人工制定规则，效率低且难以应对复杂场景；近年来机器学习技术开始应用于数据预处理领域，能够自动识别数据质量问题并推荐处理策略；例如智能数据清洗工具可以自动检测异常值、推断并填补缺失值，大幅降低人工成本。6.讲第二个趋势实时数据处理：随着物联网和移动互联网的发展，越来越多的应用场景需要对数据进行实时处理；流式计算框架如ApacheFlink、ApacheKafka使得在数据产生的同时能够进行清洗、转换和分析，支撑了金融风控、智能交通等对时效性要求极高的应用。7.讲第三个趋势边缘计算与数据预处理：在物联网场景中，大量数据产生于边缘设备如传感器、摄像头；将部分预处理逻辑下沉到边缘设备执行，可以减少数据传输量、降低网络延迟；这种架构对预处理算法的轻量化和实时性提出了更高要求。8.讲第四个趋势隐私计算技术：在数据安全和隐私保护日益受到重视的背景下，联邦学习、差分隐私、安全多方计算等隐私计算技术快速发展；这些技术使得在保护数据隐私的前提下进行数据分析成为可能，为数据的合规使用提供了新的技术路径。9.点明四个趋势的共同指向：效率与隐私不是对立面，技术进步应当同时解决这两个问题。【学生活动】按四条要求逐条口述鲜享生活的数据采集与预处理方案；说出四类数据各自属于哪种类型；记录四个前沿趋势并说出隐私计算三项技术的名称。【设计意图】对应能力目标1、2、3、4，是本项目的收束环节。技能强化把三个任务串起来用，学生在真实业务场景里同时判断类型、设计采集、识别质量问题、做合规方案，四个动作覆盖了项目一全部内容；四个前沿趋势讲清效率与隐私可以并行，避免学生以为技术进步必然以牺牲隐私为代价，直接落实思政中的责任担当。环节六技能强化：鲜享生活与前沿（14分钟）案例分析讲授＋板书归纳讲授前沿视野：效率与隐私不是对立面【教师活动】1.引导学生用三句话小结：①三部法律分管数据安全、个人信息与网络安全，采集必须合法正当；②五项原则里最常用的是最小必要，能不采的就不采；③合规贯穿数据全生命周期，采集前告知、采集时克制、存储时加密、用户要求删除就删。2.板书知识框架：三部法律→五项原则→国际与企业→场景分析→前沿，学生拍照记录。3.项目小结：讲清本项目作为入门章节，系统介绍了数据采集与预处理的基础知识，学生应当理解基本概念和重要性，掌握三类数据的分类标准与特点，熟悉基本流程，了解我国与数据采集相关的法律法规要求；在后续项目中将深入学习各类采集技术与预处理方法。4.课程在线教学平台推送当堂检测5题（三部法律、敏感个人信息、五项原则、GDPR与CCPA、电商场景四条要点），限时5分钟，系统自动批改，当场讲评错误率最高的一题。5.布置作业并预告：下一项目进入Python编程环境搭建，本课起学到的合规要求会贯穿后续所有采集实操。【学生活动】口述三句话小结；跟随教师回顾项目一的三条主线；独立完成检测；记录作业要求与下一项目内容。【设计意图】覆盖知识目标1～6，属形成性评价也是项目一收束。三句话小结把本任务压缩成三条可复述的准则，第三条承载全生命周期的合规观；项目小结把三个任务串成一条线，学生离场时带走的是一套入门体系；预告下一项目时强调合规要求会贯穿后续实操，法律与技术两条线从本课起并行，直接落实思政中的法治意识。环节七小结与当堂检测（5分钟）归纳小结在线检测自动批改诚信意识：独立作答不查资料课外学习任务及学习指导课前：1.预习教材项目一任务三（第18–22页），标注不理解的法律概念。2.复习前两个任务讲的采集来源与预处理流程，本任务要讲它们背后的法律边界。3.完成课程在线教学平台3道课前诊断题（个人信息包含什么、常见App权限），统计错误率用于调整讲授重点。课后：一、基础巩固（必做，下次课前提交）1.完成教材第18–22页本节练习与项目小结部分。2.提交三组采集场景的判定结果，并写出电商营销推荐场景的四条合规要点。二、拓展提升（选做，A／B二选一）A.完成教材技能强化任务，为鲜享生活平台设计数据采集与预处理方案，含类型判定、采集方式、质量问题识别与合规方案四部分。B.另选一个自己常用的App，列出它申请的权限，逐项判断哪些属于最小必要范围、哪些涉嫌过度收集，并说明理由。三、思政拓展（选做）结合本次课讲的处理敏感个人信息应当取得单独同意，写100字感想，谈谈为什么一个总的授权不能覆盖所有用途。填表说明：1.本页可续页；2.教学方法如：项目教学、案例分析、分组讨论、角色扮演、启发引导等；3.教学手段如：课件演示、模型讲解、实物讲解、挂图讲解、视频讲解、网络课程等。授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学□课内实践□理论+实践☑习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号4授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点实训机房（多媒体）教学内容：项目二任务一Python编程环境搭建课程思政设计：1.工程规范意识——环境是数据处理工作的第一道工序。课堂讲清安装不是装上就算完成，路径配置、版本确认、环境隔离每一步都要留下记录，养成做事有章法的习惯。2.自主可控与开源精神——Python是开源的，国内镜像站让安装不再受制于境外网络。课堂讲清使用清华、中科大等国内镜像既提速也稳定，工具链要握在自己手里。3.工匠精神——虚拟环境看似多此一举，实则是避免一台机器上多个项目互相污染的基本功。课堂讲清愿意在开工前多花五分钟建环境，是对后续所有工作负责。4.严谨求实——安装完成必须验证，输出的版本号要与实际情况一致。课堂讲清不验证就往下走，等于把问题留到调试时才爆发。教学目标：知识目标：能说出Python语言的三个主要特点——语法简洁易读、跨平台、第三方库生态丰富；能说出Windows、macOS、Linux三个系统下安装Python的各自方式；能说出环境变量PATH的作用，以及安装时勾选AddPythontoPATH的必要性；能说出虚拟环境的概念、作用，以及创建、激活、退出三条命令；能说出NumPy、Pandas、Matplotlib三个库各自的用途与pip安装命令的基本写法。能力目标：能在Windows系统下独立完成Python的安装与版本验证；能为指定项目创建独立的虚拟环境并完成激活；能用pip装好三个常用库并通过国内镜像加速；能编写并运行一段输出库版本信息、构造并打印商品数据表的程序。素质目标：养成安装完成即验证的习惯，不把未经验证的环境带进下一道工序；养成一个项目一个环境的工程习惯；养成记录安装命令与版本号的习惯，为后续排查留下凭据。教学重难点及解决方法：教学重点：Windows下安装时勾选AddPythontoPATH的意义；虚拟环境的创建与激活；三个常用库的安装与验证。教学难点：对虚拟环境为什么必须建的理解，以及Windows与macOS、Linux在激活命令上的差别。学生容易把建环境当成多余步骤，三个系统的激活命令写法也常记混。解决方法：针对难点：先摆出一台机器上两个项目依赖不同版本Pandas的真实冲突场景，学生看到冲突就明白隔离不是形式；三个系统的激活命令并列成一张对照表投屏，学生照表操作而不靠死记。针对重点问题：采用边讲边练，每讲完一步安装即在机房同步实操，教师巡看每行命令的输出；安装与验证两步写成一张检查单，学生逐项打勾；讲库安装时默认源与国内镜像各演示一次，学生对比耗时得出自己的判断；课后按检查单完成情况推送分层强化练习。教学环境及平台：实训机房（多媒体），人手一机，配备投影与广播教学系统；课程在线教学平台。软件与工具：Python3安装包、pip、NumPy、Pandas、Matplotlib；清华PyPI镜像源。数据与素材：教材示例商品数据（商品编号、商品名称、价格、库存四列，智能手机、无线耳机、平板电脑三条）。教学资源：①教材《数据采集与预处理技术》第25–28页正文、安装步骤与示例代码；②本课程课件（含三大系统安装对照表、虚拟环境命令对照表、国内镜像源地址）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂实操（主要部分）：按五步检查单完成环境搭建，按步骤完整性、命令正确性、验证输出准确性三项评分；②随堂测验：下课前5题（PATH的作用、创建虚拟环境的命令、Windows与Linux激活命令的差别、三个库的用途、-i参数的作用），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交安装与验证过程截图、虚拟环境创建截图与程序运行结果的截图。课前预习：平台3道诊断题（Python是什么、装库用什么命令），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.给出情境：某公司技术部新来了一名数据分析助理，主管交给他的第一项任务不是分析数据，而是先把自己这台电脑准备好。2.讲他遇到的问题：公司项目用的是Python3，而他的电脑上什么都没有；同事告诉他要装Python、要装几个库、还要建一个虚拟环境。3.提问：为什么公司不直接给他一份装好的镜像？为什么不能把库都装在一起？让学生先表态再追问理由。4.讲清本节要做的三件事：装Python、建虚拟环境、装常用的库——这三件事做完，后面所有项目才有落脚的地方。5.点明项目二在整门课中的位置：项目一讲清了数据从哪来、有什么问题，从项目二开始动手，先把工具备齐。【学生活动】听情境并记录新同事要做的三件事；对为什么不能直接装在一起发表看法并说明理由；说出自己在电脑上装软件出过的问题。【设计意图】对应知识目标1。用入职第一天的场景承接项目一的情境，学生在同一条故事线上推进，工具准备不再是孤立的软件操作；先让学生回答为什么不能直接装在一起，教师后面讲虚拟环境时正好回应这个初始猜想；把项目二的位置讲在开头，学生知道这节课是动手的起点。环节一情境导入：新同事的第一天（8分钟）情境导入任务驱动法（投屏＋讲述）工程规范：工欲善其事必先利其器【教师活动】1.讲Python的来历：Python由荷兰程序员吉多·范罗苏姆于1991年发布，名字取自他喜爱的一个喜剧团体，与蟒蛇无关。2.讲第一个特点语法简洁易读：Python用缩进划分代码块，而不是花括号。投屏对比同一段逻辑在两种写法下的样子，学生看清缩进本身就是结构。3.讲第二个特点跨平台：同一份代码在Windows、macOS、Linux上都能运行，这也是本任务要