数据采集与预处理技术-P1T2-教案

授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学☑课内实践□理论+实践□习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号2授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点多媒体教室教学内容：项目一任务二数据类型与预处理流程课程思政设计：1.分类意识与方法匹配——不同形态的数据要用不同办法处理，不存在通用解。课堂讲清先判断数据属于哪一类再选工具，是数据工作者的第一道判断。2.辩证思维与顺序意识——清洗、转换、整合、归约四步不能乱。课堂讲清格式没统一就整合会合并不上，顺序不是形式主义而是依赖关系。3.工程规范与异常意识——采集前要确定范围、频率，还要做好异常处理与日志记录。课堂讲清采集不是拿到数据就完事，采不到时怎么办也要先想好。4.数据主权与存储安全——结构化进关系库、半结构化进NoSQL、非结构化进对象存储。课堂讲清不同数据存在不同地方，权限与保护的边界也不同。教学目标：知识目标：能说出结构化、半结构化、非结构化三类数据的定义、典型示例与存储方式；能说出结构化数据的三个主要特点与非结构化数据占比越来越大的现状；能说出结构化数据采集的三种常用方式及其适用场景；能说出采集过程中需要事先确定的三个注意事项；能说出结构化数据预处理四个环节各自的目的与主要任务；能说出文本数据与图像数据各自的预处理步骤；能说出Python及常用库、数据库工具、ETL工具三类工具各自的用途。能力目标：能把一份给定的数据准确归入三类中的一类并说明判断理由；能按清洗、转换、整合、归约四步说明一份结构化数据的处理顺序；能看懂结构化数据处理的五段演示代码，并说出每段输出看什么；能说出文本与图像两条非结构化处理流程的共同点。素质目标：养成拿到数据先判断类型再选工具的习惯，不一律用表格的办法处理所有数据；养成按依赖顺序推进处理的习惯，不做跳步的合并；养成采集前先确定范围与频率的习惯，不盲目全量抓取。教学重难点及解决方法：教学重点：三类数据的辨识与存储方式的对应；结构化数据预处理四环节的顺序；文本与图像两条非结构化处理流程的异同。教学难点：半结构化数据的定位；四环节顺序的依赖关系。学生容易把半结构化简单归到结构化或非结构化，对四步顺序为什么不能换也说不出理由。解决方法：针对难点：把同一本书的三种表示并列投屏——一张Excel表格、一段JSON文本、一页扫描图片，让学生自己说哪个能一眼看出行列、哪个要靠标签才读得懂、哪个完全没有行列，半结构化的位置由学生自己定位；四环节用反例追问，先问不清洗直接转换会怎样、不转换直接整合会怎样，学生自己说出合并不上，顺序理由由结论倒推。针对重点问题：采用边讲边练，每讲完一类数据或一个环节即在课程在线教学平台推送1～2道限时练习当堂消化；把表1-1放大投屏，学生按定义、示例、存储方式三列逐格记录；讲四环节时让全班按四步复述并各举一例；课后按练习正确率推送分层强化题。教学环境及平台：多媒体教室，配备投影与扩音设备；课程在线教学平台。软件与工具：演示用Python运行环境（pandas），仅用于教师投屏演示，本次课学生不上机。数据与素材：教材示例销售数据文件（sales_data.csv）、三种数据类型的对照样例（Excel表格、JSON文本、图片）。教学资源：①教材《数据采集与预处理技术》第14–17页正文、表1-1与示例代码；②本课程课件（含三类数据对照样例、四环节流程图、文本与图像两条流程对照表）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂参与（主要部分）：完成三类数据辨识并复述四环节顺序，按辨识准确性、顺序正确性、举例合理性三项评分；②随堂测验：下课前5题（三类数据及存储方式、三种采集方式、四个环节、两条非结构化流程、三类工具），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交三类数据辨识说明与四环节顺序说明。课前预习：平台3道诊断题（常见数据格式、Excel与JSON的区别），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.承接任务一：上一任务认识了数据采集与预处理的基本概念，也知道了原始数据有缺失、错误、重复、格式不统一四类问题。提问：是不是所有数据都长成一个样？2.给出情境：在实际工作中，我们会遇到各种各样的数据——有的数据结构规整，像Excel表格一样行列分明；有的数据则比较松散，例如一段用户评论或一张产品图片。3.点明差别：这些不同形态的数据，采集和处理的方式也各不相同。例如，处理一张图片和处理一份Excel表格，所需要的技术和工具就完全不一样。4.提问：一段用户评论和一张产品图片，处理时会有什么不同？让学生先说再补充。5.点明本任务：了解数据的分类方式及特点，是学习数据采集与预处理的重要理论基础。6.讲本任务路线：先分三类，再分别看结构化与非结构化的采集预处理流程，最后认识常用工具。【学生活动】口述上一任务讲的四类数据质量问题；对图片的表格在处理上的差别给出猜想；说出自己日常接触过哪些形态的数据。【设计意图】对应知识目标1。以任务一已建立的四类问题为起点，把话题从数据好不好的问题推进到数据长什么样的问题，认知层次自然递进；先让学生自己说图片与表格的差别，后续三类数据的判断标准就由他们自己的观察引出；明确本任务路线，学生在听课过程中知道当前处在哪一段，直接回应思政中的分类意识。环节一情境导入：一段评论和一张表格（8分钟）情境导入问题驱动法（投屏＋讲述）分类意识：先看清长什么样再谈怎么处理【教师活动】1.讲分类的着眼点是数据的组织形式和结构特点，据此通常将数据分为结构化数据、半结构化数据和非结构化数据三大类。2.讲结构化数据：指具有固定格式和模式的数据，可以用二维表格的形式来表示，即有明确的行和列。每一行代表一条记录，每一列代表一个字段（属性），每个字段都有固定的数据类型。3.讲典型例子：数据库中的表格、Excel电子表格、CSV文件。举例：一张记录学生信息的表格，包含学号、姓名、性别、年龄、班级等字段，每个学生的信息占一行。4.讲三个特点：格式固定（数据的结构在创建时就已确定，所有记录都遵循相同的格式）；易于存储与查询（可以使用关系型数据库如MySQL、Oracle进行存储，通过SQL语言进行高效查询）；便于统计分析（由于格式统一，可以直接使用各种统计分析方法进行处理）。5.讲半结构化数据：是介于结构化数据和非结构化数据之间的一种数据类型。它虽然不具有像关系型数据库中的表那样严格规整的结构，但通过特定标签或标记分隔数据元素，具有一定的组织形式。6.讲典型例子并投屏书籍JSON：逐行说明花括号、方括号、冒号如何组织数据，讲清它具有一定的结构，但不像表格那样有严格固定的行列形式。7.讲半结构化特点：具有一定的结构性，但比结构化数据更加灵活；可以使用NoSQL数据库（如MongoDB）进行存储，在互联网应用中使用非常广泛。8.讲非结构化数据：指没有固定格式和模式的数据，内容形式自由，难以用传统的行列结构来表示。典型例子：文本文档、图片、音频、视频、电子邮件。9.讲非结构化特点与现状：格式自由，内容丰富多样，但处理与分析难度相对较大；在大数据时代非结构化数据的占比越来越大，据估计企业数据中80%以上是非结构化数据；处理非结构化数据通常需要借助自然语言处理、计算机视觉等人工智能技术。10.投屏表1-1，逐格讲清定义、典型示例、存储方式三列。11.让学生把手边的一个数据归入三类之一并说明理由。【学生活动】记录三类数据的定义与典型示例；观察JSON例子并说出它与表格的差别；把手边的一个数据归入三类之一并说明理由。【设计意图】对应知识目标1、2，突破难点半结构化的定位。三类数据按组织形式由紧到松排列，学生记住的是一条谱系而不是三个名词；把JSON例子逐行讲透，半结构化夹在中间的位置就由例子自己说清楚；表1-1逐格讲存储方式，学生知道不同类型存在不同地方，为后面讲工具与数据主权埋下伏笔。环节二三种数据类型（18分钟）讲授＋板书对比讲授讲练结合分类意识：三类数据存在不同地方【教师活动】1.讲数据库查询：是最直接的方式，通过SQL语句从数据库中提取所需数据。举例：从订单表中查询上个月的所有订单记录。2.讲文件读取：适用于存储在CSV、Excel等文件中的数据，可以使用编程语言的相关库（如Python的Pandas）直接读取。3.讲API接口调用：适用于从第三方系统获取数据的场景，通过调用对方提供的接口获取数据，返回的数据通常是JSON格式。4.并列三种方式并板书，逐种说明适用场景。5.讲采集过程中第一个注意：明确采集范围，确定需要哪些表、哪些字段、哪个时间段的数据。6.讲第二个注意：选择合适的采集频率，根据业务需求决定是全量采集还是增量采集。7.讲第三个注意：做好异常处理，针对采集失败的情况设置重试机制并做好日志记录。8.讲三条注意的共同点：都是动手之前要定下来的事，没定清楚就采，采回来的数据要么不全要么太多。9.提问：一张日订单百万条的表，每天全量采一遍合不合适？引导学生说出该用增量采集。10.点明本环节讲的是结构化数据的采集，非结构化数据的采集方式不同，下一环节讲。【学生活动】记录三种采集方式及适用场景；说出三条采集注意事项；对日订单百万条的表该全量还是增量给出判断。【设计意图】对应知识目标3、4。三种方式按数据来源分列，学生知道该从哪下手；三条注意事项放在采集方式之后讲，是先讲怎么做再讲怎么做才对，顺序符合认知；用百万订单表让学生自己判断全量与增量，抽象的频率选择落到具体数量上，直接落实思政中的工程规范。环节三结构化采集三种方式与三个注意（13分钟）讲授＋板书问题驱动法讲练结合工程规范：采不到怎么办也要先想好【教师活动】1.讲数据清洗：目的是去除数据中的噪声和错误，提高数据质量。主要任务包括处理缺失值、删除重复记录、修正错误数据等。举例：对于订单金额为负数的记录需要进行检查和修正；对于重复提交的订单需要进行去重处理。2.讲数据转换：目的是将数据转换成统一的格式，便于后续分析。主要任务包括统一日期格式、统一计量单位、对分类数据进行编码等。举例：将不同格式的日期统一转换为年月日的格式；将美元金额按汇率转换为人民币。3.讲数据整合：目的是将来自不同数据源的数据合并到一起。主要任务包括关联不同表的数据、合并不同系统的数据等。举例：将订单表与用户表通过用户ID关联，获取订单对应的用户信息。4.讲数据归约：目的是在保持数据完整性的前提下减少数据量，提高处理效率。主要任务包括删除冗余字段、对数据进行聚合汇总等。举例：删除与分析目标无关的字段，将明细数据按天汇总为日报数据。5.并列四个环节并板书，逐个标注目的与主要任务。6.讲四者的顺序与联系：先清洗去掉脏的，再转换统一格式，然后才能整合，最后按需归约。7.用反例追问：不清洗直接转换会怎样？不转换直接整合会怎样？引导学生自己说出合并不上。8.联系任务一：这四个环节就是任务一讲的预处理四项任务的具体展开，本任务把它讲细。9.让全班按四步复述并各举一例。【学生活动】记录四个环节各自的目的与主要任务；回答两个反例追问；按四步复述并各举一例。【设计意图】对应知识目标5，突破难点四环节顺序的依赖关系。四个环节按目的与任务并列讲，学生记住的是每个环节解决什么；两个反例追问是本环节的关键，学生自己说出合并不上，顺序就从规定变成了认识；与任务一的四项任务呼应，新旧知识接成一条链，直接落实思政中的顺序意识。环节四结构化预处理四环节（16分钟）讲授＋板书反例追问讲练结合顺序意识：格式没统一就合并不上【教师活动】1.讲文本数据：是最常见的非结构化数据类型之一，包括新闻报道、用户评论、电子邮件等。2.讲文本采集：通常通过网络爬虫、API接口或直接读取文件等方式实现。举例：从社交媒体平台采集用户评论，需要使用爬虫技术或调用平台提供的API接口。3.讲文本预处理四步：文本清洗，去除文本中的噪声信息，如HTML标签、特殊符号、多余空格等；分词处理，将连续的文本切分成独立的词语，其中中文分词需要使用专门的分词工具如jieba分词；停用词过滤，去除的了是等没有实际意义的词语；文本向量化，将文本转换成计算机可以处理的数值形式。4.讲图像数据：包括照片、扫描件、医学影像等，在安防监控、医疗诊断、自动驾驶等领域应用广泛。5.讲图像采集：通常通过摄像头拍摄、扫描仪扫描或从网络下载等方式实现；图像文件的常见格式包括JPG、PNG、BMP等。6.讲图像预处理四步：图像读取，将图像文件加载到内存中，转换成数值矩阵的形式；尺寸调整，将不同大小的图像调整为统一的尺寸；图像增强，通过调整亮度、对比度等参数提高图像质量；归一化处理，将像素值缩放到特定范围如0~1之间，便于后续模型处理。7.并列两条流程并板书，逐条讲清每一步做什么。8.讲两条流程的共同点：都是把形式自由的内容转换成可计算的数值，文本转成向量、图像转成矩阵。9.点明后续：项目八会专门讲文本、图像视频、音频三类非结构化数据的处理，本环节只做概览。【学生活动】记录文本与图像各自的四步流程；说出两条流程的共同点；举例说明自己见过的一个非结构化数据应用场景。【设计意图】对应知识目标6。两条流程并列讲，学生看到不同媒介的处理步骤表面不同、内在一致；把共同点单独提炼出来，学生把握住非结构化处理的核心思路而不只是记住八个名词；点明项目八会展开，学生对整门课有路线图，不在入门课上钻细节，直接落实思政中的方法匹配。环节五非结构化两类处理流程（16分钟）讲授＋板书对比讲授讲练结合方法匹配：不同媒介各有各的路【教师活动】1.讲Python及其相关库：Python是数据分析领域最流行的编程语言之一，拥有丰富的数据处理库。Pandas是最常用的数据处理库，提供了DataFrame数据结构，可以方便地进行数据读取、清洗、转换等操作；NumPy是数值计算库，提供了高效的数组运算功能；Requests和BeautifulSoup是常用的网络爬虫库，用于从网页采集数据。2.讲数据库工具：MySQL、PostgreSQL等关系型数据库是存储和管理结构化数据的重要工具，通过SQL语言，用户可以方便地进行数据查询、筛选、聚合等操作；MongoDB等NoSQL数据库则适合存储半结构化和非结构化数据。3.讲ETL工具：ETL是抽取、转换、加载的缩写，是指从数据源抽取数据、进行转换处理、加载到目标系统的过程；常用的ETL工具包括Informatica、Kettle等，这些工具提供了可视化的界面，可以方便地设计和管理数据处理流程。4.讲三类工具与三类数据的对应：结构化用SQL与pandas，半结构化与非结构化用MongoDB与对象存储，跨系统流转用ETL。5.投屏演示综合案例五步：读取数据并打印原始数据形状与预览；查看数据类型信息；检查缺失值；检查重复值；基本数据清洗，删除重复记录并打印去重后行数与统计摘要。6.逐句讲清每步看什么，强调本次是教师投屏演示，学生同步记录，上机从项目二开始。7.讲本案例的意义：通过以上五步完成了数据读取、信息查看、缺失值检查、重复值检查和基本数据清洗等操作，这是结构化数据预处理的典型流程。8.点明后续：在后续学习中将深入学习更多的数据清洗和转换技术。【学生活动】记录三类工具各自的用途；跟做记录五步演示代码与各自输出；口述本案例完成了哪几项操作。【设计意图】对应知识目标7，落实能力目标3。三类工具按用途分列并与三类数据对应，学生知道什么工具用在什么数据上；五步演示既是本任务的综合产出，也复现了环节四的四环节思路，理论与实践在同一环节闭合；明确本次只演示不上机，学生的预期与教学形式一致，也为项目二的上机留出衔接。环节六工具简介与综合案例（14分钟）讲授＋板书演示—模仿（投屏＋记录）循序渐进：先用对工具再谈优化【教师活动】1.引导学生用三句话小结：①数据分结构化、半结构化、非结构化三类，判断标准是有没有行列、靠不靠标签；②结构化预处理四步走，清洗、转换、整合、归约，顺序不能乱；③非结构化的共同点是都要转成可计算的数值，文本转向量、图像转矩阵。2.板书知识框架：三类数据→采集方式→四环节→两条非结构化流程→工具，学生拍照记录。3.课程在线教学平台推送当堂检测5题（三类数据及存储方式、三种采集方式、四个环节、两条非结构化流程、三类工具），限时5分钟，