数据采集与预处理技术-P5T4-教案

授课教案20—20学年第学期_______学院________专业课程名称数据采集与预处理技术任课教师授课形式理论教学☑课内实践□理论+实践□习题复习□考核评价□其他活动□课时安排2学时（90分钟）序号18授课日期月日月日月日月日授课班级2026级相关专业教学班授课地点多媒体教室教学内容：项目五任务四NoSQL数据简介课程思政设计：1.技术自主意识——国产NoSQL数据库近年在向量检索、分布式键值等方向快速崛起，课堂讲清掌握底层技术栈才有选择权，把数字命脉握在自己手里是这一代数据工作者的责任。2.实事求是的技术观——不是所有数据都该放进关系表，也不是关系型数据库过时了。课堂讲清选型看的是数据的形态与业务的诉求，追新或守旧都不是工程判断。3.数据安全责任——Redis把数据放在内存里换来速度，也带来断电即失的风险；键名设计规范与过期时间设置看似小事，实则关系到缓存穿透与数据泄露。课堂讲清快与安全要一起设计。4.规范意识——文档的字段命名、主键对齐、时间格式统一，是多源数据能否合到一起的前提。课堂讲清入库时的随意，会在分析阶段变成成倍的返工。教学目标：知识目标：能说出NoSQL的含义及其与关系型数据库在数据结构上的根本差别；能说出NoSQL的五个特点（灵活的数据模型、水平扩展能力、高可用性、高性能、弱一致性）各自解决什么问题；能说出键值、文档、列族、图四类数据库的数据模型、代表产品与适用场景；能说出MongoDB文档、集合、数据库三层数据模型与关系型数据库中行、表、库的对应关系；能说出MongoDB的连接、建库、建集合、插入、查询、更新、删除七类基本操作的写法与作用；能说出Redis字符串、哈希、列表、集合、有序集合五类数据类型的结构特点与各自的典型用途；能说出NoSQL与数据湖、人工智能结合的三条前沿方向。能力目标：能根据用户行为日志、商品评论、会话缓存、排行榜等具体数据形态，从四类NoSQL数据库中选出合适的一类并说明理由；能看懂一段MongoDB插入与聚合统计的脚本，说出每一步对应的数据对象；能看懂一段Redis计数与有序集合排名的命令，说出其适用的业务场景；能在多源数据整合的场景中指出需要统一字段命名、时间格式与主键的理由。素质目标：养成先判断数据形态再选择存储方案的习惯；养成在追求读写性能的同时同步考虑持久化与安全设置习惯；养成关注国产基础软件进展并将其纳入技术储备的习惯。教学重难点及解决方法：教学重点：NoSQL的五个特点；四类数据库的数据模型与适用场景对照；MongoDB的三层数据模型与七类基本操作；Redis五类数据类型的结构特点。教学难点：弱一致性为什么是可接受的设计取舍；文档模型与关系表模型在思维方式上的差别——前者先有数据再有结构，后者先定结构再装数据。学生习惯了先建表再插数据，容易把动态模式理解成没有结构。解决方法：针对难点：弱一致性用点赞计数这个学生天天见的场景讲——数字晚半秒显示不影响体验，换来的是扛得住瞬时高峰，取舍由学生自己掂量；文档模型与表模型的差别用同一条商品数据的两种写法并排投屏，左边是固定列的表，右边是可以随时加字段的文档，再由学生说出哪一边更能容纳随时新增的商品属性。针对重点问题：五个特点各配一个教材给出的量化事实（三副本、恢复时间30秒内、吞吐十万级、命中率九成以上、查询延迟毫秒级），学生听到的是可核对的数字不是形容词；四类数据库做成一张五维对照表投屏，学生照表选类型；MongoDB七类操作与Redis五类数据类型各演示一遍，学生同步记录命令与作用，课后按随堂检测结果推送分层强化练习。教学环境及平台：多媒体教室，配备投影与扩音设备；课程在线教学平台。软件与工具：教师演示机安装MongoDBShell与Redis命令行客户端，仅用于教师投屏演示，本次课学生不上机操作。数据与素材：教材示例“××优选”用户点击行为文档、页面点赞计数与用户活跃度有序集合。教学资源：①教材《数据采集与预处理技术》第141–150页正文与示例命令；②本课程课件（含四类NoSQL数据库五维对照表、同一条商品数据的表与文档两种写法对比图、MongoDB七类操作清单、Redis五类数据类型对照表）；③课程在线教学平台（预习测验、随堂练习、课后答疑）与课程AI智能体。学习效果评价方式：过程性评价40%＋终结性评价60%的综合评价方式，本次课成绩计入平时成绩，对应其中三项：①课堂参与（主要部分）：完成四类数据库选型的对照记录，并对用户行为日志、会话缓存、排行榜三类数据各给出选型与理由，按选型准确性、理由充分性、术语使用准确性三项评分；②随堂测验：下课前5题（NoSQL的含义、五个特点、四类数据库的适用场景、MongoDB三层模型、Redis五类数据类型），平台自动批改，当场讲评错误率最高的一题；③课后作业：提交一份选型说明，为三类业务数据各选一类数据库并说明取舍。课前预习：平台3道诊断题（关系型数据库的局限、NoSQL的四类代表产品），统计错误率用于调整讲授重点。课后小结：填表说明：1.序号，指该课程授课的顺序号，应与授课计划一致；2.授课形式在相应的选项打“√”。教学内容及过程时间分配方法及手段思政元素【教师活动】1.给出情境：承接前三个任务，“××优选”平台的结构化业务数据已经能靠MySQL与SQL管起来，但技术团队在整合全平台数据时遇到了新问题。2.讲清问题所在：平台产生的数据并不全是规整的表格形式——记录用户每一次点击、浏览、停留时长的行为日志，格式灵活多变、字段可动态扩展，还要应对极高的写入并发。3.讲清硬塞进关系型数据库的后果：需要预先定义表结构，扩展不灵活、写入效率低。4.提问：这条日志里，用户这次带了一个上次没有的字段，关系表该怎么办？让学生先答，讲清加列的代价与提前预留大量空列的浪费。5.点明任务：要构建真正统一、完整的多源数据整合环境，必须具备处理多样化数据形态的能力。6.讲NoSQL的定位：它正是为解决此类问题而设计，采用文档、键值等更灵活的数据模型，天生适合存储与处理海量的用户行为日志、商品评论、会话缓存等半结构化与非结构化数据。7.讲清本任务在整个课程中的位置：掌握NoSQL技术，是从处理规整数据迈向处理多形态异构数据的关键一步。8.讲本任务的性质：这是一节认识课，在多媒体教室进行，以识读数据模型为主，所有命令由教师投屏演示，本次课不上机实操。【学生活动】听情境并记录行为日志与订单数据在形态上的三点差别；对新增字段该怎么办发表看法；说出自己在购物时留下过哪些可能被记录的痕迹。【设计意图】对应知识目标1，落实重点NoSQL的定位。问题从学生已经会用的关系表切入，新旧知识的接缝处正是理解新概念的起点；让学生先答再加点评，加列的代价由学生自己说出来比教师宣布更有说服力；把本节课的授课形式在开头就讲明，学生的课堂预期在第一时间被明确，不产生落差。环节一情境导入：表格装不下的那些数据（8分钟）情境导入任务驱动法（投屏＋讲述）实事求是：先看数据形态再选存储方案【教师活动】1.讲名称与定义：NoSQL是一类非关系型数据库的统称，它不使用传统的表格行列结构，而是采用更灵活的数据模型，通常用于处理大规模数据集和高并发场景。2.讲清名称的含义：NotOnlySQL，不是要取代关系型数据库，而是补充它覆盖不到的部分。3.讲第一个特点灵活的数据模型，分三点展开：多模态支持，提供键值、文档、列族、图四大主流类型满足不同场景需求；动态模式，无须预先定义结构，支持实时添加字段；半结构化处理，原生支持JSON、XML等格式，缓解关系型数据库用扩表方案存可变属性带来的数据冗余。4.讲第二个特点水平扩展能力，分三点：分片策略包括哈希分片、范围分片、复合分片，分别对应均匀分布、时间序列、多字段组合；分布式架构采用一致性哈希环、共识协议等机制实现节点自动发现和负载均衡；弹性伸缩支持云原生部署。5.讲清水平扩展与加内存加CPU的垂直扩展有什么不同，前者加机器、后者换更好的机器。6.讲第三个特点高可用性，给出教材的量化事实：多副本机制默认三副本配置，通过复制集选举协议保证多数派写入，节点故障时剩余副本继续提供服务，恢复时间目标通常在30秒以内；自动故障转移在网络分区时临时保存未同步数据，待节点恢复后自动重试；多数据中心部署支持跨地域多活，恢复点目标通常在1秒以内。7.讲第四个特点高性能：存储引擎优化，如Redis采用内存存储加持久化，列族库基于日志结构合并树实现顺序写优化，吞吐量可达十万级每秒；查询优化，键值库支持常数级时间复杂度查询，文档库的二进制格式减少序列化开销，查询延迟可低至毫秒级；缓存集成，缓存命中率可达九成以上。8.讲第五个特点弱一致性，分三点：CAP定理实践，面向海量业务的分布式存储常优先选择可用性与分区容错性，或者提供可调一致性按需权衡；一致性级别控制，提供最终一致性、因果一致性、单调读等选项；BASE原则应用，通过基本可用、软状态、最终一致性实现一致性管控。9.讲清弱一致性为什么可接受：以点赞计数为例，数字晚半秒显示不影响体验，换来的是扛得住瞬时高峰；这不是做不到强一致，是在业务可接受的范围内主动取舍。10.提问：银行账户余额能不能用最终一致性？让学生回答，讲清取舍的前提是业务容忍度，技术没有好坏只有合不合适。【学生活动】记录五个特点及其量化事实；说出水平扩展与垂直扩展的区别；说出为什么点赞数可以最终一致；对银行账户余额能否最终一致发表看法并说明理由。【设计意图】对应知识目标2，落实重点五个特点、突破难点弱一致性。五个特点各配一个可核对的数字，学生记住的是事实不是形容词；水平扩展与垂直扩展的对比单独讲，扩展这个词在后面选分片策略时才不会含混；弱一致性先用学生天天见的点赞场景立住可接受性，再用银行账户反问划出边界，取舍的边界由学生自己说出来。环节二NoSQL的定义与五个特点（14分钟）讲授＋板书对照表讲练结合工程判断：技术没有好坏只有合不合适【教师活动】1.讲分类线索：按数据模型划分，NoSQL分为键值、文档、列族、图四类，每类的模型不同，适合的业务也不同。2.讲键值存储数据库：使用键值对存储数据，类似哈希表；数据结构简单、读写性能高，通常不支持复杂查询；代表产品有Redis、Memcached、DynamoDB；适用场景是缓存、会话管理、计数器、排行榜。3.讲文档存储数据库：存储半结构化文档，文档可以有不同的结构，非常灵活，支持基于文档内容的查询；代表产品有MongoDB、CouchDB、Elasticsearch；适用场景是内容管理系统、博客平台、用户资料、产品目录。4.讲列族存储数据库：数据按列族存储，适合分布式存储，高可扩展性，支持海量数据存储；代表产品有Cassandra、HBase；适用场景是日志分析、时间序列数据、社交网络、物联网数据。5.讲图数据库：使用图结构存储数据，适合关系复杂的数据，支持高效的图遍历和关系查询，数据模型直观；代表产品有Neo4j、JanusGraph、OrientDB；适用场景是社交网络分析、推荐系统、语义网络构建、网络拓扑分析。6.投屏五维对照表并逐列讲读：数据模型一列分别是简单键值、动态文档、列族分片、节点与边；扩展性一列分别是集群水平扩展、分片加副本集、分区加多数据中心、分布式图引擎；查询复杂度一列分别是常数级简单查询、支持文档路径查询、列族范围扫描、对数级图遍历；典型延迟一列分别是一毫秒内、十到一百毫秒、五十到两百毫秒、一百到五百毫秒；推荐场景一列分别是缓存与会话、内容管理与实时分析、时序数据与高并发事务、社交网络与语义网络。7.讲清这张表的读法：先定数据形态，再看查询复杂度与延迟要求，最后落到场景，不必死记产品名。8.给出三个场景让学生当场选：用户会话信息、商品评论全文、用户之间的关注关系。逐一点评，讲清选错的代价往往要到数据量上来之后才显现。9.讲为什么本任务选MongoDB作实践重点：平台海量的用户行为日志、商品评价通常以类JSON格式生成，结构灵活变化迅速，文档模型能原生存储此类数据，无须预先定义严格的表结构，非常适合快速迭代的业务；同时其强大的查询语言、聚合框架以及对水平扩展的良好支持，使其成为处理半结构化业务数据的核心存储选择之一。【学生活动】记录四类数据库的数据模型、代表产品与适用场景；照五维对照表读出每一列的差别；对三个场景给出选型并说明理由；说出平台为什么选MongoDB作重点。【设计意图】对应知识目标3，落实重点四类数据库与选型。四类按数据模型这条主线讲，学生建立的是分类标准而不是四个孤立名单；五维对照表把产品差异落到可比较的维度上，选型的思路被显性化；三个场景当场选、当场评，知识在判断中被调用而不是被复述；讲清为什么选MongoDB，后面两个环节集中讲它有据可依。环节三四类数据库与技术选型（13分钟）讲授＋板书对照表讲练结合求真务实：选型看诉求不追新也不守旧【教师活动】1.说明以下操作为教师投屏演示、学生同步记录，本次课不上机实操。2.讲三层数据模型：文档是MongoDB的基本数据单元，类似JSON对象；集合是一组文档的集合，类似关系型数据库中的表；数据库是多个集合的分组，类似关系型数据库中的数据库。3.投屏同一条商品数据的两种写法并排展示：左边是关系表的一行，列名固定；右边是一个文档，字段写在花括号里，字段值可以是数组。4.提问：如果明天要给商品加一个产地字段，两边各要改什么？让学生回答，讲清前者要改表结构、后者直接写进去，这就是先定结构与先有数据的差别。5.讲清动态模式不是没有结构：文档内部仍然有字段名与字段值，只是结构不由库预先约束，而由写入方约定。6.投屏演示第一类操作连接：在命令行输入客户端命令连接MongoDBShell。7.投屏演示第二类操作创建数据库：切换数据库的命令，若数据库不存在则自动创建，讲清这种用到即建的机制与关系型数据库必须先建库再用的差别。8.投屏演示第三类操作创建集合：调用创建集合的方法并给出集合名。9.投屏演示第四类操作插入文档：调用插入单条的方法，写入商品名、价格、品类与一个特性数组，逐字段讲清数字不加引号、字符串加引号、数组用方括号。10.投屏演示第五类操作查询文档：先演示查询所有文档的写法，再演示带条件查询的写法，条件里用比较运算符限定价格上限，讲清条件本身也是一个文档。11.投屏演示第六类操作更新文档：调用更新单条的方法，第一个文档给出定位条件，第二个文档用设置运算符改价格、用集合添加运算符为数组追加一个新元素，讲清两个文档分别是找哪一条与改成什么样。12.投屏演示第七类操作删除文档：调用删除单条的方法并给出条件，提醒学生删除条件写空的后果。13.归纳七类操作的共同写法：都是库名加点加集合名，再点一个动作方法，括号里放条件或内容。【学生活动】记录三层数据模型与关系型数据库行、表、库的对应关系；说出两种写法在加字段时的差别；同步记录七类操作的命令与作用；说出更新操作里两个文档各自的作用；说出删除条件写空的后果。【设计意图】对应知识目标4、5，落实重点MongoDB三层模型与七类操作、突破难点文档模型的思维方式。两种写法并排投屏是突破难点的关键动作，差别由学生自己看出来；七类操作按建、插、查、改、删的实际使用顺序演示，学生记住的是一条工作流而不是五个孤立命令；最后归纳共同写法，学生拿到的是可以迁移的模式而不是七条要背的命令。环节四MongoDB数据模型与基本操作（15分钟）讲授＋板书直观演示法（投屏＋同步记录）规范意识：结构可以自由命名仍要统一【教师活动】1.讲定位：Redis与MongoDB在技术选型上形成鲜明互补——MongoDB擅长处理需要灵活查询的半结构化文档，Redis则专注于对读写速度有极致要求的简单数据结构。2.讲清核心差别：Redis将所有数据主要存储在内存中，提供近乎实时的读写能力，是构建高性能、高并发应用的基石。3.讲生态位互补：在“××优选”平台中，用户会话、热点商品缓存、秒杀库存计数、实时排行榜等场景都需要这种极致性能。4.讲第一类数据类型字符串：最基本的数据类型之一，可存储字符串、数字等。5.讲第二类数据类型哈希：键值对集合，适合存储对象，讲清它存对象与用多个字符串键存的差别在于一次能取回整个对象。6.讲第三类数据类型列表：有序字符串列表，支持双向插入和删除。7.讲第四类数据类型集合：无序唯一字符串集合，讲清唯一这个特性天然适合去重场景。8.讲第五类数据类型有序集合：有序唯一字符串集合，每个元素关联一个分数，讲清分数就是排序依据，这是排行榜能直接用的原因。9.投屏演示三类操作：连接客户端的命令；字符串的设置、获取与自增，讲清自增是原子操作，多人同时点赞不会互相覆盖；哈希的多字段设置与一次取回全部字段；列表的头部插入与区间读取。10.投屏演示集合与有序集合：集合的添加与列出全部成员；有序集合的按分数添加与带分数区间读取。11.讲清五类数据类型的选用线索：只要一个值用字符串，一组字段用哈希，有先后顺序用列表，要去重无序用集合，要排名用有序集合。12.提问：商品的实时库存计数用哪一类，为什么不用哈希？让学生回答并讲清单值场景用哈希属于过度设计。13.提醒持久化：内存带来速度也带来断电即失的风险，生产环境要开启持久化并设置过期时间，不能把所有数据都长期放在内存里。【学生活动】记录五类数据类型的结构特点与典型用途；同步记录各类操作的命令；说出有序集合为什么能直接做排行榜；回答库存计数该用哪一类及理由；记录持久化的注意事项。【设计意图】对应知识目标6，落实重点五类数据类型。五类按结构复杂度递增的顺序讲，学生理解的是结构能力而不是五个名词；选用线索归纳成五句话，学生在场景里可以直接对号入座；用过度设计这个追问培养克制的选型习惯；持久化提醒放在最后，学生知道速度是有代价的，为课后作业里的安全设计埋下伏笔。环节五Redis数据类型与基本操作（12分钟）讲授＋板书直观演示法（投屏＋同步记录）安全责任：内存换速度持久化要跟上【教师活动】1.说明本环节为教师投屏演示、学生同步记录，本次课不上机实操。2.给出案例背景：“××优选”电商平台为优化推荐算法，决定统一整合各业务系统中的用户行为数据。原有系统架构是：网站点击行为通过日志系统写入MongoDB；活动页面的浏览计数和点赞数据使用Redis缓存存储；商品订单信息仍保留在MySQL中。3.讲清技术团队当前要做的第一步：验证两类库的安装配置是否正确，并掌握基本的读写操作，以便后续进行数据清洗、结构转换与数据入湖处理。4.投屏演示第一段：在Shell中连接客户端。5.投屏演示第二段：创建用户行为数据库，在其中创建页面浏览集合。6.投屏演示第三段：插入一条用户点击行为文档，逐字段讲清用户编号、页面路径、动作类型、时间戳与设备类型，特别指出时间用的是日期类型而不是字符串，讲清这样写后面才能按时间范围筛选。7.投屏演示第四段：查询最近7天的点击记录，条件里用大于等于运算符限定起始时间，再用限制条数的方法取前若干条，并调用美化输出的方法。8.投屏演示第五段聚合统计：用聚合管道先按动作类型过滤，再按页面路径分组并对每组计数，然后按计数降序排序，最后取前5条，讲清管道是分阶段处理，每一阶段的输出是下一阶段的输入。9.讲清这条案例的结论：通过文档结构的灵活性，MongoDB可快速支持不定字段的数据收集与查询，非常适合电商日志类数据的处理需求。10.投屏演示第六段Redis部分：启动客户端；对某页面的点赞键做自增；用带步长的自增模拟多个用户点赞并查看总数；用哈希结构存储用户会话的登录时间与地理位置并一次取回；用有序集合按步长累加两个用户的活跃度，再带分数取回排名。11.讲清结论：Redis依托键值存储架构实现毫秒级快速响应，特别适合秒杀、排行榜等高并发场景。12.引导对比：同一份用户行为，点击明细进了MongoDB，点赞与活跃度进了Redis，订单留在MySQL，讲清这就是为什么后面做整合必须统一字段名、时间格式与用户标识。【学生活动】同步记录六段演示各自操作的库与数据对象；说出时间戳为什么要用日期类型；说出聚合管道四个阶段各自的作用；说出同一份行为数据为什么被拆进三个库；记录整合时必须统一的三项内容。【设计意图】对应能力目标2、3、4，覆盖知识目标4、5、6。案例演示把前两个环节的孤立命令放回真实业务流，命令在场景中被重新调用而不是另起一套；时间戳用日期类型这一点单独点出，学生明白写入时的随意会在查询时变成麻烦；最后引导对比三库并存的事实，直接为环节七的技能强化与项目小结铺路，讲与练形成闭环。环节六案例演示用户行为数据的写入与统计（13分钟）演示—模仿归纳小结（投屏＋同步记录）全局观念：数据要合得起来入库先想统一【教师活动】1.说明本环节完成项目五的收尾，分项目小结、技能强化、聚焦前沿与当堂检测四部分。2.讲项目小结：本项目系统性地构建了从多源异构数据环境中进行数据采集、整合与预处理的知识体系与实践能力，通过模拟“××优选”跨境零售平台搭建统一的数据整合环境的真实业务场景，完成从数据库环境搭建、SQL核心操作到NoSQL数据处理的完整工作流程。3.讲清本项目的收获：掌握了将分散、原始的数据转化为可供后续分析使用的、初步整合的可用数据集的核心技能，为深入进行数据分析、挖掘与应用奠定了不可或缺的基础。4.串起四个任务的链条并板书：任务一装三类库→任务二学SQL语法→任务三学查询与排序→任务四学NoSQL，学生拍照记录。5.讲技能强化的背景：平台积累了大量异构结构化与非结构化数据，分布在官网日志与用户行为、活动点赞与在线状态、主站交易订单、店铺商品评论、仓库库存五个库中；数据团队通过数据同步平台将各类数据汇聚至统一的数据湖中。6.讲技能强化的要求四条：使用Python脚本结合数据库连接库实现文档数据的批量清洗与字段提取；使用键值库客户端模块定期拉取用户活跃数据；模拟构建用户标签文档并输出为JSON格式；设计数据同步策略，将热门关键词写入文档库供推荐系统使用。7.讲清关键点：在数据集成过程中，NoSQL数据需特别关注字段标准化、时间格式统一与主键对齐，才能实现后续的用户画像分析、个性化推荐与库存预测建模。8.举教材的例子：将键值库中的热销排行榜数据每日定时导出到数据仓库中，并结合文档库中用户点击行为，构建高热度乘以高转化率的产品模型，从而指导首页内容的动态配置。9.讲聚焦前沿第一条：NoSQL加数据湖，面向大规模异构数据的整合平台。以文档库、检索库为代表的NoSQL数据库逐步实现与大数据计算与列式存储系统的集成，为构建面向非结构化、半结构化数据的企业级数据湖提供支持；文档云集成了数据流处理框架，可实现JSON文档的实时抽取、转换、加载；而日志技术栈支持日志数据的流式入湖，为实时运维监控与舆情分析提供解决方案。10.讲聚焦前沿第二条：NoSQL加人工智能，智能化建模的高效数据支撑。文档库可作为图像、文本等复杂数据的训练样本库，提供高效的读取接口；键值库作为模型服务的缓存前置层，可极大提升在线模型服务的响应速度；面向图神经网络等新型架构，图数据库开始用于企业语义网络构建与上下游语义推荐，将用户、商品、行为节点构建为复杂网络，在推荐算法中引入社交信任、兴趣迁移等高阶因素。11.讲聚焦前沿第三条：国产NoSQL崛起与数字主权意识强化。随着国产化替代与数权安全战略的推进，国产NoSQL数据库快速崛起，逐步构建起自主可控的非关系型数据技术体系；有产品以其向量搜索能力支撑千亿级图像与文本的语义检索，服务于国家级文化典藏、法律搜索、卫星遥感等领域。1