高中信息技术选修4《数据管理技术》第1.2课时 教学设计

高中信息技术选修4《数据管理技术》第1.2课时教学设计一、教材与学情分析本节课选自浙教版高中信息技术选修4《数据管理技术》模块，属于新授课内容，定位于第1.2课时。教材以“数据管理技术”为核心，旨在引导学生理解数据从采集、存储、处理到应用的全生命周期管理，建立数据治理与数据资产化的初步认知。选修4模块面向高二、高三学生，学习者已完成必修1《数据与计算》、必修2《信息系统设计》及选修1《算法与程序设计》等基础模块，具备关系型数据库基本操作、SQL基础查询、Python数据处理库基础应用等前置知识与技能。但受限于真实项目场景匮乏，学生对“数据质量治理""元数据管理""主数据管理""数据安全合规"等工程化、体系化概念多停留在定义层面，缺乏在复杂业务场景下的整合应用经验，且对数据伦理、数据合规等隐性知识关注度不足。二、核心素养导向的教学目标1.信息意识：能在具体业务场景中识别数据资产价值，判断数据质量风险，树立数据合规、数据安全、数据伦理的底线思维。2.计算思维：能运用数据建模、数据清洗、数据集成等方法，设计解决非结构化、多源异构数据管理问题的技术路径。3.数字化学习与创新：能基于开源数据治理工具搭建轻量级数据管理平台，完成从数据接入、质量监控到数据服务发布的全链路实践。4.信息社会责任：能分析数据管理过程中的隐私保护、知识产权、算法偏见等风险，制定符合《数据安全法》《个人信息保护法》的合规策略。三、重难点与突破策略重点：数据质量管理六大维度（完整性、准确性、一致性、及时性、有效性、唯一性）的量化度量与自动化监控实现；元数据管理在数据血缘分析、影响分析中的关键作用。难点：多源异构数据集成中的实体识别与冲突消解；主数据管理（MDM）在跨系统“一致性视图”构建中的架构设计与落地权衡。突破策略：引入“校园数字化转型”真实工程案例，贯穿“教务系统图书馆系统一卡通系统智慧教室物联网”四大数据源。采用“问题链驱动+工具链支撑+架构图演进”三维教学法，将抽象管理规范转化为可观测、可操作、可迭代的工程制品。四、教学环境与资源准备硬件环境：局域网内部署Kubernetes集群（3节点），预装Kafka、Flink、Doris、Amoro、DataHub、GreatExpectations等组件；每组4人配备1台开发机（16G内存以上）。软件资源：预制“校园数据治理沙箱”镜像，内含模拟业务数据（学生基础信息表、选课记录表、图书借阅流水、食堂消费流水、门禁刷卡记录、教室环境传感器数据），总量约200万条，覆盖结构化、半结构化、时序数据三大类型。教学辅助：自研“数据质量可视化看板”Web端，支持规则配置、异常钻取、血缘图谱动态渲染；教师端“课堂诊断仪表盘”实时采集学生操作日志、代码提交、协作对话关键词。五、教学过程设计（一）场景引入：数据信任危机与治理必要性（8分钟）教师投影“某校智慧校园决策会议”视频片段：校长因“学生画像报告”与“教务系统统计”人数不一致，质疑数据可信度；图书馆馆长反馈“热门图书推荐”长期滞后于借阅热点；信息中心负责人坦言“每新增一套业务系统，数据打通成本呈指数级增长”。视频结束，教师抛出核心问题：“当数据成为核心资产，为何我们却不敢信它、用不好它、管不住它？”学生分组讨论3分钟，在协作白板记录“数据不可信的具体表现”“可能的技术成因”“管理层面的盲区”。教师巡回倾听，捕捉关键词：脏数据、孤岛、标准不一、无人负责、缺乏监控。教师现场梳理形成“数据管理痛点地图”，自然引出本节核心任务——构建可信、可用、可控的数据管理体系。（二）概念建模：数据管理体系架构的“四梁八柱”（12分钟）教师展示DAMADMBOK2数据管理知识体系轮子图精简版，聚焦“数据治理”“数据架构”“数据建模与设计”“数据存储与操作”“数据安全”“数据集成与互操作”“文档与内容管理”“参考与主数据管理”“数据仓库与业务智能”“元数据管理”“数据质量管理”十一大职能领域。强调：轮子中心“数据治理”提供策略、标准、组织、度量四大支撑，外围十大职能领域分工协作，共同服务于数据价值实现。针对校园场景，教师引导学生完成“职能领域业务痛点技术对策”三列映射表：职能领域校园痛点映射核心技术对策数据质量管理学生人数多版本不一、传感器数据缺失异常规则引擎+画像校验+自动化监控看板元数据管理字段含义不清、血缘断裂、影响分析靠猜统一元数据注册中心+列级血缘自动采集主数据管理学生/教师/课程/组织多系统ID不一致记录构建+跨系统映射表+分发订阅机制数据集成批流不一、Schema漂移、延迟不可控CDC+SchemaRegistry+统一流批一体引擎数据安全合规敏感字段明文存储、访问无审计、脱敏不彻底分级分类+动态脱敏+行列级权限+操作审计（三）实战推演一：数据质量管理——从“定性认知”到“量化治理”（25分钟）1.规则定义与建模（8分钟）教师演示GreatExpectations（GE）ExpectationSuite编写。以“学生基础信息表”为例，现场编写六大维度规则：完整性：expect_column_values_to_not_be_null(column="student_id")、expect_column_values_to_not_be_null(column="id_number")准确性：expect_column_values_to_match_regex(column="id_number",regex="^[19]\\d{5}(19|20)\\d{2}(0[19]|1[02])(0[19]|[12]\\d|3[01])\\d{3}[\\dXx]$")、expect_column_values_to_be_between(column="age",min_value=15,max_value=25)一致性：expect_column_values_to_be_in_set(column="gender",value_set=["男","女"])、expect_table_row_count_to_equal_other_table(table_a="student_basic",table_b="student_enroll",key_columns=["student_id"])及时性：expect_column_max_to_be_between(column="update_time",min_value="{{(datetime.now()timedelta(days=1)).isoformat()}}",max_value="{{datetime.now().isoformat()}}")有效性：expect_column_values_to_match_regex(column="phone",regex="^1[39]\\d{9}$")、expect_column_values_to_be_unique(column="student_id")唯一性：expect_pound_columns_to_be_unique(column_list=["student_id","term_id"])学生分组在沙箱JupyterLab中打开预置notebook，针对“图书借阅流水表”“食堂消费流水表”各自编写不少于8条规则，涵盖六大维度。教师通过“课堂诊断仪表盘”实时查看规则通过率、语法错误分布，针对性巡讲。2.自动化检测与异常闭环（12分钟）教师演示GECheckpoint配置：绑定数据源、指定Suite、设置Action（更新DataDocs、发送钉钉告警、写入PostgreSQL异常明细表、触发Airflow重跑任务）。现场运行Checkpoint，DataDocs生成的HTML报告直观展示“成功/失败/异常明细/分布图谱”。学生任务：将编写的Suite接入Checkpoint，配置“每日02:00自动执行+异常即时告警”。观察DataDocs报告，挑选1个失败规则，在协作文档完成“根因分析修复建议验收标准”三步闭环记录。教师组织跨组交流：A组展示“借阅流水表借阅日期晚于归还日期”规则捕获的脏数据占比0.7%，根因是旧版客户端未校验归还操作时间；B组展示“食堂消费金额为负值”规则捕获退款流水未标记交易类型，建议增加transaction_type字段。教师点评：数据质量规则非一劳永逸，需建立“规则版本管理失效淘汰新增评审”生命周期机制。3.质量度量体系构建（5分钟）教师引导学生思考：单条规则通过率不能直接等同数据质量得分。介绍“维度加权表级聚合主题域汇总”三层度量模型：维度权重由业务方确认（如教务主题域：准确性0.3、完整性0.25、一致性0.2、及时性0.1、有效性0.1、唯一性0.05）表级得分=Σ(规则通过率×规则权重)主题域得分=Σ(表级得分×表重要性权重)学生在白板协同完成“校园核心主题域质量权重矩阵”初稿，教师收集留作后续迭代依据。（四）实战推演二：元数据管理——让数据“会说话、查得清、管得住”（20分钟）4.元数据分类与采集架构（6分钟）教师展示DataHub元数据模型核心实体：Dataset、Schema、Chart、Dashboard、DataJob、DataFlow、DataProcess、Tag、GlossaryTerm、Ownership、InstitutionalMemory。重点讲解技术元数据（Schema、血缘、统计信息）、业务元数据（术语表、数据分类分级、数据所有者）、操作元数据（访问日志、查询历史、数据画像、质量评分）三大类别。演示DataHub元数据采集架构：SourceConnectors（MySQL、Kafka、Doris、Airflow、Superset、GreatExpectations）→MetadataService(GraphQL/REST)→DataHubFrontend(React)→ActionsFramework（告警、同步、治理工作流）。强调：采集非一次性全量，而是“基础技术元数据全量自动采集+业务元数据增量人工治理+操作元数据实时流式采集”混合模式。5.血缘构建与影响分析实战（14分钟）学生任务：在DataHubUI中完成以下操作：①验证自动采集的列级血缘：搜索“student_basic”表，点击Lineage标签，观察上游KafkaTopic“cdc.student_basic”→Flink作业“ods_student_basic”→Doris表“dwd_student_basic”→ADS层宽表“ads_student_profile”完整链路；点击列“college_id”查看列级血缘穿透至源表“college_dict”表。②模拟Schema变更影响分析：假设源系统将“student_basic.major_code”字段类型由VARCHAR(10)改为VARCHAR(20)。在DataHub“Actions”配置“SchemaChangeDetection”Action，绑定钉钉告警。教师现场在MySQL执行ALTERTABLE，学生观察DataHub实时触发告警，自动生成“下游受影响节点清单”（含Flink作业、Doris表、Superset仪表盘、GE规则），并标记“破坏性变更/兼容性变更”风险等级。③业务术语治理：学生协作创建GlossaryTerm“在校生”，绑定定义“学籍状态为‘正常’且未毕业的学生”，关联标签“核心主数据”、“敏感等级L2”，指派数据管家（教务处学籍科长）。在Dataset“student_basic”打上Term标签，验证搜索“在校生”可检索到所有相关表、仪表盘、血缘节点。教师总结：元数据管理的价值不在“采集多全”，而在“查得快、改得准、责任人明确”。血缘是变更影响分析的地图，术语表是跨部门沟通的词典，数据画像是质量治理的体检报。（五）实战推演三：主数据管理——打破孤岛的“记录”工程（20分钟）6.主数据识别与建模（6分钟）教师引导学生梳理校园场景主数据实体：学生、教师、课程、组织机构、专业、班级、教室、图书。采用“实体属性关系生命周期来源系统”五维建模模板，以“学生主数据”为例现场建模：实体：Student_Master核心属性：master_id(SURROGATEKEY)、source_system、source_id、student_no、id_number、name、gender、birth_date、enroll_date、status、college_id、major_id、class_id、phone、email、address、create_time、update_time、version、is_deleted关系：N:1关联College_Master、Major_Master、Class_Master；1:N关联Student_Enroll、Student_Card、Student_Profile生命周期：预录入→在校→休学→复学→毕业/肄业→校友来源系统：教务系统(HR)、招生系统(ADM)、一卡通(CARD)、智慧教室(IOT)、图书馆(LIB)学生分组补全“教师主数据”“课程主数据”建模模板，教师巡讲点评主键选型（业务主键vs代理键）、历史拉链表设计、软删除策略。7.实体识别与记录生成（14分钟）教师演示基于FlinkSQL的实体识别与合并逻辑：步骤1：多源数据标准化清洗（统一编码、格式归一、空值填充）步骤2：确定性匹配——基于身份证号、学号、工号等唯一标识精准关联步骤3：概率匹配——基于姓名+性别+出生日期+手机号/邮箱组合，引入FellegiSunter模型计算匹配得分，阈值0.95以上自动合并，0.70.95人工复核，0.7以下视为新实体步骤4：记录构建——采用“最新胜出+非空优先+来源系统优先级”融合策略，生成Master表全量快照+增量变更流步骤5：映射关系表维护——记录source_system、source_id、master_id、match_type、match_score、create_time，支撑下游系统回写与追溯学生在沙箱运行预置Flink作业，观察WebUI中“匹配统计”指标：总输入12万条，确定性匹配9.8万，概率匹配1.5万，人工复核队列600条，新实体500条。教师现场模拟人工复核：调出DataHub“Stewardship”工作台，展示疑似重复记录对比视图，演示“合并/拆分/忽略”三种裁决操作，自动下发更新映射表与Master表。教师追问：“若教务系统将某学生专业从‘计科’改为‘软工’，一卡通系统尚未同步，Master表该听谁的？”引导学生明确：主数据管理非以某系统为准，而按“业务权威源变更时间变更类型”分级仲裁，建立“变更申请审批发布订阅”闭环流程，Master表仅反映“已生效的权威视图”。（六）综合挑战：数据服务发布与合规穿透（15分钟）教师发布终极任务：“为‘学生全景画像’API提供合规、高质量、可追溯的数据服务。”学生分组完成：8.在Doris中基于Master表与明细宽表构建“学生画像物化视图”，字段含：基础属性、选课画像、消费画像、借阅画像、轨迹画像、预警标签。9.配置DataHub“数据服务”元数据：注册API资产，绑定OpenAPI文档，标记字段敏感等级（姓名/身份证/手机/L2，成绩/消费/L1，轨迹/L3）。10.在API网关（Kong）配置策略：JWT鉴权、基于角色的行列级权限（辅导员仅可见本班、教务处可见全校、科研脱敏可见）、调用频控、审计日志推送至DataHub操作元数据。11.编写合规自检清单：最小必要原则核查、脱敏规则覆盖率核查、授权审批单归档、数据出境风险评估（无）、数据销毁计划预留。教师随机抽查2组API调用演示，现场用Postman验证：辅导员Token请求返回脱敏手机号（1381234）、教务处Token返回明文、未授权Token返回403、超频请求返回429。DataHub审计日志实时记录调用者、字段、时间、脱敏动作。（七）总结提升与迁移拓展（5分钟）教师梳理全课知识脉络：数据质量管理解决“信不信”，元数据管理解决“懂不懂、查不查”，主数据管理解决“统不统、对不对”，三者通过“规则血缘记录”形成闭环，共同支撑可信数据服务输出。布置迁移任务：以“智慧医疗/智慧交通/智能制造”任选一领域，绘制“数据管理体系架构适配图”，标注核心主数据实体、关键质量规则、元数据采集难点、合规重点条款，形成不超过2页的架构决策记录（ADR），下周上交至课程GitLab仓库参与CodeReview。六、教学评价体系过程性评价（60%）：•规则编写规范性与覆盖度（GreatExpectationsSuite代码评审打分）•Checkpoint配置完整性与自动化告警验证（截图+日志）•DataHub血缘验证、Schema变更告警触发、术语治理操作记录•Flink主数据匹配作业运行指标与人工复核裁决记录•API网关策略配置正确性与合规自检清单完成度终结性评价（40%）：•迁移任务ADR文档质量（架构完整性、决策合理性、风险识别深度、表达专业度）•跨组CodeReview参与度与反馈建设性•课堂协作白板贡献度（关键词密度、结构化程度、洞察深度）评价工具：自研“数据管理能力评价量表”（含技术实施、架构思维、工程规范、合规意识、协作沟通五维22个二级指标），支撑过程性数据自动采集与多维画像生成。七、教学反思与持续迭代机制每课后教师记录“教学复盘日志”：知识点掌握偏差（通过诊断仪表盘错误聚类分析）、工具链易用性痛点（学生操作卡顿、报错高频点）、场景真实度反馈（学生访谈/问卷）、课时分配合理性。每学期末组织教研组开展“课程版本迭代评审会”，引入企业数据架构师、校数据治理办专家参与，依据《中国计算机学会数据管理专业能力认证大纲》《教育部高等学校计算机类专业教学指导意见》等标准，对教学大纲、案例库、工具链、评价体系进行版本化升级，形成“版本号变更日志灰度验证全量发布”教研闭环。八、课程思政融入点说明全程贯穿“数据有价、价值无价、合规是底线、诚信是根基”价值导向：•引入场景时强调数据造假对决策误导、对师生权益损害•质量规则定义环节渗透“实事求是、不做选择性清洗”科学精神•主数据匹配人工复核环节体现