本科三年级应用统计学专业《缺失数据的现代统计推断方法》教学设计

本科三年级应用统计学专业《缺失数据的现代统计推断方法》教学设计

  一、 课程定位与理念阐述

  本课程面向本科三年级应用统计学专业学生开设，属于专业核心课程《高级统计软件与案例分析》的关键进阶模块。在数据科学时代，数据的缺失（MissingData）是几乎所有实证研究领域面临的普遍性难题，而非特例。传统的“直接删除”或“简单插补”方法常会引入严重的估计偏误、降低统计功效，并最终导致科学结论的失真。因此，深入理解数据缺失的机制，并掌握在此机制下进行有效统计推断的现代方法，已成为一名合格的、具备前沿视野的数据科学工作者不可或缺的核心素养。本教学设计秉承“问题驱动、理论奠基、实践贯通、伦理先行”的核心理念，旨在引导学生超越软件操作的浅层应用，深入缺失数据统计推断的数学原理与哲学思考，培养学生面对真实世界复杂数据问题时，能够进行严谨机制判断、方法选择与结果解释的高阶思维能力。

  二、 教学目标

  （一）知识与技能目标

  1.学生能够准确辨析并举例说明数据缺失的三种基本机制：完全随机缺失、随机缺失与非随机缺失，理解其对应的数学定义（基于Rubin框架）及对统计推断的潜在影响。

  2.学生能够系统评价列表删除、均值插补、回归插补等传统方法的局限性，特别是其对标准误的低估和对相关结构的扭曲。

  3.学生能够深刻理解并阐释多重插补法的核心思想、理论依据（基于贝叶斯与随机性原理）及实施流程，包括插补模型的设定、多次插补数据集的生成、分析及结果池化规则（Rubin法则）。

  4.学生能够理解最大似然估计法（特别是基于EM算法）处理缺失数据的基本原理，并比较其与多重插补法在思想与适用场景上的异同。

  5.学生能够熟练运用R语言中的mice

、Amelia

等专业包，针对具有不同缺失模式的模拟及真实数据集，完成从缺失模式诊断、机制判断、方法选择、实施到结果报告的全流程分析。

  （二）过程与方法目标

  1.通过对比分析经典“完整案例分析”与引入缺失数据后各种方法得出的结论差异，培养学生对统计方法稳健性与结果敏感性的批判性评估能力。

  2.通过设计并实施基于模拟数据的研究项目，让学生亲身体验在不同缺失机制、不同缺失比例下，各种统计方法的性能表现，从而内化“方法选择依赖于机制假设”这一核心原则。

  3.通过小组协作，对来自公共卫生、社会学或经济学领域的真实含缺失数据的研究进行复现或再分析，培养学生跨学科理解数据背景、制定分析计划、协作解决复杂问题的能力。

  （三）情感、态度与价值观目标

  1.培养学生面对数据缺失时的科学严谨态度与职业责任感，摒弃对缺失数据轻率处理的做法，认识到严谨处理缺失数据是保证研究伦理与结论可靠性的基石。

  2.激发学生对统计理论在解决实际数据难题中强大力量的欣赏，建立将方法论学习与真实世界问题紧密结合的学术志趣。

  3.引导学生关注“算法公平性”议题，思考当缺失机制在不同社会群体中存在差异时，草率的插补方法可能加剧统计歧视，从而树立负责任的、有伦理意识的数据科学观。

  三、 学情分析

  授课对象为统计学专业本科三年级学生。他们已系统修读《概率论与数理统计》、《回归分析》、《多元统计分析》及《统计计算》等先修课程，具备坚实的概率分布理论、参数估计、假设检验及线性模型基础。在编程技能上，已掌握R语言的基本语法与数据处理能力。然而，其知识体系存在以下典型特征与挑战：第一，对统计方法的理解多基于“数据完整”的理想假设，对现实数据复杂性，特别是系统性缺失带来的理论挑战认识不足。第二，虽掌握软件操作，但常表现为“黑箱”式使用，对算法背后的统计原理、前提假设及结果解读深度不够。第三，缺乏将多个统计概念（如似然函数、贝叶斯推断、蒙特卡洛模拟）综合运用于解决一个复杂问题的经验。因此，本课程需在巩固其已有知识网络的基础上，精心搭建通往现代缺失数据处理方法的桥梁，着力于原理的直观阐释与综合应用能力的锻造。

  四、 教学重点与难点

  教学重点：1.Rubin缺失数据机制的经典理论框架及其直观理解。2.多重插补法的完整工作流程、原理（包含随机性的必要性）及结果池化方法。3.基于模拟研究的方法比较与评估范式。

  教学难点：1.“随机缺失”与“非随机缺失”机制的理论区分及在实践中的可识别性难题。2.多重插补中，插补模型（尤其是包含交互项、非线性项）与后续分析模型兼容性的理解。3.EM算法处理缺失数据的迭代思想及其与直接似然最大化、多重插补的内在联系。难点突破策略：采用大量可视化图形（如展示不同机制下缺失模式与观测数据的关系）、动态模拟演示（展示插补过程如何传播不确定性）以及层层递进的案例分析，将抽象理论具象化。通过引导学生亲手编写简化版插补算法，深化对“随机性注入”核心思想的理解。

  五、 教学资源与工具

  1.核心教材与专著章节：Rubin,D.B.(2004)MultipleImputationforNonresponseinSurveys

部分章节；Little,R.J.A.Rubin,D.B.(2019)StatisticalAnalysiswithMissingData

(第三版)精选章节。

  2.主要软件与平台：R语言及RStudio集成开发环境；关键R包：mice

(用于多重插补)、VIM

(用于缺失数据可视化)、naniar

(用于缺失模式探索)、Amelia

(用于另一种多重插补算法)。JupyterNotebook或RMarkdown用于创建可重复分析报告。

  3.数据集：课程将使用多个经典及自编数据集，包括：(1)airquality

(内置数据集，含随机缺失)；(2)模拟生成的具有已知缺失机制（MCAR,MAR,MNAR）的数据集，用于方法验证；(3)来自公开数据库的真实数据集，如美国“国家健康与营养调查”的部分匿名数据，包含复杂的缺失模式。

  4.在线资源：提供国内外顶尖大学（如哈佛大学、UCLA）相关公开课视频片段作为补充学习材料。

  六、 教学实施过程（总计12课时，每课时45分钟）

  本教学实施过程以“概念建构-原理深究-实践应用-综合评估”为逻辑主线，具体分为四个紧密衔接的模块。

  模块一：问题觉醒与概念奠基（2课时）

  课时1：无处不在的缺失：从案例中认识挑战

  1.情境导入（15分钟）：不直接陈述理论，而是呈现三个精心设计的微案例。

    案例A（临床医学）：一项新药临床试验，部分患者因不良反应脱落，其最终疗效数据缺失。直接比较完成试验的患者群体疗效会得出什么结论？可能存在什么偏倚？

    案例B（社会调查）：一份收入问卷调查，高收入群体出于隐私顾虑拒绝回答收入项的比例显著更高。若用回答者的平均收入代表总体平均收入，后果如何？

    案例C（环境监测）：一组空气质量传感器，在极端污染天气下更易发生故障导致数据记录缺失。用现有数据评估年均污染水平会带来何种系统性误差？

    引导学生分组讨论：这些缺失是“偶然”还是“有规律”？删除缺失样本或简单填补可能会怎样扭曲事实？由此激发学生对“缺失非中性”的深刻认知。

  2.概念初建（20分钟）：在学生讨论基础上，正式引入DonaldB.Rubin的缺失数据理论框架。核心是定义缺失指示矩阵R。通过图示和数学条件概率表达式，精确定义三种机制：

    完全随机缺失：缺失与否与任何数据（已观测和未观测）均无关。举例：调查问卷因印刷错误随机丢失一页。

    随机缺失：缺失与否仅依赖于观测到的数据。举例：在收入调查中，是否回答收入问题可能与已观测到的“教育水平”有关，但与自身真实的“收入”值无关（在给定教育水平下）。

    非随机缺失：缺失与否依赖于未观测到的数据本身。举例：在心理健康调查中，抑郁程度越严重的个体越可能拒绝填写相关的量表题目。

  3.初步诊断实践（10分钟）：学生使用R语言，对提供的airquality

数据集，利用is.na()

、md.pattern()

(mice

包)和aggr()

(VIM

包)函数，进行缺失模式的初步探索与可视化，绘制缺失模式矩阵图和条形图，直观感受数据缺失的结构。

  课时2：传统方法的反思与局限

  1.方法回顾与操作（20分钟）：系统回顾并让学生在R中实施三种传统方法：（a）列表删除（即成对删除与个案删除）；（b）单一值插补（均值、中位数、众数插补，及LastObservationCarriedForward）；（c）简单回归插补。要求学生记录每种方法处理后的数据集特征及关键统计量（如均值、方差、相关系数）。

  2.模拟演示与批判（25分钟）：教师使用课前准备好的模拟数据生成程序。首先生成一个完整的多元正态数据集，设定其真实的相关系数矩阵。然后，分别按照MCAR和MAR机制人为生成20%的缺失。接着，应用上述传统方法进行处理，并计算处理后的数据统计量（如回归系数、相关系数、标准误）与完整数据下的“真实值”进行对比。

    关键演示点：展示列表删除如何导致有效样本量骤减，标准误被人为增大（效率损失）；展示单一值插补（特别是均值插补）如何严重扭曲变量间的联合分布，使相关系数被系统性低估，方差被缩小，产生“虚假的精确性”；展示简单回归插补如何抹杀残差变异，导致处理后的数据过于“规矩”，同样低估不确定性。通过动态图表对比，让学生亲眼目睹这些方法带来的偏误与失真。

    引导学生总结：传统方法的核心问题在于未能正确处理缺失数据所引入的不确定性，或错误地假设了过于简单的缺失机制。由此，自然过渡到对现代方法的需求——必须能够合理量化并传播这种不确定性。

  模块二：核心理论与方法突破（4课时）

  课时3：多重插补法（一）——思想与框架

  1.思想启蒙（15分钟）：从一个简单的一元变量均值估计问题入手。假设一个变量Y有部分值缺失（MAR机制）。直接计算观测值的均值是μ_obs的一个点估计。但缺失的Y值是多少？我们不确定。多重插补的核心思想是：既然不确定，我们就基于观测数据和合理的假设（插补模型），多次（m次）模拟可能出现的完整数据集。每次模拟，都从缺失值的后验预测分布中随机抽取一组值进行填充。这样，我们得到了m个“看似完整”的数据集。

  2.框架解析（30分钟）：详细阐述Rubin提出的三步流程。

    第一步：插补。强调插补模型应尽可能丰富，包含与分析模型相关的所有变量，甚至包括辅助变量。解释“多重”的意义：通过引入随机性（来自残差项或参数的后验分布），捕捉由于缺失导致的不确定性。演示如何使用mice()

函数，选择不同的插补方法（如pmm，predictivemeanmatching），设定插补次数m（通常5-10次），生成m个插补数据集。

    第二步：分析。对每个插补后的完整数据集，分别使用标准的统计方法（如线性回归、逻辑回归）进行分析，得到m组参数估计θ_hat_i和对应的方差估计U_i。

    第三步：池化。介绍Rubin法则：最终参数估计θ_bar=(1/m)Σθ_hat_i。最终方差估计T=U_bar+(1+1/m)*B，其中U_bar是组内方差的平均（反映抽样变异），B是组间方差（反映由于缺失导致的不确定性）。直观解释：总不确定性=抽样不确定性+缺失引起的不确定性。通过公式和图示，让学生理解T总是大于单一插补下的方差，这才是对真实不确定性的诚实反映。

  课时4：多重插补法（二）——实践、诊断与陷阱

  1.上机实践（25分钟）：学生分组，对一个具有明确MAR机制（如：Y的缺失概率与已观测的X线性相关）的模拟数据集进行实战。任务：使用mice

包完成从数据导入、设置插补模型（考虑X，以及可能的X的高阶项）、运行插补（m=5）、检查插补收敛性（绘制迭代历史图）到提取插补数据集的完整流程。

  2.诊断与评估（20分钟）：讲解并实践对插补质量的诊断。（a）收敛性诊断：观察各插补链的均值、标准差轨迹图是否混合良好。（b）插补分布合理性诊断：比较观测数据与插补数据的分布（使用密度叠加图）。（c）敏感性分析思想初探：如果改变插补模型的设定（例如加入或删除一个可能的预测变量），最终的分析结果（如回归系数）变化大吗？引导学生认识“没有唯一正确的插补”，关键在于过程的透明与敏感性分析。

  课时5：最大似然估计法

  1.原理衔接（20分钟）：从完全数据似然函数出发，当数据存在缺失时，似然函数变为基于观测数据的边际似然函数，需要对缺失部分进行积分（或求和）。直接最大化这个边际似然函数通常很困难。引入EM（Expectation-Maximization）算法作为求解工具。通过一个简单的双变量正态数据缺失的例子，图解EM算法的两步迭代：E步——在给定当前参数估计和观测数据的条件下，计算缺失数据的充分统计量的条件期望；M步——将E步得到的“完全数据”充分统计量视为已知，重新最大化似然函数，更新参数估计。展示该过程如何逐步逼近最大似然估计。

  2.与多重插补的对话（25分钟）：深入比较两种主流方法。相同点：都基于模型假设（通常是MAR），都能产生渐近无偏的估计。不同点：（a）哲学与输出：多重插补是多重抽样，输出多个数据集，强调不确定性传播；最大似然是一次优化，输出一组参数估计及基于观测信息矩阵的标准误。（b）灵活性：多重插补更灵活，可将任何标准分析方法应用于插补后数据集；而特定模型的EM算法实现可能受限。（c）计算与软件：mice

等包使多重插补易于实施；EM算法可能需专门软件或编程。总结：在MAR假设下，两者常得到相似的点估计，但多重插补在复杂模型和结果报告上更具直观优势。

  课时6：非随机缺失的挑战与前沿探索

  1.MNAR的不可识别性（20分钟）：通过一个简单的数学例子（如：估计一个总体均值，但缺失概率依赖于真实值本身），直观展示在MNAR机制下，无论从观测数据中获得多少信息，都无法唯一确定缺失数据的分布。这是统计学中的一个根本性限制。引入“敏感性分析”作为应对此困境的核心策略。

  2.敏感性分析方法概览（25分钟）：介绍两种常用思路。（a）模式混合模型：对观测部分和缺失部分分别建立（可能有差异的）模型，通过引入一个或几个敏感性参数（例如，缺失组相对于观测组的均值偏移量δ）来量化MNAR的偏离程度。展示如何通过改变δ的值，观察关键统计推断（如治疗效应）的变化范围。（b）基于多重插补的敏感性分析（如mice

包中的ampute

和smcfcs

功能）：首先在MAR假设下生成插补，然后有控制地对插补值进行扰动（例如，对某一子群的插补值系统性加一个偏移量），再分析比较。核心信息是：当MNAR可能性存在时，研究者有责任报告结果对于合理范围内的MNAR假设的稳健性。介绍“tippingpointanalysis”的概念：需要多大的MNAR偏离才能推翻原本在MAR下的结论？

  模块三：综合实践与项目研习（4课时）

  课时7-8：跨学科案例实战工作坊

  本部分采用“翻转课堂”与“协作学习”相结合的模式。

  1.课前准备：学生被分为若干项目小组，每组从教师提供的案例库中选择一个真实世界课题。案例库包含：（1）公共卫生：某流行病学队列研究，基线与随访数据存在失访导致的缺失。（2）教育测量：一份大型标准化测试数据，部分学生因时间不足未完成所有题目（非随机缺失？）。（3）经济面板数据：某些年份某些国家的经济指标未被报告。

  2.课堂工作流（两课时连上）：

    第一阶段（40分钟）：小组内部讨论。明确研究问题、识别关键变量、使用可视化工具深入探索其缺失模式（naniar::gg_miss_var()

，VIM::marginplot()

），并基于领域知识对缺失机制（MCAR？MAR？可能的MNAR？）进行初步假设。

    第二阶段（60分钟）：制定并实施分析计划。每组需决定：选择何种方法（多重插补/最大似然）？理由是什么？如何设定插补模型（包含哪些变量、交互项）？如何诊断插补质量？计划进行敏感性分析吗？学生在R中协作编码，实施分析。

    第三阶段（50分钟）：结果整合与初步报告。每组准备一个5分钟的简短汇报，展示其分析流程、关键发现（包括与简单删除法的对比），并对结果的稳健性进行评述。

    第四阶段（30分钟）：跨组评议与教师总结。各组交叉评议分析逻辑的严谨性，教师针对共性问题（如插补模型设定过于简单、忽视收敛性诊断）进行集中点评和深化讲解。

  课时9：模拟研究设计与解读

  1.设计原理（20分钟）：讲解模拟研究作为评估统计方法“金标准”的意义。明确模拟研究的要素：真实数据生成模型（设定真实的参数θ）、缺失数据生成机制（明确是MCAR、MAR还是MNAR，及缺失比例）、被评估的处理方法（如：列表删除、多重插补、EM）、评估指标（偏倚Bias=平均估计值-真实值、均方误差MSE、经验覆盖率——95%置信区间包含真实值的比例）。

  2.示范与解读（25分钟）：教师展示一个预先运行的、全面的模拟研究结果（使用ggplot2制作精美图表）。例如，在一个线性回归场景下，固定MAR机制，让缺失比例从10%增加到50%，比较不同方法的偏倚和覆盖率变化。关键解读：展示多重插补即使在较高缺失比例下，仍能保持较低偏倚和接近95%的覆盖率；而列表删除的偏倚可能增大，简单插补的覆盖率会严重下降（远低于95%）。让学生通过数据可视化，直观建立“方法性能与缺失机制、比例相关”的量化认知。

  模块四：整合、评估与展望（2课时）

  课时10：伦理、报告规范与学术写作

  1.伦理讨论（20分钟）：组织专题研讨。议题：在运用这些复杂方法时，研究者负有哪些伦理责任？重点讨论：（a）透明性：必须在研究报告中详尽报告缺失数据的模式、处理方法的细节及敏感性分析，避免制造“技术黑箱”。（b）避免“魔法修补”的误导：不能让精妙的统计方法给有严重缺陷的数据收集过程“镀金”，方法的复杂性不能替代研究设计的严谨性。（c）公平性考量：当缺失机制在不同种族、性别群体中系统性不同时，不加批判的插补可能固化甚至加剧算法偏见。如何通过分层分析、群体特异性插补模型来应对？

  2.报告标准（25分钟）：系统介绍国际权威期刊（如JAMA,BMJ,PsychologicalMethods）关于报告缺失数据处理的指南要求。结合一篇优秀论文的“统计分析”部分范例，讲解应报告的内容清单：缺失数量与模式的描述；处理缺失数据所使用方法的原理简述及理由；软件与具体设置（如mice

包，m=20，使用pmm方法）；敏感性分析的方法与结果。强调将分析代码（RMarkdown）作为补充材料提交的重要性，以促进可重复性。

  课时11：课程综合评估与前沿动态简介

  1.知识图谱构建（30分钟）：引导学生以小组为单位，使用思维导图工具，绘制本课程核心概念与方法的关系图谱。从“缺失数据”这个核心问题出发，延伸出三大机制（MCAR，MAR，MNAR），连接两大现代方法（多重插补，最大似然），并关联诊断、评估、敏感性分析等关键实践环节。通过此活动，促进学生将碎片化知识系统化、结构化。

  2.前沿瞥见（15分钟）：简要介绍当前活跃的研究方向，拓宽学生视野。例如：（a）大数据场景下的多重插补：如何应对超高维数据、非结构化数据？（b）机器学习与插补的结合：随机森林、深度学习模型在插补预测中的应用与挑战（如不确定性量化难题）。（c）纵向数据与多水平数据中更复杂的缺失模式处理。鼓励学有余力的学生进行文献探索。

  七、 教学评估设计

  本课程采用形成性评估与终结性评估相结合的方式，全面考察学生的知识、技能与素养。

  （一）形成性评估（占总评40%）

  1.平时练习与代码提交（15%）：针