假设检验与方差分析1

STATISTICS·LECTURE01假设检验与方差分析（一）HypothesisTesting&One-WayANOVA课堂教学·数理统计H₀:μ₁=μ₂=···=μₖH₁:atleastoneμᵢdiffersF=MSB/MSWPartOneS数理统计CONTENTS课程大纲COURSEOUTLINE01假设检验基本原理原假设与备择假设的逻辑框架两类错误的概率关系与显著性水平选择p值的正确解读与检验功效概念02常用参数检验方法Z检验与t检验的适用条件区分卡方检验用于方差推断配对设计与独立样本的设计差异03单因素方差分析模型为何不能用多次t检验替代ANOVA平方和分解与F统计量构造ANOVA表的完整解读方法04实例演练与注意事项三种教学方法效果的完整计算示例假设条件验证与事后多重比较常见误区与后续学习路径CHAPTER01假设检验基本原理FundamentalsofHypothesisTestingSTATISTICSDEFINITION什么是假设检验假设检验是基于样本数据对总体参数或分布特征做出推断的统计方法，其核心逻辑是反证法与小概率原理的结合。假设检验不是证明而是证伪：我们只能以一定置信度拒绝原假设，永远无法绝对证实它成立。小概率原理是决策依据：在一次试验中几乎不可能发生的事件如果竟然发生了，我们就有理由认为前提假设有问题。样本是桥梁而非终点：单个样本统计量的值本身没有意义，只有放在原假设所规定的抽样分布中才能判断是否异常。结论具有概率性质：即使拒绝了原假设仍有α的概率犯第一类错误，不存在百分之百确定的统计推断。S统计学基础HYPOTHESISTESTINGCONCEPTS原假设与备择假设原假设H₀代表无效应或现状，必须包含等号；备择假设H₁代表研究者希望证实的新主张。原假设H₀的设定原则等号保护原则：H₀必须包含等号，它是被保护的假设，只有在证据足够强时才会被拒绝。现状代表：H₀通常代表无差异、无效果或符合标准，是我们计算抽样分布的前提。边界明确：将H₀设为等号形式可使拒绝域边界最明确，便于确定临界值和计算p值。H₀包含等号·被保护·拒绝需强证据备择假设H₁的方向选择双侧检验：H₁用于只关心是否有差异的场景，拒绝域分布在两端，是最保守的形式。单侧检验：H₁用于有明确方向预期的场景，将全部α集中在一侧，检验更灵敏。事前确定：选择单侧还是双侧必须在看到数据之前确定，不能事后修改。H₁新主张·方向可选·事前确定HypothesisTesting两类错误及其概率第一类错误（弃真）概率记为α；第二类错误（纳伪）概率记为β。两者此消彼长。假设检验的决策矩阵实际情况决策：不拒绝H₀决策：拒绝H₀H₀为真✓正确决策（概率1−α）✗第一类错误（概率α）H₀为假✗第二类错误（概率β）✓正确决策（概率1−β）α由研究者事先选定，β取决于效应大小、样本量和α。TypeIError·弃真当H₀为真时却拒绝了它——即"冤枉了好假设"，概率α由显著性水平控制，常取0.05或0.01。TypeIIError·纳伪当H₀为假时却没有拒绝它——即"放过坏假设"，概率β随样本量增大而减小，检验功效=1−β。STATISTICALINFERENCEHYPOTHESISTESTING两类错误的权衡与样本量在样本量固定时降低α必然增大β。要同时控制两类错误，唯一有效途径是增加样本量。01α与β的此消彼长α与β的此消彼长源于拒绝域与接受域的互补关系——缩小一侧的判定区间，必然扩大另一侧的犯错空间。02样本量增大的效应样本量n增大时抽样分布更窄、两分布重叠更少，同一α水平下β自动下降，检验功效随之提高。03功效分析的前置角色功效分析在实验前进行：给定显著性水平α和期望功效（1−β），可反算所需的最小样本量。04实践中的策略调整实际研究中应根据两类错误的后果严重程度灵活调整α取值与样本量方案，而非机械套用0.05阈值。METHODOLOGY显著性水平α的选择显著性水平α是研究者愿意承担的第一类错误概率上限，不是客观真理而是主观决策。α的含义与常见取值α=0.05意味着当H₀为真时有5%概率错误拒绝它。α=0.01提供更严格门槛，α=0.10用于探索性研究。报告精确p值比简单标注更有信息量。选择α的实践考量领域规范优先：临床试验通常α=0.05且需预注册。样本量约束现实：小样本可适当放宽至0.10。避免p-hacking：α必须在数据分析之前确定。HYPOTHESISTESTINGSTATISTICSp值的正确理解p值衡量数据与原假设的不兼容程度，而非H₀为真的概率或效应大小。p值的正确定义与用法条件概率本质：p值是条件概率，条件是H₀为真；p值越小拒绝H₀理由越充分。连续度量：p值是连续证据度量而非二分类标签。决策前提：决策规则依赖α的事先选定和假设条件的满足。关于p值的常见误解误解一：p值不是H₀为真的概率。误解二：p值不代表效应大小。误解三：p>0.05不等于H₀为真或两组等效。STATISTICALPOWER检验功效1−β检验功效1−β反映实验检测真实效应的灵敏度，取决于效应量、样本量、α和数据变异。不同效应量下功效随样本量的变化大效应在n≈25时即可达0.80功效阈值01功效0.80的含义意味着有80%概率正确拒绝假的H₀，即实验灵敏度达标线。02效应量是首要驱动力大效应d=0.8时n=25即可达0.80功效；小效应需n远超200。03样本量与功效非线性增加样本的边际收益递减，盲目扩大n并非高效策略。04推荐报告置信区间用置信区间代替事后功效分析，提供更丰富的效应估计信息。H课堂教学METHODOLOGYHYPOTHESISTESTING假设检验的一般步骤假设检验遵循标准化六步流程：建立假设、选择统计量、确定拒绝域、计算统计量值、做出决策、表述结论。PHASE1前三步：设计与准备1建立假设明确写出H₀和H₁，假设必须在看到数据之前确定。2选择检验统计量根据总体分布、方差是否已知等条件选择合适的统计量。3确定拒绝域根据显著性水平α和H₁方向查表得到临界值。PHASE2后三步：计算与决策4计算统计量值代入样本数据计算观测值和精确p值。5做出统计决策比较统计量与临界值，或比较p值与α。6表述结论拒绝H₀说有充分证据，未拒绝说没有充分证据，绝不说接受H₀。Chapter02常用参数检验方法CommonParametricTests从理论到实践，掌握t检验、方差分析与回归检验等核心统计方法SECTIONDIVIDERHYPOTHESISTESTINGZ检验：总体方差已知Z检验用于总体方差σ²已知时对均值进行推断，统计量Z=(x̄−μ₀)/(σ/√n)服从N(0,1)。01Z检验的公式与条件检验统计量Z=(x̄−μ₀)/(σ/√n)，在H₀成立时严格服从N(0,1)。适用条件：总体正态且σ已知（任意n），或非正态但n≥30且σ已知。拒绝域：双侧|Z|≥zα/2，如α=0.05时z0.025=1.96。02经典例题：金属丝折断力检验某厂金属丝X~N(μ,8²)，n=10，x̄=577.5，检验H₀:μ=570（α=0.05）。Z=(577.5−570)/(8/√10)≈2.96>1.96，落入拒绝域。拒绝H₀，有充分证据表明平均折断力不等于570kg；p≈0.003。核心要点：Z检验的关键在于总体方差已知——当σ未知时，需改用t检验（统计量服从t分布而非标准正态分布）。HYPOTHESISTESTINGt检验：总体方差未知用样本标准差s替代σ得到的t=(x̄−μ₀)/(s/√n)服从t(n−1)分布，尾部比正态更厚。统计量构造：t统计量与Z形式相同，只是用s替代σ；分布从N(0,1)变为t(n−1)。分布形态：t分布形状取决于自由度：df=1极厚尾，df=30时与正态几乎重合。正态性前提：单样本t检验要求总体近似正态（尤其n<30时）。两独立样本：需考虑方差齐性——齐性用合并方差t检验，不齐用Welch校正。t=(x̄−μ₀)/(s/√n)服从t(n−1)分布·自由度越大越趋近标准正态χ²STATISTICSHYPOTHESISTESTINGCHI-SQUARETEST卡方检验：总体方差推断χ²=(n−1)s²/σ₀²服从χ²(n−1)分布，用于对正态总体方差进行假设检验。01卡方检验的原理与公式检验统计量χ²=(n−1)s²/σ₀²，在H₀成立且正态时服从χ²(n−1)。卡方分布非对称右偏，双侧检验两个临界值不对称。卡方检验对正态性假设非常敏感，使用前务必验证。02例题：维尼纶纤度方差检验正常σ²=0.048²，n=5样品，检验H₀:σ²=0.048²（α=0.10）。χ²=0.0362/0.048²≈15.71>9.488，落入上侧拒绝域。拒绝H₀，该日纤度方差显著偏离正常水平。卡方检验是正态总体方差推断的核心工具——检验统计量基于样本方差与假设方差之比，分布右偏特性要求双侧检验时分别查取上下临界值。METHODOLOGYSTATISTICALDESIGN配对设计与独立样本设计配对设计对差值做单样本t检验消除个体间变异；独立样本设计使用两样本t检验。01配对设计的特征与分析自然搭档：每个观测值有自然搭档——同一受试者前后测量、匹配对照等。差值检验：对差值di做单样本t检验：t=d̄/(sd/√n)，df=n−1。功效优势：配对设计通常比独立样本功效更高，能消除个体间变异。Paired/Dependent02独立样本设计的特征与分析互不相关：两组观测互不相关——不同受试者随机分配到两个处理组。方差齐性：方差齐性时用合并方差t检验，df=n₁+n₂−2。方差不齐：方差不齐时用Welcht检验，自由度按Satterthwaite公式调整。Independent/Two-SampleCHAPTER03单因素方差分析模型One-WayAnalysisofVarianceSTATISTICS为何不能用多次t检验替代ANOVAk组两两比较需C(k,2)次检验，整体第一类错误率急剧膨胀。ANOVA通过单次F检验控制整体错误率。多次t检验的整体第一类错误率膨胀随着组数增加，整体错误率从0.05急剧攀升至接近1.001多重比较错误膨胀—4组需6次比较，整体α从0.05升至约0.265。02ANOVA单次F检验—将整体第一类错误率控制在α水平。03事后比较内置校正—在ANOVA显著后进行，内置多重比较校正。04功效损失—直接做多次t检验忽略组间信息共享，功效更低。i核心结论ANOVA是控制多重比较整体错误率的标准方法，事后检验在其框架内安全地进行两两比较。MODELONE-WAYANOVA单因素方差分析的数学模型效应模型x_ij=μ+δ_i+ε_ij，检验H₀:δ₁=…=δ_k=0等价于所有组均值相等。依赖正态性、方差齐性和独立性三个假设。01效应模型与假设体系观测值分解：x_ij=μ+δ_i+ε_ij，μ为总平均，δ_i为处理效应，ε_ij为随机误差。约束条件：Σn_i·δ_i=0，保证μ是加权平均。假设检验：H₀:δ₁=…=δ_k=0vsH₁:至少一个δ_i≠0。ijiijxij=μ+δi+εij02三个核心假设条件正态性每组数据来自正态总体；ANOVA对正态性偏离有一定稳健性。方差齐性各组总体方差相等；可用Levene检验验证。独立性所有观测值相互独立；违反时需改用混合效应模型。NORMALITYHOMOSCEDASTICITYINDEPENDENCEANOVA平方和分解：SST=SSA+SSE总平方和分解为组间平方和SSA（处理效应）与组内平方和SSE（随机误差）之和，是方差分析的数学基石。SST总平方和SST=ΣΣ(xij−x̄..)²度量全部观测值围绕总均值的总离散程度SSA组间平方和SSA=Σni(x̄i.−x̄..)²度量组均值围绕总均值的加权离散，反映处理效应SSE组内平方和SSE=ΣΣ(xij−x̄i.)²度量组内观测值围绕组均值的离散，反映纯随机误差恒等式证明分解恒等式SST=SSA+SSE可通过代数展开严格证明，交叉项为零分解恒等式SST=SSA+SSESSA处理效应SSE随机误差交叉项ΣΣ2(x̄i.−x̄..)(xij−x̄i.)=0STATISTICS自由度与均方总自由度N−1、组间k−1、组内N−k。均方=SS/df，MSA估计σ²加处理效应，MSE估计纯σ²。自由度的含义与计算总自由度dfT=N−1：计算SST时用了一个总均值，消耗1个自由度。组间自由度dfA=k−1：k个组均值受总均值约束，只有k−1个可独立确定。组内自由度dfE=N−k：每组用一个组均值，k组共消耗k个自由度。均方的计算与解释MSA=SSA/(k−1)：H₀成立时E(MSA)=σ²，不成立时E(MSA)>σ²。MSE=SSE/(N−k)：无论H₀是否成立，E(MSE)=σ²始终成立。F=MSA/MSE：H₀成立时F~F(k−1,N−k)，期望接近1；不成立时F倾向大于1。S数理统计ANOVAHYPOTHESISTESTINGF统计量与F分布F=MSA/MSE在H₀成立时服从F(k−1,N−k)分布。ANOVA始终是右尾检验。理论基础SSA/σ²~χ²(k−1)，SSE/σ²~χ²(N−k)，两者独立。F统计量由两个独立卡方变量之比构造而成。拒绝域判定Fobs>Fα(k−1,N−k)则拒绝H₀；F<1时永远不拒绝。ANOVA仅在右尾设置临界值。分布特征取值范围[0,+∞)、右偏分布。形状由两个自由度(k−1)和(N−k)共同决定，自由度越大越趋近对称。统计解读F≈1说明数据与H₀兼容，组间差异可归因于随机波动；F≫1说明组间差异远超随机波动，应拒绝H₀。F=MSA/MSEdf₁=k−1df₂=N−k右尾检验TABLEANALYSISANOVA表的完整解读ANOVA表将平方和、自由度、均方和F统计量组织成标准化表格，是方差分析结果的规范呈现。单因素方差分析表（标准格式）变异来源平方和SS自由度df均方MSF值组间（处理）SSAk−1MSA=SSA/(k−1)F=MSA/MSE组内（误差）SSEN−kMSE=SSE/(N−k)—总计SST=SSA+SSEN−1——表格结构每行对应一种变异来源（组间、组内、总计），每列展示该来源的统计量，F值仅在组间行计算。判定准则当F>Fα或p≤α时拒绝H₀，认为至少一对组均值存在显著差异。CHAPTER04实例演练与注意事项WorkedExamples&PracticalNotesEXAMPLESTATISTICS完整例题：三种教学方法比较比较讲授法、讨论法和混合式教学三种方法对期末成绩的影响，每班n=5，总N=15。三种教学方法的学生期末成绩学生讲授法讨论法混合式1727888268829137580854718590574798672.0讲授法均值80.8讨论法均值88.0混合式均值组均值分别为72.0、80.8、88.0，总均值80.27。CALCULATION逐步计算与ANOVA表SSA=642.61，SSE=86.8，MSA=321.31，MSE=7.23，F=44.44>>3.89，p<0.001，强烈拒绝H₀。Step1SSA642.61Step2SSE86.80Step3MSA321.31Step4MSE7.23ResultF44.44三种教学方法比较的ANOVA表变异来源SSdfMSF组间642.612321.3144.44组内86.80127.23—总计729.4114——结论：F=44.44>>F0.05(2,12)=3.89，p<0.001；三种教学方法平均成绩存在极显著差异。判据：F值远超临界值3.89（约11.5倍），组间方差占总方差的88.1%，效应量极大。VALIDATIONASSUMPTIONS假设条件的验证方法正态性用Shapiro-Wilk或Q-Q图；方差齐性用Levene检验；独立性靠实验设计保证。正态性检验Shapiro-Wilk检验是小样本首选，功效高于K-S检验。Q-Q图提供直观视觉诊断，建议结合图形和正式检验。ANOVA对正态性偏离有稳健性，各组n≥15时偏差通常不大。方差齐性与独立性Levene检验对非正态稳健，是方差齐性检验首选。方差不齐时用WelchANOVA或Brown-Forsythe校正。独立性无法用统计检验充分验证，主要依赖实验设计。S数理统计STATISTICSPostHocAnalysis事后多重比较ANOVA拒绝H₀仅表明至少一对不等，需事后检验定位具体差异。常用TukeyHSD、Bonferroni、Scheffé法。常用事后检验方法TukeyHSD基于学生化极差分布，控制所有配对比较的家族错误率，最常用。Bonferroni校正简单保守，将每次α除以比较次数，适用于少量预指定比较。Scheffé法最保守，允许任意线性对比，适用于探索性复杂对比。选择事后检验的实践建议默认首选TukeyHSD，在错误率和功效间取得良好平衡。样本量不等时用Tukey-Kramer修正。预先有计划比较时用Dunnett检验，比Tukey更有功效。H课堂教学PITFALLS常见错误与陷阱CommonMistakes高频误区包括：将未拒绝H₀等同于H₀为真、忽略假设验证、混淆统计显著与实际重要性等。01概念理解层面的