拟合优度检验.ppt

第七章拟合优度检验 拟合优度检验的应用 总体分布未知 从样本数据中发现规律 总体分布 再利用拟合优度检验对假设的总体分布进行验证 引例1 某地区在1500到1931年的432年间 共爆发了299次战争 具体数据如下 每年爆发战争的次数可以看作一个随机变量X 根据我们对泊松分布产生的一般条件的理解 可以用一个泊松随机变量来近似描述每年爆发战争的次数 也就是说 我们可以假设每年爆发战争次数分布X近似泊松分布 现在的问题是 上面的数据能否证实X具有泊松分布的假设是正确的 引例2 某钟表厂对生产的钟进行精确性检查 抽取100个钟作试验 校准24小时后进行检查 将每个钟的误差 快或慢 按秒记录下来 问该厂生产的钟的误差是否服从正态分布 引例3 某工厂制造了一批骰子 声称它是均匀的 为检验骰子是否均匀 要把骰子实地投掷若干次 统计各点出现的频率与1 6的差距 问题是 得到的数据能否说明 骰子均匀 的假设是可信的 K 皮尔逊 解决这类问题的工具是英国统计学家K 皮尔逊在1900年发表的一篇文章中介绍了 2检验法 拟合优度检验的工具 2检验 2检验法是在总体X的分布未知时 根据来自总体的样本 检验关于总体分布的假设的一种检验方法 H0 总体X的分布函数为F x 然后根据样本的经验分布和所假设的理论分布之间的吻合程度来决定是否接受原假设 这种检验通常称作拟合优度检验 它是一种非参数检验 使用 2检验法对总体分布进行检验时 先提出原假设 拟合优度检验的一般步骤 将总体X的取值范围分成k个互不重叠的小区间 记作A1 A2 Ak 把落入第i个小区间Ai的样本值的个数记作fi 称为实测频数 所有实测频数之和 f1 f2 fk 等于样本容量n 根据所假设的理论分布 可以算出总体X的值落入每个Ai的概率pi npi就是落入区间Ai的样本值的理论频数 皮尔逊引进如下统计量表示经验分布与理论分布之间的差异 在理论分布已知的条件下 npi是常量 实测频数 理论频数 观测频数与理论频数比较 判断二者不符合程度是否由于机会所造成 统计量的分布是什么 皮尔逊为什么会选用这个统计量 两个问题 关于第一个问题 皮尔逊证明了如下定理 若原假设中的理论分布F x 已经完全给定 那么当n 时 统计量 的分布渐近 k 1 个自由度的分布 如果理论分布F x 中有r个未知参数需用相应的估计量来代替 那么当n 时 统计量的分布渐近 k 1 r 个自由度的分布 皮尔逊定理的几点说明 统计量的选择自由度的确定连续性矫正 统计量的选择 求k个Oi Ti之和 显然它们恒等于0求k个 Oi Ti 2之和 得不出相对的不符合程度Oi 9 Ti 6 Oi Ti 3 Oi 49 Ti 46 Oi Ti 3 前者的不符合程度远大于后者 求k个 Oi Ti Ti 2之和 但仍有问题如 Oi 8 Ti 5以及Oi 80 Ti 50时 Oi Ti Ti都等于0 6 统计量的选择 为了解决上述问题 以Ti为权求加权值 自由度的确定 变量之间存在着一个制约关系 故统计量渐近 k 1 个自由度的分布 在F x 尚未完全给定的情况下 每个未知参数用相应的估计量代替 就相当于增加一个制约条件 因此 自由度也随之减少一个 若有r个未知参数需用相应的估计量来代替 自由度就减少r个 故统计量渐近 k 1 r 个自由度的分布 如果根据所给的样本值X1 X2 Xn算得统计量的实测值落入拒绝域 则拒绝原假设 否则就认为差异不显著而接受原假设 得拒绝域 不需估计参数 估计r个参数 根据皮尔逊定理 对给定的显著性水平 查分布表可得临界值 使得 连续性矫正 当df 1时应做连续性矫正 矫正方法如下 皮尔逊定理是在n无限增大时推导出来的 因而在使用时要注意n要足够大 以及npi不太小这两个条件 根据计算实践 要求n不小于50 以及npi都不小于5 否则应适当合并区间 使npi满足这个要求 皮尔逊定理小结 奥地利生物学家孟德尔进行了长达八年之久的豌豆杂交试验 并根据试验结果 运用他的数理知识 发现了分离规律 孟德尔 以遗传学上的一项伟大发现为例 说明统计方法在研究自然界和人类社会的规律性时 是起着积极的 主动的作用 例1 他的一组观察结果为 黄70 绿27 近似为2 59 1 与理论值相近 根据他的理论 子二代中 黄 绿之比近似为3 1 这里 n 70 27 97 k 2 检验孟德尔的3 1理论 提出假设H0 O T 0 p1 3 4 p2 1 4 理论频数为 np1 72 75 np2 24 25 实测频数为70 黄 27 绿 自由度为2 1 1 未落入拒绝域 故认为试验结果符合孟德尔的3 1理论 按 0 05 自由度为1 查表得 由于统计量 0 4158 3 841 引例1 某地区在1500到1931年的432年间 共爆发了299次战争 具体数据如下 每年爆发战争的次数可以看作一个随机变量X 例2 引例1 检验每年爆发战争次数分布是否服从泊松分布 按参数 为0 69的泊松分布 计算事件X i的概率pi pi的估计是 H0 O T 0 X服从参数为 的泊松分布 根据观察结果 得参数 的极大似然估计为 解 将有关计算结果列表如下 2 因H0所假设的理论分布中有一个未知参数 故自由度为4 1 1 2 1 将npi 5的组予以合并 即将发生3次及4次战争的组归并为一组 按 0 05 自由度为4 1 1 2 查表得 统计量 未落入拒绝域 故认为每年发生战争的次数X服从参数为0 69的泊松分布 2检验的另一应用 独立性检验 是指研究两个或两个以上的计数资料 或属性资料 之间是否相互独立的假设检验 先假设所观测的各属性之间没有关联 然后检验这种无关联的假设是否成立 方法1 列联表 2检验 例 下表给出不同给药方式与给药效果 问给药方式与给药效果是否有关联 检验统计量 例 下表给出不同给药方式与给药效果 求证 给药方式与给药效果有无关联 若事件A和事件B是相互独立的 则 P AB P A P B 列联表 2检验一般步骤 提出零假设 假设实测数与理论数无差异 即H0 O T 0 计算理论数 若事件A和事件B是相互独立的 则P AB P A P B 例如 在给药方式和效果之间是相互独立的前提下 计算口服 事件B 有效 事件A 的概率P BA P B P A 98 193 122 193 其理论数T1 98 193 122 193 193 98 122 193 每个理论值用Tij表示 Tij i行总数 j列总数 总数 列联表 2检验一般步骤 计算 2值 若 2 2 则拒绝H0 确定df 因为每一行的各理论数受该行总数约束 每一列的各理论数受该列总数约束 所以df r 1 c 1 给出结论 2 计算理论数 1 零假设H0 O T 0 Tij i行总数 j列总数 总数 3 计算 2值 4 确定df df r 1 c 1 2 1 2 1 1 取 0 05 5 给出结论 接受H0 不同给药方式的治疗效果没有显著不同 注意 本例的df 1应当矫正 矫正后的 2值更小 不会影响结论 可以不再矫正 r c列联表 2检验 r c列联表是2 2表的扩展 反之 2 2表也可以看成是r c列联表的一个特例 r c列联表理论数的计算与2 2列联表相同 Tij i行总数 j列总数 总数 df r 1 c 1 例 检查鱼的饲养方式与鱼的等级是否有关 设计了如下试验 按不同方式分为三种网箱饲养类型 A B C 统计不同饲养方式下鱼的等级情况 得如下数据 试分析 2 计算理论数 1 零假设H0 O T 0 Tij i行总数 j列总数 总数 3 计算 2值 4 计算df df r 1 c 1 4 1 3 1 6 接受原假设 即商品鱼的规格与饲养方式无关 5 结论 r c列联表 2检验的局限性 与吻合度检验一样 理论数不得小于5 2 2列联表的精确检验法 表1 表2 表3 表4 表1 根据组合公式 9分解为4和5 共 9分解为3和6 共 9在行间分解为4和5 在列间分解为3和6 共 根据组合公式 9分解为0 4 3和2 共 表1 出现表1的概率是 表1 表2 表3 表4 各列联表的概率 求任一列联表概率的通式 注意 原假设是处理间不存在差异 如果P 接受原假设 如果P 接受备择假设 例1 用两种饲料A和B饲养小白鼠 一周后测小白鼠增重情况 如下表 问用不同饲料饲养的小白鼠体重是否存在差异 解 1 原假设H0 两种饲料的饲养效果相同 2 计算P值 解 3 结论 双侧检验 P值与 2比较 P 0 015 0 025 拒绝原假设 两种饲料的饲养效果不同 例2 检测性别对药物的反应 结果如下 例2 解 1 原假设H0 男女对该药物的反应没区别 2 计算P1值 例2 解 计算P2值 例2 解 3 结论 双侧检验 P1 P2值与 2比较 P 0 132 0 025 接受原假设 男女对该药物的反应没区别 适合性检验 独立性检验 变异性检验 2检验的应用 小结 1 变异性检验 在连续型资料的假设检验中 对一个假设的总体标准差的同质性检验 例 一个混杂的小麦品种 株高标准差 0 14cm 经提纯后随机抽出10株 它们的株高为 90 105 101 95 100 100 101 105 93 97cm 考查提纯后的群体是否比原群体整齐 检验统计量 2 适合性检验 是指通过一定的理论分布推算出样本的理论数 然后用实际观测值与理论数相比较 从而判断实际观测值与理论数之间是否