拟合优度检验课件

1、第七章 拟合优度检验,1,学习交流PPT,拟合优度检验的应用,总体分布未知，从样本数据中发现规律（总体分布），再利用拟合优度检验对假设的总体分布进行验证。,2,学习交流PPT,【引例1】某地区在1500到1931年的432年间，共爆发了299次战争，具体数据如下（每年爆发战争的次数可以看作一个随机变量X）：,3,学习交流PPT,根据我们对泊松分布产生的一般条件的理解，可以用一个泊松随机变量来近似描述每年爆发战争的次数。也就是说，我们可以假设每年爆发战争次数分布 X 近似泊松分布。,现在的问题是：,上面的数据能否证实 X 具有泊松分布的假设是正确的？,4,学习交流PPT,【引例2】某钟表厂对生产

2、的钟进行精确性检查，抽取100个钟作试验，校准24小时后进行检查，将每个钟的误差（快或慢）按秒记录下来。,问该厂生产的钟的误差是否服从正态分布？,5,学习交流PPT,【引例3】某工厂制造了一批骰子，声称它是均匀的。,为检验骰子是否均匀，要把骰子实地投掷若干次，统计各点出现的频率与1/6的差距。,问题是：,得到的数据能否说明“骰子均匀”的假设是可信的？,6,学习交流PPT,K.皮尔逊,解决这类问题的工具是英国统计学家K.皮尔逊在1900年发表的一篇文章中介绍了 2 检验法。,7,学习交流PPT,拟合优度检验的工具- 2 检验,2 检验法是在总体 X 的分布未知时，根据来自总体的样本，检验关于总体

3、分布的假设的一种检验方法。,8,学习交流PPT,H0：总体 X 的分布函数为 F(x),然后根据样本的经验分布和所假设的理论分布之间的吻合程度来决定是否接受原假设。,这种检验通常称作拟合优度检验，它是一种非参数检验。,使用 2 检验法对总体分布进行检验时，,先提出原假设:,9,学习交流PPT,拟合优度检验的一般步骤,将总体 X 的取值范围分成 k 个互不重叠的小区间，记作A1, A2, , Ak。 把落入第 i 个小区间 Ai 的样本值的个数记作 fi ，称为实测频数； 所有实测频数之和（f1+ f2+ + fk）等于样本容量 n。 根据所假设的理论分布，可以算出总体X 的值落入每个 Ai 的

4、概率 pi，npi就是落入区间 Ai 的样本值的理论频数。,10,学习交流PPT,皮尔逊引进如下统计量表示经验分布与理论分布之间的差异:,在理论分布 已知的条件下, npi是常量,实测频数,理论频数,观测频数与理论频数比较，判断二者不符合程度是否由于机会所造成。,11,学习交流PPT,统计量 的分布是什么?,皮尔逊为什么会选用这个统计量?,两个问题：,12,学习交流PPT,关于第一个问题，皮尔逊证明了如下定理:,若原假设中的理论分布 F(x) 已经完全给定，那么当 n 时，统计量：,的分布渐近 (k-1) 个自由度的 分布。,如果理论分布 F(x) 中有 r 个未知参数需用相应的估计量来代替，

5、那么当 n 时，统计量 的分布渐近 (k-1-r)个自由度的 分布。,13,学习交流PPT,皮尔逊定理的几点说明,统计量的选择 自由度的确定 连续性矫正,14,学习交流PPT,统计量的选择,求 k 个 OiTi 之和，显然它们恒等于0 求 k 个 (OiTi)2 之和，得不出相对的不符合程度 Oi9、Ti6，OiTi3；Oi49、Ti46，OiTi3。前者的不符合程度远大于后者。 求 k 个 (OiTi)/Ti2 之和，但仍有问题 如：Oi8、Ti5以及Oi80、Ti50时 (OiTi)/Ti 都等于0.6。,15,学习交流PPT,统计量的选择,为了解决上述问题，以 Ti 为权求加权值,16,

6、学习交流PPT,自由度的确定,变量之间存在着一个制约关系：,故统计量 渐近 (k-1) 个自由度的 分布。,17,学习交流PPT,在 F(x) 尚未完全给定的情况下，每个未知参数用相应的估计量代替，就相当于增加一个制约条件，因此，自由度也随之减少一个。,若有 r 个未知参数需用相应的估计量来代替，自由度就减少 r 个。,故统计量 渐近 (k-1-r) 个自由度的 分布。,18,学习交流PPT,如果根据所给的样本值 X1,X2, ,Xn算得统计量 的实测值落入拒绝域，则拒绝原假设，否则就认为差异不显著而接受原假设。,得拒绝域:,(不需估计参数),(估计 r 个参数),根据皮尔逊定理，对给定的显著

7、性水平 ，查 分布表可得临界值 ，使得,19,学习交流PPT,连续性矫正,当df1时应做连续性矫正，矫正方法如下：,20,学习交流PPT,皮尔逊定理是在 n 无限增大时推导出来的，因而在使用时要注意 n 要足够大，以及 npi 不太小这两个条件。,根据计算实践，要求 n 不小于50，以及npi 都不小于 5。否则应适当合并区间，使 npi 满足这个要求 。,皮尔逊定理小结,21,学习交流PPT,奥地利生物学家孟德尔进行了长达八年之久的豌豆杂交试验，并根据试验结果，运用他的数理知识，发现了分离规律。,孟德尔,以遗传学上的一项伟大发现为例，说明统计方法在研究自然界和人类社会的规律性时，是起着积极的

8、、主动的作用。,22,学习交流PPT,【例1】,他的一组观察结果为：,黄70，绿27,近似为2.59:1，与理论值相近。,根据他的理论，子二代中，黄、绿之比 近似为3:1，,23,学习交流PPT,这里，n=70+27=97，k=2,检验孟德尔的3:1理论:,提出假设H0: O-T=0 (p1=3/4，p2=1/4),理论频数为： np1=72.75，np2=24.25,实测频数为70（黄），27（绿）。,24,学习交流PPT,自由度为 2-1=1,未落入拒绝域。,故认为试验结果符合孟德尔的3:1理论。,按 =0.05，自由度为1，查表得,由于统计量,=0.41583.841,25,学习交流PP

9、T,【引例1】某地区在1500到1931年的432年间，共爆发了299次战争，具体数据如下（每年爆发战争的次数可以看作一个随机变量X）：,26,学习交流PPT,【例2】引例1，检验每年爆发战争次数分布是否服从泊松分布。,按参数 为0.69的泊松分布，计算事件X=i 的概率pi ，pi的估计是：,H0：O-T=0 （X 服从参数为 的泊松分布）,根据观察结果，得参数 的极大似然估计为：,解：,将有关计算结果列表如下:,27,学习交流PPT,2. 因H0所假设的理论分布中有一个未知参数 ，故自由度为4-1-1=2。,1. 将npi 5的组予以合并，即将发生3次及4次战争的组归并为一组。,28,学习

10、交流PPT,按 =0.05，自由度为4-1-1=2，查表得：,统计量:,未落入拒绝域。,故认为每年发生战争的次数 X 服从参数为 0.69的泊松分布。,29,学习交流PPT,2 检验的另一应用-独立性检验,是指研究两个或两个以上的计数资料（或属性资料）之间是否相互独立的假设检验，先假设所观测的各属性之间没有关联，然后检验这种无关联的假设是否成立。 方法1：列联表 2 检验,30,学习交流PPT,【例】下表给出不同给药方式与给药效果，问给药方式与给药效果是否有关联。,检验统计量：,31,学习交流PPT,【例】下表给出不同给药方式与给药效果，求证：给药方式与给药效果有无关联。,若事件 A 和事件

11、B 是相互独立的，则,P(AB)=P(A)P(B),32,学习交流PPT,列联表 2 检验一般步骤,提出零假设：假设实测数与理论数无差异。即H0：OT0。 计算理论数：若事件 A 和事件 B 是相互独立的，则 P(AB)=P(A)P(B)。 例如：在给药方式和效果之间是相互独立的前提下，计算口服（事件B）有效（事件A）的概率 P(BA)P(B)P(A) = (98/193) (122/193)。其理论数T1(98/193)(122/193) 193 = (98)(122)/193 。 每个理论值用Tij表示，Tij=(i行总数)(j列总数)/总数。,33,学习交流PPT,列联表 2 检验一般步

12、骤,计算 2 值：若 2 2，则拒绝H0。 确定 df：因为每一行的各理论数受该行总数约束，每一列的各理论数受该列总数约束，所以 df(r-1)(c-1)。 给出结论。,34,学习交流PPT,2. 计算理论数：,1. 零假设H0：OT0,Tij=(i行总数)(j列总数)/总数,35,学习交流PPT,3. 计算 2 值,36,学习交流PPT,4. 确定df,df(r-1)(c-1) (2-1)(2-1) 1,取 =0.05，,5. 给出结论： 接受H0，不同给药方式的治疗效果没有显著不同。 注意：本例的 df =1应当矫正，矫正后的 2 值更小，不会影响结论，可以不再矫正。,37,学习交流PPT

13、,rc 列联表 2 检验,rc列联表是 22 表的扩展；反之， 22 表也可以看成是 rc列联表的一个特例。 rc 列联表理论数的计算与22列联表相同： Tij=(i行总数)(j列总数)/总数。 df=(r-1)(c-1)。,38,学习交流PPT,【例】检查鱼的饲养方式与鱼的等级是否有关，设计了如下试验：按不同方式分为三种网箱饲养类型：A、B、C，统计不同饲养方式下鱼的等级情况，得如下数据，试分析。,39,学习交流PPT,2. 计算理论数：,1. 零假设H0：OT0,Tij=(i行总数)(j列总数)/总数,40,学习交流PPT,3.计算2值,41,学习交流PPT,4. 计算df：,df=(r-

14、1)(c-1) =(4-1)(3-1) =6,42,学习交流PPT,接受原假设，即商品鱼的规格与饲养方式无关。,5. 结论,43,学习交流PPT,rc 列联表 2 检验的局限性,与吻合度检验一样，理论数不得小于5。,44,学习交流PPT,22 列联表的精确检验法,45,学习交流PPT,表1,表2,表3,表4,46,学习交流PPT,表1,根据组合公式， 9分解为4和5，共：,9分解为3和6，共：,9在行间分解为4和5，在列间分解为3和6，共：,根据组合公式， 9分解为0，4，3和2，共：,47,学习交流PPT,表1,出现表1的概率是：,48,学习交流PPT,表1,表2,表3,表4,各列联表的概率

15、：,49,学习交流PPT,求任一列联表概率的通式：,注意： 原假设是处理间不存在差异； 如果 P ，接受原假设； 如果 P ，接受备择假设。,50,学习交流PPT,【例1】用两种饲料 A 和 B 饲养小白鼠，一周后测小白鼠增重情况（如下表）。问用不同饲料饲养的小白鼠体重是否存在差异？,51,学习交流PPT,解：,1. 原假设H0：两种饲料的饲养效果相同,2. 计算 P 值,52,学习交流PPT,解：,3. 结论,双侧检验，P 值与 /2比较,P =0.015 0.025,拒绝原假设，两种饲料的饲养效果不同。,53,学习交流PPT,【例2】检测性别对药物的反应，结果如下：,54,学习交流PPT,

16、【例2】,解：,1. 原假设H0：男女对该药物的反应没区别,2. 计算 P1 值,55,学习交流PPT,【例2】,解：,计算 P2 值,56,学习交流PPT,【例2】,解：,3. 结论,双侧检验，P1 + P2 值与 /2比较,P =0.132 0.025,接受原假设，男女对该药物的反应没区别。,57,学习交流PPT,适合性检验,独立性检验,变异性检验,2检验的应用（小结）,58,学习交流PPT,1. 变异性检验,在连续型资料的假设检验中，对一个假设的总体标准差的同质性检验。 【例】一个混杂的小麦品种，株高标准差014 cm，经提纯后随机抽出10 株，它们的株高为：90、105、101、95、100、100、101、105、93、97 cm，考查提纯后的群体是否比原群体整齐？ 检验统计量：,59,学习交流PPT,2. 适合性检验,是指通过一定的理论分布推算出样本的理论数，然后用实际观测值与理论数相比较，从而判断实际观测值与理论数之间是否吻合（吻合度检验）。 检