第7章 拟合优度检验

1、拟合优度检验第7 章(Goodness of fit test)7.17.27.3分类数据与c2检验拟合优度检验独立性检验拟合优度检验(GOODNESS OF FIT TEST) 前面的讨论总是假定总体分布属于某个确定的类型（例如正态分布），而对其未知参数或数字特征（例如期望、方差）进行假设检验。怎么知道一个总体的概率分布属于某种类型呢？有时还要问，怎么知道一个总体的分布函数是某个给定的函数呢？这是十分重要的问题。有时根据对事物本质的分析，利用概率论的知识，可以给予回答。但是在很多情况下，只能从一大堆数据中去发现规律，判断总体的分布是什么样子，这就是所谓的拟合问题。一般而言，总是先根据样本值（

2、一批观测数据）用直方图 法，推测出总体可能遵从的概率分布（或密度函数），然后再利用本节所讲的方法来检验该总体的分布函数是否真的就是给出的函数。分类数据与c2检验7.17.1.17.1.27.1.3数据的类型与检验方法c2 分布c2 检验7.1.1 数据的类型与检验方法分类数据Categorical顺序数据Ordinalc2检验连续数据离散数据定性数据Qualitative (品质数据)定量数据Quantitative(数值型数据)数据7.1.1 数据的类型与检验方法一个总体两个以上总体两个总体c2 检验c2 检验z 检验z 检验独立性检验比例检验品质数据7.1.1 数据的类型与检验方法分类数据

3、分类变量的结果表现为类别1.例如：性别(男, 女)2.各类别用符号或数字代码来表示使用分类或顺序尺度3.你吸烟吗?1.是；2.否你赞成还是反对这一改革方案?1.赞成；2.反对对分类数据的描述和分析通常使用列联表可使用 c2检验4.5.7.1.2 c2分布c2 分布密度函数的图形f (c2 )n=1n=4n=10c2o77.1.2 c2分布 c2为c 2分布中满足下式的的右侧a 分位点：a, DFf (c2)Pc2 c2a,df = axoc2a,df由给定的概率 a 和自由度，可查表得到c2a,df87.1.2 c2分布用 Excel 求 c2a, df 可用 EXCEL 的统计函数 CHI.

4、INV.RT 返回c2a,DF 的值。语法规则如下：格式：CHI.INV.RT (a,df )功能：返回c2a,df97.1.3 c2检验c2检验的三种用途单个样本方差的同质性检验（已学过） 适合性检验/拟合优度检验独立性检验三种方式都要求出c2的值：第一种的定义：为随df自由度变化的连续型变量的分布= (O - E )针对计数资料或属性资料2k第二、三种的定义：c= k -12 ii,dfEii=1( Oi - Ei-0.5)2k= i=1当df =1时，需进行连续性矫正：c2cEiO - observed valueE - expected valuec 2 = (n -1)s2=-o 2

5、, dfn17.1.3 c2检验例：观测值与理论值一致？计算检验的统计量Df = 8-1 = 7c2 =3.0319c27,0.05=14.067 c2 =3.0319结论：观测值与理论值是一致的。实际频数(Oi)期望频数(Ei)Oi- Ei(Oi - Ei)2(Oi- Ei)2Ei687557793245333166806073344030372-5-36-253-64259364259360.06060.31250.150.49320.11760.6250.30.9737.2 拟合优度检验GOODNESS OFFIT TEST检验步骤二项分布的检验对正态性的检验7.2.17.2.27.2.

6、37.2 .1 拟合优度检验步骤检验的步骤提出假设H0：O = E; HA: O E计算检验的统计量进行决策 根据显著性水平a和自由度df 查出临界值ca2 若c2ca2，拒绝H0；若c2ca2，接受H0始终是右尾检验，why?ck( O - E -0.5)2c2 = iii=1Eic= k(O - E )22 iii=1Ei7.2.2 二项分布的检验1.例：纯和的黄圆豌豆与绿皱豌豆杂交，F1代自交，F2代分离数据如下：yyR_yyrrY_R_ (黄圆)Y_rr (黄皱)总计(绿圆） （绿皱）31510110832556问是否符合自由组合律？解：已知Y_R_:Y_rr:yyR_:yyrr =9

7、/16:3/16:3/16:1/16Y_R_315Y_rr101yyR_108yyrr32实际观测数(O) 理论频率（p） 理 论 数 （E） O-E(O-E)2(O-E)2/E9/16312.752.255.06253/16104.25-3.2510.56253/16104.253.7514.06251/1634.75-2.757.56250.0160.1010.1350.218 X2=0.016+0.101+0.135+0.218=0.4707.2.2 二项分布的检验解：提出假设H0：O = E， = 0.05由于总体参数已知，DF = 4-1=3查表求： ca2= c2= 7.815，3

8、,0.05= 0.470 c20.05结论：拒绝H0 ，正常翅与残翅的分离比不符合3:17.2.2 二项分布的检验解：由于df = 1, 进行矫正：正常翅残翅总数实际观测值(O) 期望值（E） O-E-0.5 (O-E-0.5)2 (O-E-0.5)2/E311 294 16.5 272.25 0.926 81 98 16.5 272.252.778 392392c2 = 0.926+2.778=3.704H0：O = E， = 0.05，df =1, c20.05 =3.841, c2 c 0.052结论：接受H0 ，正常翅与残翅的分离比符合3:1 由于矫正后的c2值变小，出现了不同的结果。

9、7.2.2 二项分布的检验 前面例子是总体参数已知的情况，下面是总体参数未知的例子调查到幼儿园接小孩的家长性别，以10人为一组，记录每组女性人数，共得到100组数据(第二列),问女性家长人数是否符合二项分布?人群中男女人数应各占一半， 但接孩子的家长中不一定符合这个比例。因此二项分布参数未知，需用样本数估计：女性人数观测数 (xi)(Oi)Oixi0 1 2 3 4 5 6 7 8 9 100000 0 0 12 56 11016213372 45 0 4 142227199 5 0 计算理论频数：利用Excel中的函数Binomdist (number_s, trials, probabil

10、ity_s, cumulative)和N=100590j = 第三列总数=0.59 100*107.2.2 二项分布的检验计算理论频数：利用Excel中的函数Binomdist (number_s, trials, probability_s, cumulative), 得到理论频数：计算理论数Np(xi) ： 理论频数女性人数(xi) 观测数(Oi) 理论数Np(xi)Oixip(xi)0 1 2 3 4 5 6 7 8 9 1000040 0 0 12 56 11016213372 45 0 0.0001 0.0019 0.0125 0.0480 0.1209 0.2087 0.2503

11、0.2058 0.1111 0.0355 0.0051 0.01 0.19 1.25 4.8 12.0920.8725.0320.5811.113.55 0.51 因为第五列的前四个数都小于5，合并计算；最后的两个数合并后也不大于5，则将最后三个数合并。合并后观测数变为k=640.81014222719950140.090和N=1005900.9999 99.997.2.2 二项分布的检验计算卡方统计量：由于总体参数是由样本估计的，a=1,故df = 6-1-1=4女性人数观测数理论频数理论数2对X 贡献(x ) (O ) p(x ) Np(x )O xiii iii 求c2临界值：0 1 2

12、 3 4 5 6 7 8 9 1000040 0 0 12 56 11016213372 45 0 0.0001 0.0019 0.0125 0.0480 0.1209 0.2087 0.2503 0.2058 0.1111 0.0355 0.0051 0.01 0.19 1.25 4.8 12.0920.8725.0320.5811.113.55 0.51 0.810c246.25=9.494，0.05因c29.49接 受 零 假设：即女性家长人数符合二项分布。142227190.3020.0610.1550.1219500.0901415.17 X2=1.539 和N=1005900.99

13、99 99.997.2.3 对正态性的检验例：1000个调查数据1.该观测数是否服从正态分布？ 为此，我们可以构建一组服从正态分布的理论数，然后利用X2检验，比较观测数和理论数是否相符。为求标准正态分布的理论数，需求得正态分布的z值；为此，将10组数据进行编码09 求编码的平均数和标准差si：组限观测数 编码变量 原始数据(f )（X)(3.92,3.96)(3.97,4.01)(4.02,4.06)(4.07,4.11)(4.12,4.16)(4.17,4.21)(4.22,4.26)(4.27,4.31)(4.32,4.36)(4.37,4.41)和43612918821117614280

14、30401234567891000()22=1=1( )=1.751=1 = =4.2717.2.3 对正态性的检验 =对组界标准化：再根据各组编码求出组界得相应于各组界的标准正态分观测数 编码变量组 限 原始数据(3.92,3.96)组 界 编码变量布的 z 值.求(z)的值:查表&normsdist(z) 求理论值和对c2的贡献(f)（X)z(z)0.0157401234567890.51.52.53.54.55.56.57.58.5-2.153-1.5819-1.0108-0.43970.13140.70241.27351.84462.4157(3.97,4.01)(4.02,4.06)

15、(4.07,4.11)(4.12,4.16)(4.17,4.21)(4.22,4.26)(4.27,4.31)(4.32,4.36)(4.37,4.41)和361291882111761428030410000.05680.15610.33010.55230.75880.89860.96750.99211.0000( )2=12 ( )=4.27 =1=1=1.751=17.2.3 对正态性的检验正态性的c2检验求理论值和对c2的贡献对c2的贡献8.6812观测数(f)4(z)理论数(z)n15.7组 限 原始数据(3.92,3.96)编码变量（X)0组 界 编码变量z0.01570.0568

16、0.15610.33000.55230.75880.89860.96750.99210.51.52.53.54.55.56.57.58.5-2.153-1.5819-1.0108-0.43970.13140.70241.27351.84462.4157(3.97,4.01)(4.02,4.06)(4.07,4.11)(4.12,4.16)(4.17,4.21)(4.22,4.26)(4.27,4.31)(4.32,4.36)(4.37,4.41)和3612918821117614280304100012345678941.299.2174.0222.2206.5139.868.924.77.9

17、0.65058.94141.12420.56334.51740.03501.79901.13981.8901c2=29.3=14.067c2由于对总体参数和进行了估计，因此df =10-1-2=7c27,0.057.3 独立性检验列联表列联表c2检验7.3.17.3.27.3.1列联表(Contingency table)【例】表中是不同给药方式与给药效果的统计结果由两个以上的变量交叉分类的频数分布表行变量的类别用 r 表示， ri 表示第 i 个类别列变量的类别用 c 表示， cj 表示第 j 个类别每种组合的观察频数用 fij 表示表中列出了行变量和列变量的所有可能的组合一个 r 行 c

18、列的列联表称为 r c 列联表1.2.3.4.5.6.给药方式有效(A)无效(Abar)总数有效率口服(B)58409859.20%注射(Bbar)64319567.40%总数122711937.3.1列联表(2 2 列联表结构&观察值的分布)条件频数:每个具体的观察值称为条件频数行边缘分布:行分布观察值的合计数列边缘分布:列观察值的合计数的分布列(cj)行 (ri)列( cj )j =1j =1合计i =1O11O12O11+ O12i =2O21O22O21+ O22合计O11+ O21O12+ O22n7.3.1列联表(R C 列联表的一般表示)表示第 i 行第 j 列的观察频数Oij列

19、(cj)行(ri)列(cj)合计j =1j = 2i =1O11O12r1i = 2O21O22r2:合计c1c2n7.3.2列联表c2检验 独立性检验 (Test of independence)1.2.检验列联表中的行变量与列变量之间是否独立检验的步骤为 提 出 假 设 H0：行变量与列变量独立（O = E） H1：行变量与列变量不独立 计算Eij的值计算c2检验的统计量进行决策根据显著性水平a和自由度(r-1)(c-1)查出临界值ca2若c2ca ，拒绝H0；若c ca ，接受H0222rc(O- E)2c2 = ij Eiji=1j =1ij7.3.2列联表c2检验 独立性检验 (Te

20、st of independence)【例】表中为不同给药方式与给药效果的统计结果问：口服给药与注射给药的效果有无显著差异？分析：各观测数已知，理论值(期望值) E未知ij在全部193个结果中, 有效的有122个, 占到总数的63.2%。 即从总体来看, 有效率为63.2%（122/193）。如果两种方式效果一致，那么每种方式都有63.2%的有效。那么口服有效的应有：98*63.2%=61.95注射有效的应有：95*63.2%=60.05rc (O- E )2c2 = ijiji=1 j=1Eij给药方式有效(A)无效(Abar)总数有效率口服(B)58409859.20%注射(Bbar)64

21、319567.40%总数122711937.3.2列联表c2检验 独立性检验 (Test of independence)相应地，口服和注射的无效的结果数也可以求出：计算c2检验的统计量的值： = 0.05， df = (r-1)*(c-1)=(2-1)*(2-1)=1c0.05,12 = 3.841c2 c0.05,2 , 因此不同处理导致显著差异。2rc (O- E )2c 2 = ijij i=1 j=1Eij7.3.2列联表c2检验 独立性检验 (Test of independence)【练习】一个集团公司设有四个分公司，现该集团公司欲进行一项改革，此项改革可能涉及到各分公司的利益，

22、故采用 抽样调查方式，从四个分公司共抽取420个样本单位(人)，了解职工对此项改革的看法，调查结果如下表一分公司二分公司三分公司四分公司合计赞成68755779279反对32453331141合计100120901104207.3.2列联表c2检验独立性检验 (Test of independence)【解】：计算期望值O1j E1j6866.437579.715759.797973.07赞成O2j E2j3233.574540.293330.213136.93反对合计10012090110=2.761计算c2检验的统计量的值： = 0.05， df = (r-1)*(c-1)=(4-1)*(2-1