第节非参数假设检验法 ppt课件

1、第第4.34.3节节 非参数假设检验法非参数假设检验法二、柯尔莫哥洛夫及斯米尔二、柯尔莫哥洛夫及斯米尔 诺夫检验诺夫检验三、独立性检验三、独立性检验 2拟合优度检验拟合优度检验一、一、c c问题的引入问题的引入 第二节涉及到的假设检验方法均假设总体服从第二节涉及到的假设检验方法均假设总体服从正态分布。总体服从什么分布，普通无法预先知晓，正态分布。总体服从什么分布，普通无法预先知晓，因此需求利用样本检验总体分布的各种假设。因此需求利用样本检验总体分布的各种假设。 本节将主要讨论关于总体分布的假设检验问题，本节将主要讨论关于总体分布的假设检验问题，此类问题通常称为非参数统计方法此类问题通常称为非参

2、数统计方法.下面主要引见其中常见的下面主要引见其中常见的3种方法种方法.一、一、 拟合检验法拟合检验法1201 , , : ( ), : ( )nXXXHXF xHXF x这这是是在在总总体体的的分分布布未未知知的的情情况况下下 根根据据样样本本来来检检验验关关于于总总体体分分布布的的假假设设总总体体的的分分布布函函数数为为总总体体的的分分布布函函数数不不是是阐明阐明 (1)在这里备择假设在这里备择假设H1可以不用写出可以不用写出.2c c检验法的定义检验法的定义2. 1c c : )3(为为连连续续型型若若总总体体 X那么上述假设相当于那么上述假设相当于).( :0 xfXH的概率密度为的概

3、率密度为总体总体 : )2(为离散型为离散型若总体若总体 X那么上述假设相当于那么上述假设相当于0: ,1,2,.iiHXP Xxpi 总总体体的的分分布布律律为为. , , , )( , )4(02然后作检验然后作检验然估计法估计参数然估计法估计参数需要先用最大似需要先用最大似但其参数值未知但其参数值未知形式已知形式已知的的若若时时检验法检验假设检验法检验假设在使用在使用xFHc c12100001 21 2,(, ,). , () , , , . , , , , .mmiijiiiiiimA AAAA Aiji jmHpP AiknANpHn 将将随随机机试试验验可可能能结结果果的的全全体

4、体 分分为为个个互互不不相相容容的的事事件件于于是是在在假假设设下下 我我们们可可以以计计算算在在 次次试试验验中中 事事件件出出现现的的频频率率与与往往往往有有差差异异 但但一一般般来来说说 若若为为真真 且且试试验验次次数数较较多多时时 这这种种差差异异不不应应很很大大检验法的基本思想检验法的基本思想2. 2c c3.皮尔逊定理皮尔逊定理 020210c-miiniiHNnpnp 皮皮尔尔逊逊给给出出皮皮尔尔逊逊统统计计量量检检验验假假设设的的统统计计量量定理定理4.10012 (50), ( ), nHHmc 若若充充分分大大则则当当为为真真时时不不论论中中的的分分布布属属什什么么分分布

5、布皮皮尔尔逊逊统统计计量量总总是是近近似似地地服服从从自自由由度度为为的的分分布布. . 2022101()miiniiNnpmnpcc 近近似似0, , H于于是是 如如果果在在假假设设成成立立时时2220101()(),miiniiNnpmnpcc . , 00HH否则就接受否则就接受下拒绝下拒绝则在显著性水平则在显著性水平 留意：留意：005052, , . , , .iinnpnnpc 在在使使用用检检验验法法时时要要足足够够大大不不太太小小根根据据实实践践 一一般般每每一一个个4. 多项分布的多项分布的 检验法检验法2cX设设总总体体 为为离离散散型型分分布布，其其分分布布律律为为1

6、 2, , ,.iiP Xxpim 121212121(,)(,),(,)TnTninmTimiXXXXxxxNXXXiNn NNN 设设为为来来自自总总体体 的的样样本本，为为其其观观测测值值，表表示示 中中取取值值为为 的的个个数数，且且分分布布为为多多项项分分布布，其其分分布布律律为为1112211!,!mnnmmmmnP Nn NnNnppnn检验的假设为检验的假设为00101 2:, ,iiiiHppHppim 由前面的分析可以看出，选择皮尔逊统计量由前面的分析可以看出，选择皮尔逊统计量 20210cmiiniiNnpnp 回绝域为回绝域为2220101():()miiniiNnpW

7、xmnpcc 解解例例1 1试检验这颗骰子的六个面能否匀称试检验这颗骰子的六个面能否匀称?)05. 0 ( 取取根据题意需求检验假设根据题意需求检验假设把一颗骰子反复抛掷把一颗骰子反复抛掷 300 次次, 结果如下结果如下:305260487040654321出出现现的的频频数数出出现现的的点点数数H0: 这颗骰子的六个面是匀称的这颗骰子的六个面是匀称的. )6 , 2 , 1(61:(0 iiXPH或或其中其中X表示抛掷这骰子一次所出现的点数表示抛掷这骰子一次所出现的点数 (能够值能够值只需只需6个个), 在在 H0 为真的前提下为真的前提下, 011 266(, , )ipi 262010

8、()iiniiNnpnpc 61300)6130040(2 61300)6130070(2 61300)6130048(2 5,1-6 自自由由度度为为0.052211.07, cccc查查表表得得2n20.1611.07,c c所以回绝所以回绝 H0, 以为这颗骰子的六个面不是匀称的以为这颗骰子的六个面不是匀称的. 61300)6130060(2 61300)6130052(221(30300)620.1613006 5. 普通分布的普通分布的 检验法检验法2c假设检验的问题为假设检验的问题为00:( )( ),HF xF x 11111,mmmaaaa 任取个实数,;使得-任取个实数,;使

9、得-10010001001211() , ()(), ()iiimmpF apF aF aimpF a 令令121212121(,)(,),(, ,)TnTninmTiimiXXXXx xxNXXXANn NNN 设设为为来来自自总总体体 的的样样本本，为为其其观观测测值值，表表示示 中中的的个个数数，且且分分布布为为多多落落入入区区间间项项分分布布. .经过上述处置，此问题又转化为检验多项分布问题经过上述处置，此问题又转化为检验多项分布问题.选择皮尔逊统计量选择皮尔逊统计量 20210cmiiniiNnpnp 回绝域为回绝域为2220101():()miiniiNnpWxmnpcc 例例2(

10、p131例例4.11)某盒中装有白球和黑球，现做某盒中装有白球和黑球，现做下面的实验，用前往式抽取方式从盒中取球，直到取下面的实验，用前往式抽取方式从盒中取球，直到取到白球为止，记录下抽取的次数，反复如此的实验到白球为止，记录下抽取的次数，反复如此的实验100次，其结果为：次，其结果为：抽取次数抽取次数1234频数频数433115655 试问该盒中的白球与黑球的个数能否相等试问该盒中的白球与黑球的个数能否相等(=0.05)?解解从题意可知，该总体服从几何分布，从题意可知，该总体服从几何分布，111 2(), ,kP Xkpp k 假设黑球白球个数相等，那么假设黑球白球个数相等，那么p=1/2,

11、因此因此11451616,P XP X111123248,P XP XP X由此可知，检验的假设是由此可知，检验的假设是012345111112481616:,Hppppp计算皮尔逊统计量可得：计算皮尔逊统计量可得： 202103 2 .miiniiNnpnpc 查表可得查表可得20 0549 488.( )c . .显然显然 20220 05103 249 488.( ).miiniiNnpnpcc 因此接受原假设，黑球白球个数相等因此接受原假设，黑球白球个数相等.6. 分布中含有未知参数的分布中含有未知参数的 检验法检验法2c假设检验的问题为假设检验的问题为001101:( )( ,):(

12、 )( ,)rrHF xFxHF xFx 01,.rF其其中中的的形形式式已已知知 参参数数未未知知121201(,)(,)( ,),TnTnrXXXXxxxF x 设设为为来来自自总总体体 的的样样本本，为为其其观观测测值值，用用最最大大似似然然估估计计首首先先得得到到参参数数的的估估计计. .由由此此可可以以得得到到令令110101100110010121(,), (,)(,)(,), rrmmrriiipF apF apF aF aim 由此可以看到，此问题又可以转化为多项分布的由此可以看到，此问题又可以转化为多项分布的假设检验问题，其统计量为假设检验问题，其统计量为 20210cmii

13、niiNnpnp 定理定理4.2001c2 (50), ( ), nHHmr 若若充充分分大大则则当当为为真真时时不不论论中中的的分分布布属属什什么么分分布布皮皮尔尔逊逊统统计计量量总总是是渐渐近近地地服服从从自自由由度度为为的的分分布布. . 2022101cc()miiniiNnpmrnp 近似近似2.c此此种种检检验验法法称称为为拟拟合合优优度度检检验验法法此类假设检验的回绝域为此类假设检验的回绝域为2220101cc():()miiniiNnpWxmrnp 下面举例阐明下面举例阐明 在一实验中在一实验中, 每隔一定时间察看一次由某种铀每隔一定时间察看一次由某种铀所放射的到达计数器上的所

14、放射的到达计数器上的 粒子数粒子数, 共察看了共察看了100次次, 得结果如下表得结果如下表:0123456789101112012345678910111215161726119921210iiiNAAAAAAAAAAAAAA 0 1 2 . , , ,!iiNieXP Xiii 其其中中是是观观察察到到有有个个粒粒子子的的次次数数 从从理理论论上上考考虑虑应应服服从从泊泊松松分分布布 0.05)?(! 是否符合实际是否符合实际问问ieiXPi 例例3 3解解问题归结为问题归结为: 在程度在程度0.05下下 检验假设检验假设服从泊松分布服从泊松分布总体总体 :0XH . , 0 故故先先估估

15、计计未未具具体体给给出出中中参参数数由由于于在在 H由最大似然估计法得由最大似然估计法得, 2 . 4 x 根据标题中知表格根据标题中知表格, 有估计有估计iXP ;0,1,2,!ieP Xiii ,015. 00 2 . 40 eXPp如如 ,185. 0! 32 . 4332 . 43 eXPp ,002. 011211112 iipXPp详细计算结果见下表详细计算结果见下表, , 2 , 1 , 0!2 . 42 . 4 iieiXPpii表表1 1 例例3 3的的拟合检验计算表拟合检验计算表 1 516172611 9 9 2 1 2 1 00.0150.0630.1320.1850.

16、1940.1630.1140.0690.0360.0170.0070.0030.0021.56.313.218.519.416.311.46.93.61.70.70.30.219.39415.62234.8457.4237.10511.739iAiNip ipn2/iiNnp0A1A2A3A4A5A6A7A8A9A10A11A12A664.6155.538=106.2810.0780.0652c c,2815. 6592.12)6()1(2205. 0 c cc c rk故接受故接受H0, 以为样本来自泊松分布总体以为样本来自泊松分布总体. , 5 ,5 示示如如表表中中第第四四列列化化括括号

17、号所所使使得得每每组组均均有有的的组组予予以以合合并并其其中中有有些些 iinppn, 6118 , 8 2 的的自自由由度度为为故故并并组组后后c ck 自自1965年年1月月1日至日至1971年年2月月9日共日共2231天中天中,全全世界记录到里氏震级世界记录到里氏震级4级和级和4级以上地震共级以上地震共162次次, 统统计如下计如下:(X表示相继两次地震间隔天数表示相继两次地震间隔天数, Y表示出现的频数表示出现的频数)86681017263150403935343029252420191514109540YX 试检验相继两次地震间隔天数试检验相继两次地震间隔天数 X 服从指数分布服从指

18、数分布.0.05)( 解解所求问题为所求问题为: 在程度在程度0.05下检验假设下检验假设例例4 4的概率密度的概率密度 :0XH . 0, 00,1)(xxexfx . , 0 故先估计故先估计未具体给出未具体给出中参数中参数由于在由于在 H由最大似然估计法得由最大似然估计法得,77.131622231 x X 为延续型随机变量为延续型随机变量, . 9 , 2 , 1),9)0,1 iaakXii子子区区间间个个互互不不重重叠叠的的分分为为可可能能取取值值区区间间将将(见下页表见下页表)503126171086680.27880.21960.15270.10620.07390.05140.

19、03580.02480.056845.165635.575224.737417.204411.9718 8.3268 5.7996 4.0176 9.201955.351927.013227.327016.79808.35307.68606.207314.82695 . 40:1 xA5 . 95 . 4:2 xA5 .145 . 9:3 xA5 .195 .14:4 xA5 .245 .19:5 xA5 .295 .24:6 xA5 .345 .29:7 xA5 .395 .34:8 xA xA5 .39:9=163.563313.2192iAiNip ipn2/iiNnp表表2 2 例例4

20、 4的的拟合检验计算表拟合检验计算表2c c在在 H0 为真的前提下为真的前提下, X 的分布函数的估计为的分布函数的估计为 . 0, 00,1)(77.13xxexFx有有估估计计概概率率)( iiAPp )(iiAPp 1 iiaXaP),()(1iiaFaF )( 22APp 如如5 . 05 . 4 XP)5 . 4()5 . 9(FF ,2196. 0 ,0568. 0)(1)(8199 iiAFAFp,5633. 0592.12)6()1(2205. 0 c cc c rk故在程度故在程度0.05下接受下接受H0, 以为样本服从指数分布以为样本服从指数分布.,5633. 11625

21、633.1632 c c, 1, 8 rk 下面列出了下面列出了84个依特拉斯坎人男子的头颅的个依特拉斯坎人男子的头颅的最大宽度最大宽度(mm), 实验证这些数据能否来自正态总体实验证这些数据能否来自正态总体.0.1)( 141 148 132 154 142 150 146 155 158150 140 147 148 144 150 149 145 149 158 143 141 144 144 126 140 144 142 141 140145 147 146 141 140 146 142 148 154 143 140 131 143 141 149148 148 152 143

22、144 141 143 147 146150 132 142 142 143 153 149 146 149 142 149 142 134 144 146 147 140 142140 152 145例例5 5解解所求问题为检验假设所求问题为检验假设的概率密度的概率密度 :0XH.,21)(222)( xexfx ., , , 220 故故先先估估计计未未具具体体给给出出中中参参数数由由于于在在H由最大似然估计法得由最大似然估计法得,0 . 6, 8 .14322 ,7),(个个小小区区间间分分为为可可能能取取值值区区间间将将 X(见表见表3)在在 H0 为真的前提下为真的前提下, X 的概

23、率密度的估计为的概率密度的估计为 1 4103324 9 30.00870.05190.17520.31200.28110.13360.0375 0.73 4.3614.7226.2123.6111.22 3.156.7941.5524.4010.02=87.67iAiNip ipn2/iiNnp5 .1345 .129:2 xA5 .129:1xA5 .1395 .134:3 xA5 .1445 .139:4 xA5 .1495 .144:5 xA5 .1545 .149:6 xA xA5 .154:75.0914.374.91表表3 3 例例5 5的的拟合检验计算表拟合检验计算表2c c.

24、,621)(2262)8 .143( xexfx有有估估计计概概率率)( iiAPp )( 22APp 如如 5 .1345 .129 xP 68 .1435 .134 68 .1435 .129 .0519. 0)38. 2()55. 1( 0 10 1222152124 6053 67.()()( ).,mrccc 故在程度故在程度0.1下接受下接受H0, 以为样本服从正态分布以为样本服从正态分布.二、柯尔莫哥洛夫及斯米尔诺夫检验二、柯尔莫哥洛夫及斯米尔诺夫检验00:( )( )HF xF x 不不成成立立1. 检验法的缺陷检验法的缺陷2c 此种检验依赖于区间划分，划分的巧合能够导此种检验

25、依赖于区间划分，划分的巧合能够导致检验的错误致检验的错误,例如例如10001()()()(),.iiiiiF aF aF aF apim 但但是是当当划划分分巧巧合合时时，也也可可能能会会出出现现这样的结果不会影响皮尔逊统计量的值，因此可这样的结果不会影响皮尔逊统计量的值，因此可以导致接受错误的假设以导致接受错误的假设. 本节将引见柯尔莫哥洛夫斯米尔诺夫检验法，本节将引见柯尔莫哥洛夫斯米尔诺夫检验法，柯尔莫哥洛夫检验法可以检验阅历分布能否服从某柯尔莫哥洛夫检验法可以检验阅历分布能否服从某种实际分布，斯米尔诺夫检验法可以检验两个样天种实际分布，斯米尔诺夫检验法可以检验两个样天性否服从同一分布。性

26、否服从同一分布。2. 柯尔莫哥洛夫检验柯尔莫哥洛夫检验首先看两个定理，这是柯尔莫哥洛夫检验的根底首先看两个定理，这是柯尔莫哥洛夫检验的根底.定理定理4.3 4.3 设设F是延续的分布函数，那么是延续的分布函数，那么12sup |( )( )|nnxP DFxF xyn 113212221321121222002112, ,(,)dd, ,nyyynnnnnnyyynnnyf x xxxxnyn 其其他他，1212010!, ,(,), nnnxxxf x xx 其其中中其其他他，定理定理4.4 4.4 设设F是延续的分布函数，那么是延续的分布函数，那么limsup |( )( )|( )nnx

27、PnFxF xyK y 2220010, ,() e, .kk ykyy 上述两个定理证明略。它们将是柯尔莫哥洛夫检验上述两个定理证明略。它们将是柯尔莫哥洛夫检验法的实际根底法的实际根底.假设检验的问题为假设检验的问题为0010:( )( ):( )( ),HF xF xHF xF x 1212( )(,)(,)TnTnF xXXXXx xx其其中中为为连连续续分分布布函函数数。设设为为来来自自总总体体 的的样样本本，为为其其观观测测值值，统统计计量量选选为为0sup |( )( )|nnxDFxFx 只需原假设不真，那么统计量的值就会偏大，因只需原假设不真，那么统计量的值就会偏大，因此此给定

28、显著性程度给定显著性程度，可以选择临界值使得，可以选择临界值使得,nnP DD 3456,().nDp其其中中临临界界值值可可以以查查表表 参参见见附附表表那么此检验法的回绝域那么此检验法的回绝域为为, :( )nnWx DxD 当当n 100时，利用极限分布定理时，利用极限分布定理4.4可得可得117,()nDn 可可由由附附表表 得得到到例例6(p6(p例例4.13)4.13)某矿区煤层厚度的厚度的某矿区煤层厚度的厚度的123个个数据的频数分布如下表所示，试用柯尔莫哥洛夫检数据的频数分布如下表所示，试用柯尔莫哥洛夫检验法检验煤层的厚度能否服从正态分布？验法检验煤层的厚度能否服从正态分布？2

29、02.852.60-2.909121.251.10-1.404192.452.30-2.60850.950.80-1.1033.052.151.85组中值2.90-3.202.00-2.301.70-2.00厚度间隔1076组号2191.551.40-1.7052560.650.50-0.8022410.350.20-0.501频数频数组中组中值值厚度间隔厚度间隔/m组组号号ixininix解解用用X表示煤层厚度，欲假设检验表示煤层厚度，欲假设检验20:( ,).HXN 总总体体服服从从正正态态分分布布分分布布由于参数未知，因此首先对参数进展估计由于参数未知，因此首先对参数进展估计2221 8

30、840 576., .nxs201 884 0 576 :( ., .).HXN则则总总体体 服服从从正正态态分分布布1 8841 8840 5760 5761 8840 576.(). ().iiiixXF xP XxPx ()()ninivxFxn 00 034sup|()()|.inniixDFxF x 11 3670 050 123123123,.,.,nD 查查附附表表 ，取取显然显然0 1230 0343,.,nnDD 因此接受原假设，以为煤层厚度服从正态分布因此接受原假设，以为煤层厚度服从正态分布.注注分布函数分布函数F(x)的置信区间的置信区间11nP Dn 由由于于111(

31、)( )( )nnP FxF xFxnn 3. 斯米尔诺夫检验斯米尔诺夫检验假设检验的问题为假设检验的问题为01:( )( ):( )( ),HF xG xHF xG x 121212( )( )(,)( )(,)( )TnTnF xG xXXXF xY YYG x其其中中、为为两两个个总总体体的的连连续续分分布布函函数数。设设为为来来自自总总体体的的样样本本，为为来来自自总总体体的的样样本本，并并且且假假设设两两个个总总体体独独立立，统统计计量量选选为为1212,sup |( )( )|n nnnxDFxGx 12( )( )nnFxGx其其中中与与分分别别是是两两个个总总体体的的经经验验分

32、分布布函函数数. .为了得到显著性程度下的回绝域，需求如下定理：为了得到显著性程度下的回绝域，需求如下定理：定理定理4.5 4.5 假设假设F(x)=G(x),且且F是延续函数，那么是延续函数，那么1212,sup |( )( )|n nnnxP DFxGxx 221011111, ,(), , ,nnjcjnnnnjcxnCxCnx 定理定理4.6 4.6 121212limsup |( )( )|( )nnnxnnPFxGxxK xnn 2220010, ,() e, .kk xkxx 上述两个定理证明略。它们将是斯米尔诺夫检验上述两个定理证明略。它们将是斯米尔诺夫检验法的实际根底法的实际

33、根底.假设假设F(x)=G(x),且且F是延续函数，那么是延续函数，那么只需原假设不真，那么统计量的值就会偏大，因只需原假设不真，那么统计量的值就会偏大，因此此给定显著性程度给定显著性程度，可以选择临界值使得，可以选择临界值使得121212,n nn nn nnP DDP DD 12123467,().nn nnDnnp 1 1- -其其中中, ,临临界界值值可可以以查查表表n n参参见见附附表表得得到到那么此检验法的回绝域那么此检验法的回绝域为为12,:( )n nnWx DxD例例7(p7(p例例4.14)4.14)工人刚接班时，先抽取工人刚接班时，先抽取150个零件作为样本，在自个零件作

34、为样本，在自动车床任务两小时后，再抽取动车床任务两小时后，再抽取100个零件作为第二次个零件作为第二次样本，测得每个零件间隔规范的偏向样本，测得每个零件间隔规范的偏向X，其数值列，其数值列入下表，试比较两个样天性否来自同一总体入下表，试比较两个样天性否来自同一总体?在自动车床上加工某一零件，在在自动车床上加工某一零件，在频频 数数偏向偏向X的的丈量区间丈量区间/m频频 数数偏向偏向X的的丈量区间丈量区间/m30380, 5)29235, 10)-5, 0)-10, -5)-15, -10)1020, 25)17431115, 20)72715810, 15)0101 jn2 jn1 jn2 jn1150n 2100n 解解欲假设检验欲假设检验01:( )( ):( )( ),HF xG xHF xG x 111( )( )nnvxFxn 计算两个样本对应的阅历分布函数计算两个样本对应的阅历分布函