非参数统计-第3章(第四版)课件

第三章两样本位置检验第三章两样本位置检验第一节Brown-Mood中位数检验在单样本位置问题中，人们想要检验的是总体的中心是否等于一个已知的值．但在实际问题中，更受注意的往往是比较两个总体的位置参数；比如。两种训练方法中哪一种更出成绩，两种汽油中哪一个污染更少，两种市场营销策略中哪种更有效，两种药物中哪种更有效……传统上，人们假设总体是正态分布或近似的正态分布，然后利用两样本的T检验。但是关于总体是正态的假设并不一定合理。在小样本时，近似也不一定合适。本章的目标就是在对总体不作任何分布假设的前提下，解决两样本检验问题。第一节Brown-Mood中位数检验在单样本位置问题中，人两样本位置检验例3.1(数据：salary.txt,salary.sav)我国两个地区一些(分别为17个和15个)城镇职工的工资(元)：地区1：6864730474777779789583488461955399191007310270115811347213600139621501917244地区2：102761053310633108371120911393118641204012642126751319913683140491406116079人们想要知道这二个地区城镇职工工资的中位数是否一样，这就是检验二个独立总体的位置参数是否相等的问题。两样本位置检验例3.1(数据：salary.txt,saBrown-Mood中位数检验检验原理：在零假设成立时，中位数如果一样的话，它们共同的中位数，即这(15+17=)32个数的样本中位数(记为MXY)。也就是说，在X1,X2,…,X17或在Y1,Y2,…,Y15

的二个样本中，大于或小于混合后的中位数MXY的样本点应该大致一样多。容易算得MXY

=11301，在用两个样本和MXY比较之后得到各个样本中大于和小于它的数目(见下表)假设(X1,X2,…,Xm)~X，(Y1,Y2,…,Yn)~Y，地区1样本数据所代表的总体中位数为，而地区2的为Brown-Mood中位数检验检验原理：在零假设成立时，中位这里如果有和MXY相同的观测值，可以去掉它，也可以随机地把这些相等的值放到大于或小于MXY的群中以使得检验略微保守一些。就本例来说，二个样本的中位数不很相同，如何做正式的检验呢？可以看出上表是一个2×2的列联表，由初等概率可知，对于一般的2×2列联表非参数统计--第3章(第四版)课件令A表示列联表中左上角取值a的X样本中大于的变量，在m、n及t固定时，A的分布在零假设下为超几何分布(对于不超过m的k)非参数统计--第3章(第四版)课件现在可以用上面A的分布，直接进行前面所提的单边检验。在给定m，n和t的时候，如果A的值a太大或太小时就应该怀疑零假设。下表列出了Brown-Mood中位数检验的基本内容。计算现在可以用上面A的分布，直接进行前面所提的单边检验检验基本内容P-值

检验统计量

对于水平，如果p-值小于，那么拒绝零假设，否则不能拒绝。在m≠n时因A不对称，双边检验结果不那么理想。检验基本内容P-值检验统计量对于水平，如果p-值小于例题3.1的解法

在例3.1中，a=6，b=10，m=17，n=15用备择假设作单边检验时，可以根据R软件超几何分布的语句phyper(6,17,15,16)，即p值=P(A≤a)等于phyper(a,m,n,a+b)，得到p值为P(A≤a)=P(A≤6)=0.07780674。根据这个p值，无法对常用的显著性水平0.05来拒绝零假设。对于二个方差差不多相等的正态总体，该检验相对于t检验的ARE为2/π=0.637．显然，它和单样本情况的符号检验同属一类。这个检验为一般列联表的Fisher精确检验在2×2表情况的特例。如果用C表示上面表中的矩阵那么，可以用R软件的函数fisher.test(C,alt=〃less〃)得到和上面两样的p值。例题3.1的解法在例3.1中，a=6，b=10，m=1可以看出，前面2×2表中a较大等价于m－a较小，b较大等价于n－b较小，也就是说，根据形成2×2表时的对称性(即行列可互换，行间及列间可互换)，用a,b,m－a,n－b的任何一个数目都可以根据超几何分布语句得到p值。可以看出，前面2×2表中a较大等价于m－a较检验的大样本近似在零假设下，在大样本情况时，可以使用检验统计量所服从超几何分布的正态近似进行检验(包括连续性的修正)：研究表明，该近似在min(m,n)≥12时相当精确。另外，在双边检验时，对于大样本情况，可以用Pearson卡方检验统计量来进行检验，它有近似的自由度为1的卡方分布。检验的大样本近似在零假设下，在大样本情况时，可以使用另外如果X和Y+θ有同样的分布，可求得置信区间为：其中c和c’满足：

另外如果X和Y+θ有同样的分布，可求得其中c和c’满足：第二节Wilcoxon(Mann-Whitney)秩和检验在前面一节，比较两个总体的中位数的检验时，只利用了样本大于或小于共同中位数的数目，如同前面的单独符号秩检验一样，只有方向的信息，没有差异大小的信息。作为单样本的Wilcoxon秩和检验的推广，下面我们讨论两个样本的Wilcoxon秩和检验。第二节Wilcoxon(Mann-Whitney)秩和为了对假设作出判定，把样本X1,X2,…,Xm和Y1,Y2,…,Yn

混合起来，这m+n＝N个观察值按照从小到大排列起来，这样每一个Y的观测值在混合排列中都有自己的秩，令Ri为在Yi这N个数中的秩(即Yi是第Ri小的)。显然，如果这些秩的和很小，则Y样本的值偏小，可以怀疑零假设。同样，对于X的样本也可以得到其样本点在混合样本中的秩之和WX。人们称WY或WX为Wilcoxon秩和统计量，该统计量是由Wilconxon于1945年提出的。为了对假设作出判定，把样本X1,X2,…,Xm和Y另一种等价的统计量Mann-Whitney与1947年提出了另一种检验量WXY和WYX。这里定义WXY为所有X观察值在混合样本中超过Y观察值的个数，WYX为所有Y观察值在混合样本中大于X观察值的个数，W为WXY和WYX中较小者，即。若H0成立，WXY和WYX的差别不会很大，W不会太小。如果W很小，我们就有理由怀疑H0。实际上，检验统计量WY、WX和W等价，二者之间只是一个线性变换关系，一般将其统称为Wilconxon-Mann-Whitney统计量。另一种等价的统计量Mann-Whitney与1947年提出了非参数统计--第3章(第四版)课件非参数统计--第3章(第四版)课件m=n=2情形下统计量的可能取值m=n=2情形下统计量的可能取值Ri为Yi在N=n+m个数中的秩,且有：Ri为Yi在N=n+m个数中的秩,且有：性质和检验定理4.2在零假设下：若，且，时：在检验时，，，其中a，b值由前面定理确定。对于打结的情况需要使用修正的公式。

大样本(m,n大于10)，用正态近似性质和检验定理4.2在零假设下：若如有打结(打结的情况超过全部数据的1/5时)，对Z应修正为：在例3.1中，地区1(m=17)和地区2(n=15)的秩和分别为WY=306，WX=222（见P66），并由此计算WXY=WY-n(n+1)/2=186，WYX=69。如有打结(打结的情况超过全部数据的1/5时)，对Z应修正为对于H1:MX<MY，p值为0.01352166，因此，对于α=0.05的显著性水平，可以拒绝零假设。这个结论比第一节（p值为0.07780674）的中位数检验有效。关于Wilcoxon秩和检验(Mann-Whitney检验)总结如下：对于H1:MX<MY，p值为0.01353.2.2MX-MY的点估计和区间估计MX-MY的点估计就是X和Y观察值成对相减后的中位数(共有mn对)。例4.1的MX-MY的点估计为-2479.求MX-MY的(1-α)置信区间的步骤为：(1)得到所有mn个差额Xi-Yj；(2)记按升序排列的差为D1,…,DN(N=mn)；(3)从表中查出Wα/2，它满足P(WXY≤Wα/2)=α/2。则所要的置信区间为(D

Wα/2，Dmn+1-Wα/2)例4.1的Dα/2=76，置信区间为(D76,

D255+1-76)=(-3916，-263)。3.2.2MX-MY的点估计和区间估计第四节成对数据的检验第四节成对数据的检验要使比较有意义,必须要假定:(1)每一对数据或者来自同一个或者可比较的类似对象;(2)对和对之间是独立;(3)都是连续变量.设为对子之间的差的中位数,则检验为:要使比较有意义,必须要假定:例4.2有10个病人在进行了某种药物治疗的前后的血压为:问题:该药物是否有效?这里要检验的是Di的中位数MD是否大于MD0

=0。可能大家已经看到问题到这一步就和前面的单单样本问题完全一样了。1471401421481691701611441711611281291471521561501371321781281911-5-413202412-733例4.2有10个病人在进行了某种药物治疗的前后的血压为:现在只需要用符号检验或Wilcoxon符号秩检验即可。就本例子而言，因为X观测值看来比Y的要大，应检验：。这里先利用Wilcoxon符号秩检验，下表给出了上面的对子之差及它们的符号和相应的秩。1911-5-413202412-733Di的符号++－－++++－+的秩74216895310现在只需要用符号检验或Wilcoxon符号秩检验即19容易算出，正符号的秩之和为，而负符号的秩之和为。故选检验统计量，得到p值为0.01367188，由此可以在显著性水平α大于0.014时拒绝零假设。在用正态近似时，得到p值为0.01616。虽然样本不大，但是对此例，两个结果差得不太多。如果用符号检验，也会有类似的结论。容易算出，正符号的秩之和为，而负符3.5McNemar检验实践中有很对配对二元取值数据，如下例例3.3（数据：athletefootp.txt，athletefootp.sav）某药厂想比较A和B两种治疗脚癣的疗效.实验中有40个病人，每人在左脚和右脚上分别使用A和B两种药.下面是脚癣是否治愈的数据（1为治愈，0为没治愈）病人1234567891011121314151617181920药A11111111110000000000药B11111100000000000000病人2122232425262728293031323334353637383940药A00000000000000000000药B111111111111111111113.5McNemar检验实践中有很对配对二元取值数据，如McNemar检验将上面数据写成列联表形式，有如下表药B治愈没治愈药A治愈没治愈

McNemar检验将上面数据写成列联表形式，有如下表药B治愈McNemar检验

McNemar检验

McNemar检验

McNemar检验

3.6Cohen’sKappa系数Cohen’sKappa系数由Cohen（1960）提出，是度量两位评估者之间评估一致性的指标.先看一个简单的例子例3.4（数据：music.txt，music.sav）两位评委给参加声乐大赛的100名选手打分，打分结果只有两种：晋级和淘汰，见下表数据评委B淘汰晋级评委A淘汰晋级3.6Cohen’sKappa系数CohCohen’sKappa系数

Cohen’sKappa系数

Cohen’sKappa系数

Cohen’sKappa系数

Cohen’sKappa系数

Cohen’sKappa系数

第三章两样本位置检验第三章两样本位置检验第一节Brown-Mood中位数检验在单样本位置问题中，人们想要检验的是总体的中心是否等于一个已知的值．但在实际问题中，更受注意的往往是比较两个总体的位置参数；比如。两种训练方法中哪一种更出成绩，两种汽油中哪一个污染更少，两种市场营销策略中哪种更有效，两种药物中哪种更有效……传统上，人们假设总体是正态分布或近似的正态分布，然后利用两样本的T检验。但是关于总体是正态的假设并不一定合理。在小样本时，近似也不一定合适。本章的目标就是在对总体不作任何分布假设的前提下，解决两样本检验问题。第一节Brown-Mood中位数检验在单样本位置问题中，人两样本位置检验例3.1(数据：salary.txt,salary.sav)我国两个地区一些(分别为17个和15个)城镇职工的工资(元)：地区1：6864730474777779789583488461955399191007310270115811347213600139621501917244地区2：102761053310633108371120911393118641204012642126751319913683140491406116079人们想要知道这二个地区城镇职工工资的中位数是否一样，这就是检验二个独立总体的位置参数是否相等的问题。两样本位置检验例3.1(数据：salary.txt,saBrown-Mood中位数检验检验原理：在零假设成立时，中位数如果一样的话，它们共同的中位数，即这(15+17=)32个数的样本中位数(记为MXY)。也就是说，在X1,X2,…,X17或在Y1,Y2,…,Y15

的二个样本中，大于或小于混合后的中位数MXY的样本点应该大致一样多。容易算得MXY

=11301，在用两个样本和MXY比较之后得到各个样本中大于和小于它的数目(见下表)假设(X1,X2,…,Xm)~X，(Y1,Y2,…,Yn)~Y，地区1样本数据所代表的总体中位数为，而地区2的为Brown-Mood中位数检验检验原理：在零假设成立时，中位这里如果有和MXY相同的观测值，可以去掉它，也可以随机地把这些相等的值放到大于或小于MXY的群中以使得检验略微保守一些。就本例来说，二个样本的中位数不很相同，如何做正式的检验呢？可以看出上表是一个2×2的列联表，由初等概率可知，对于一般的2×2列联表非参数统计--第3章(第四版)课件令A表示列联表中左上角取值a的X样本中大于的变量，在m、n及t固定时，A的分布在零假设下为超几何分布(对于不超过m的k)非参数统计--第3章(第四版)课件现在可以用上面A的分布，直接进行前面所提的单边检验。在给定m，n和t的时候，如果A的值a太大或太小时就应该怀疑零假设。下表列出了Brown-Mood中位数检验的基本内容。计算现在可以用上面A的分布，直接进行前面所提的单边检验检验基本内容P-值

检验统计量

对于水平，如果p-值小于，那么拒绝零假设，否则不能拒绝。在m≠n时因A不对称，双边检验结果不那么理想。检验基本内容P-值检验统计量对于水平，如果p-值小于例题3.1的解法

在例3.1中，a=6，b=10，m=17，n=15用备择假设作单边检验时，可以根据R软件超几何分布的语句phyper(6,17,15,16)，即p值=P(A≤a)等于phyper(a,m,n,a+b)，得到p值为P(A≤a)=P(A≤6)=0.07780674。根据这个p值，无法对常用的显著性水平0.05来拒绝零假设。对于二个方差差不多相等的正态总体，该检验相对于t检验的ARE为2/π=0.637．显然，它和单样本情况的符号检验同属一类。这个检验为一般列联表的Fisher精确检验在2×2表情况的特例。如果用C表示上面表中的矩阵那么，可以用R软件的函数fisher.test(C,alt=〃less〃)得到和上面两样的p值。例题3.1的解法在例3.1中，a=6，b=10，m=1可以看出，前面2×2表中a较大等价于m－a较小，b较大等价于n－b较小，也就是说，根据形成2×2表时的对称性(即行列可互换，行间及列间可互换)，用a,b,m－a,n－b的任何一个数目都可以根据超几何分布语句得到p值。可以看出，前面2×2表中a较大等价于m－a较检验的大样本近似在零假设下，在大样本情况时，可以使用检验统计量所服从超几何分布的正态近似进行检验(包括连续性的修正)：研究表明，该近似在min(m,n)≥12时相当精确。另外，在双边检验时，对于大样本情况，可以用Pearson卡方检验统计量来进行检验，它有近似的自由度为1的卡方分布。检验的大样本近似在零假设下，在大样本情况时，可以使用另外如果X和Y+θ有同样的分布，可求得置信区间为：其中c和c’满足：

另外如果X和Y+θ有同样的分布，可求得其中c和c’满足：第二节Wilcoxon(Mann-Whitney)秩和检验在前面一节，比较两个总体的中位数的检验时，只利用了样本大于或小于共同中位数的数目，如同前面的单独符号秩检验一样，只有方向的信息，没有差异大小的信息。作为单样本的Wilcoxon秩和检验的推广，下面我们讨论两个样本的Wilcoxon秩和检验。第二节Wilcoxon(Mann-Whitney)秩和为了对假设作出判定，把样本X1,X2,…,Xm和Y1,Y2,…,Yn

混合起来，这m+n＝N个观察值按照从小到大排列起来，这样每一个Y的观测值在混合排列中都有自己的秩，令Ri为在Yi这N个数中的秩(即Yi是第Ri小的)。显然，如果这些秩的和很小，则Y样本的值偏小，可以怀疑零假设。同样，对于X的样本也可以得到其样本点在混合样本中的秩之和WX。人们称WY或WX为Wilcoxon秩和统计量，该统计量是由Wilconxon于1945年提出的。为了对假设作出判定，把样本X1,X2,…,Xm和Y另一种等价的统计量Mann-Whitney与1947年提出了另一种检验量WXY和WYX。这里定义WXY为所有X观察值在混合样本中超过Y观察值的个数，WYX为所有Y观察值在混合样本中大于X观察值的个数，W为WXY和WYX中较小者，即。若H0成立，WXY和WYX的差别不会很大，W不会太小。如果W很小，我们就有理由怀疑H0。实际上，检验统计量WY、WX和W等价，二者之间只是一个线性变换关系，一般将其统称为Wilconxon-Mann-Whitney统计量。另一种等价的统计量Mann-Whitney与1947年提出了非参数统计--第3章(第四版)课件非参数统计--第3章(第四版)课件m=n=2情形下统计量的可能取值m=n=2情形下统计量的可能取值Ri为Yi在N=n+m个数中的秩,且有：Ri为Yi在N=n+m个数中的秩,且有：性质和检验定理4.2在零假设下：若，且，时：在检验时，，，其中a，b值由前面定理确定。对于打结的情况需要使用修正的公式。

大样本(m,n大于10)，用正态近似性质和检验定理4.2在零假设下：若如有打结(打结的情况超过全部数据的1/5时)，对Z应修正为：在例3.1中，地区1(m=17)和地区2(n=15)的秩和分别为WY=306，WX=222（见P66），并由此计算WXY=WY-n(n+1)/2=186，WYX=69。如有打结(打结的情况超过全部数据的1/5时)，对Z应修正为对于H1:MX<MY，p值为0.01352166，因此，对于α=0.05的显著性水平，可以拒绝零假设。这个结论比第一节（p值为0.07780674）的中位数检验有效。关于Wilcoxon秩和检验(Mann-Whitney检验)总结如下：对于H1:MX<MY，p值为0.01353.2.2MX-MY的点估计和区间估计MX-MY的点估计就是X和Y观察值成对相减后的中位数(共有mn对)。例4.1的MX-MY的点估计为-2479.求MX-MY的(1-α)置信区间的步骤为：(1)得到所有mn个差额Xi-Yj；(2)记按升序排列的差为D1,…,DN(N=mn)；(3)从表中查出Wα/2，它满足P(WXY≤Wα/2)=α/2。则所要的置信区间为(D

Wα/2，Dmn+1-Wα/2)例4.1的Dα/2=76，置信区间为(D76,

D255+1-76)=(-3916，-263)。3.2.2MX-MY的点估计和区间估计第四节成对数据的检验第四节成对数据的检验要使比较有意义,必须要假定:(1)每一对数据或者来自同一个或者可比较的类似对象;(2)对和对之间是独立;(3)都是连续变量.设为对子之间的差的中位数,则检验为:要使比较有意义,必须要假定:例4.2有10个病人在进行了某种药物治疗的前后的血压为:问题:该药物是否有效?这里要检验的是Di的中位数MD是否大于MD0

=0。可能大家已经看到问题到这一步就和前面的单单样本问题完全一样了。1471401421481691701611441711611281291471521561501371321781281911-5-413202412-733例4.2有10个病人在进行了某种药物治疗的前后的血压为:现在只需要用符号检验或Wilcoxon符号秩检验即可。就本例子而言，因为X观测值看来比Y的要大，应检验：。这里先利用Wilcoxon符号秩检验，下表给出了上面的对子之差及它们的符号和相应的秩。1911-5-413202412-733Di的符号++－－++++－+