非参数第六章.ppt

1、第六章 尺度检验,前面已经谈到了关于两样本或多样本的位置参数 的检验，位置参数描述了总体分布的位置.而描述总 体概率分布离散程度的参数为尺度参数（scale parameter）,在数理统计中衡量数据集中和分散程度 的方差，极差或标准差等等都是有关尺度的参数.假 定两独立样本 及 分别来自正态分 布 及 ，在检验 时， 最常用的传统的统计方法是F检验.,检验统计量为两个独立样本的样本(修正)方差之比：,在零假设下，它有自由度为 的F分布.此 外，还有极差检验，对数 F 检验及方差大样本检验等 等.但当总体分布不是正态或有严重污染时，上述F检 验就不一定合适了.本章介绍检验尺度参数是否相等的 非

2、参数方法.这些方法对于总体的形状没有要求，但有,需要位置参数（比如中位数）相等的假定.如果位置参 数不相等，有时需要进行平移使其相等后再进行检验.,6.1 两独立样本的Siegel-Tukey方差检验,假定有两独立样本 这里 为连续分布函数，而且 (其中位数 为0).还假定两个总体的位置参数相等，即 这里的检验为,或者是H0:“样本来自同一总体分布”对H1：“样本的分布 仅方差不同.”,Siegel-Tukey方差检验是基于如下的思想：如果 一个总体的方差较大，其样本点一定散布的较远.因 此在这里秩不是按大小来定，而是按散布远近而定. 具体操作如下：先把两样本的混合按升幂排序，然 后定最小的一

3、个秩为1，然后把最大和次大的两个数 的秩定义为2和3，再回到小端定第二和第三小的秩 为4，5，如此从一端跳到另一端，每端按从外到 内的顺序取两个秩，直到所有的点都分配了秩为止. 最后分别对这两个样本的秩求和，记为 并且同样求出 和 直观上，如果一个样本秩和很小，说明其具有较多 的离两端近的观测值，也就是说方差较大，则零假 设可能不对.,例6.1(salary.txt)考虑我国两个地区一些城镇职工工资的例子来说明Siegel-Tukey检验的过程.,序号 工资 地区 1 6864 1 2 7304 1 3 7477 1 4 7779 1 5 7895 1 6 8348 1 7 8461 1 8

4、9553 1 9 9919 1 10 10073 1 11 10270 1,序号 工资 地区 12 11581 1 13 13472 1 14 13600 1 15 13962 1 16 15019 1 17 17244 1 18 10276 2 19 10533 2 20 10633 2 21 10837 2 22 11209 2,序号 工资 地区 23 11393 2 24 11864 2 25 12040 2 26 12642 2 27 12675 2 28 13199 2 29 13683 2 30 14049 2 31 14061 2 32 16079 2,在前面已估计了两个样本的位

5、置差为 把X样本都减去该值，然后混合它们，按升幂排列（如下表）.容易计算,类似于Wilcoxon秩和检验，取检验统计量,注意这里的假设检验问题为,由于 比 小得多，意味着 X 的数据的秩相对要小，即X数据的范围要广些.,工资 地区 秩 1, 9343 1 1 2, 9783 1 4 3, 9956 1 5 4, 10258 1 8 5, 10276 2 9 6, 10374 1 12 7, 10533 2 13 8, 10633 2 16 9, 10827 1 17 10, 10837 2 20 11, 10940 1 21 12, 11209 2 24 13, 11393 2 25 14,

6、11864 2 28 15, 12032 1 29 16, 12040 2 32,工资 地区 秩 17, 12398 1 31 18, 12552 1 30 19, 12642 2 27 20, 12675 2 26 21, 12749 1 23 22, 13199 2 22 23, 13683 2 19 24, 14049 2 18 25, 14060 1 15 26, 14061 2 14 27, 15951 1 11 28, 16079 1 10 29, 16079 2 7 30, 16441 1 6 31, 17498 1 3 32, 19723 1 2, x=read.table(E

7、:/data/salary.txt) x y=xx,2=2,1 y x=xx,2=1,1 x x1=x-median(outer(x,y,-) x1 xy=cbind(c(x1,y),c(rep(1,length(x),rep(2,length(y) xy xy1=xyorder(xy,1), xy1 z=xy,1 z, n=length(z) a1=2:3 b=2:3 for(i in seq(1,n,2)b=b+4;a1=c(a1,b) a2=c(1,a1+2) z=NULL for(i in 1:n)z=c(z,(i-floor(i/2) b=1:2 for(i in seq(1,(n+

8、2-2),2)if(zi/2!=floor(zi/2)zi:(i+1)=b;b=b+2 zz=cbind(c(0,0,z1:(n-2),z1:n) if(n=1)R=1 if(n=2)R=c(1,2) if(n2)R=c(a21:zzn,1,rev(a11:zzn,2) xy2=cbind(xy1,R) xy2 pwilcox(75,15,17) 1 0.02428558,6.2 两独立样本尺度参数的Mood检验,假定有两独立样本 这里 为连续分布函数，而且 (其中位数 为0).还假定两个总体的位置参数相等，即 这里的检验为,或者是H0:“样本来自同一总体分布”对H1：“样本的分布 仅方差不同

9、.”,记 为X观测值在混合样本中的秩， 而 为Y观测值的秩 .在零假设成立时， 由1.7中关于秩的性质，有 对X样本来说，考虑秩统计量(Mood,1954),如果它的值偏大，则X的方差也可能偏大. 可以 对于大的M拒绝零假设.它的在零假设下的分布可 以由秩的分布性质得出.,下面给出大样本近似，在零假设下，当 并且 趋于常数时有,在混合样本有结时，如果把混合样本按照升幂排列之后的结统计量为 ，则混合样本共有 种不同的数值.令 分别为X和Y样本中等于第 种数的观测值数目，即有,令 及 .则前面的Mood 检验统计量M成为,其中, x=read.table(E:/data/salary.txt) y

10、=xx,2=2,1 x=xx,2=1,1 m=length(x) n=length(y) x1=x-median(outer(x,y,-) xy=cbind(c(x1,y),c(rep(1,m),rep(2,n) N=nrow(xy) xy1=cbind(xyorder(xy,1),1:N) xy1,1, 9343 1 1 2, 9783 1 2 3, 9956 1 3 4, 10258 1 4 5, 10276 2 5 6, 10374 1 6 7, 10533 2 7 8, 10633 2 8 9, 10827 1 9 10, 10837 2 10 11, 10940 1 11 12, 1

11、1209 2 12 13, 11393 2 13 14, 11864 2 14 15, 12032 1 15 16, 12040 2 16,17, 12398 1 17 18, 12552 1 18 19, 12642 2 19 20, 12675 2 20 21, 12749 1 21 22, 13199 2 22 23, 13683 2 23 24, 14049 2 24 25, 14060 1 25 26, 14061 2 26 27, 15951 1 27 28, 16079 1 28 29, 16079 2 29 30, 16441 1 30 31, 17498 1 31 32, 1

12、9723 1 32, R1=xy1xy1,2=1,3 M=sum(R1-(N+1)/2)2) e1=m*(N2-1)/12 s=sqrt(m*n*(N+1)*(N2-4)/180) z=(M-e1)/s p=pnorm(z,low=F) p 1 0.009878857, a=read.table(E:/data/salary.txt) y=aa,2=2,1 y 1 10276 10533 10633 10837 11209 11393 11864 12040 12642 12675 13199 13683 14049 14061 16079 x=aa,2=1,1 x 1 6864 7304 7

13、477 7779 7895 8348 8461 9553 9919 10073 10270 11581 13472 13600 13962 15019 17244 x1=x-median(outer(x,y,-) x1 1 9343 9783 9956 10258 10374 10827 10940 12032 12398 12552 12749 14060 15951 16079 16441 17498 19723, library(stats) mood.test(x1,y,alt=greater) Mood two-sample test of scale data: x1 and y

14、Z = 2.3847, p-value = 0.008546 alternative hypothesis: greater, library(fBasics) Rmetrics, (C) 1999-2004, Diethelm Wuertz, GPL fBasics: Markets, Basic Statistics, Date and Time moodTest(x1,y,alt=greater) Mood two-sample test of scale data: x and y Z = 2.3847, p-value = 0.008546 alternative hypothesi

15、s: greater,6.3 两样本及多样本尺度参数的 Ansari-Bradley检验,假定有两独立样本 这里 为连续分布函数，而且 (其中位数 为0).还假定两个总体的位置参数相等，即 这里的检验为,或者是H0:“样本来自同一总体分布”对H1：“样本的分布 仅方差不同.”,这里的检验统计量是用X或Y在混合样本的秩到两个极端值中最近的一个的秩的距离来度量.如果H1为“X趋向于取两端的值（秩大或小），”则X的样本点距两端近，这种度量对于X就小. 如果 表示X观测值在混合样本中的秩，这里具体的检验统计量（ Ansari-Bradley ，1960）定义为,这里的 实际上是X按照离混合样本顺序统计

16、量两端的距离定义的秩；换言之，最大和最小的值均取1，次最大和次最小的均取2，如此类推.,在零假设下，当 并且 趋于常数时有,下面考虑多样本Ansari-Bradley检验 对于有k个样本的情况，令 表示大小 为 的第 个样本；其总体分布为 ； 用 表示 在大小为N的混合样本中的秩.假定所 有的位置参数相同，即 .考虑下面的 检验问题： 对备择假设 H1: “不 是所有的方差都相等.”令,则k样本的检验统计量为,在零假设下，B有近似的自由度为 的 分布.如果 ，则可以在水平 拒绝零假设.,研究表明， Ansari-Bradley检验在 时比 时要好., library(stats) ansari

17、.test(x1,y,alt=greater) Ansari-Bradley test data: x1 and y AB = 118.5, p-value = 0.02458 alternative hypothesis: true ratio of scales is greater than 1 Warning message: In ansari.test.default(x1, y, alt = greater) : cannot compute exact p-value with ties, library(exactRankTests) ansari.exact(x1,y,al

18、t=less) Ansari-Bradley test data: x1 and y AB = 118.5, p-value = 0.02512 alternative hypothesis: true ratio of scales is less than 1,6.3 两样本及多样本尺度参数的Fligner-Lilleen检验,假定有 个样本，用 表示大小为 的第 个样本；其总体分布为 ，记 假定 ，根据具有大的尺度参数的总体所产生的观测值，倾向于远离共同的中位数 ，Fligner和Lilleen（1976）提出了对观测值到共同中位数的距离进行排序. 对 记 ；当 未知 时用样本中位数 代

19、替 .,用 表示在混合样本中的 的秩.在两样本情况( ) ，对于 采用统计量,它在零假设下有Wilcoxon分布，可以查表或用统计软件求出 值，同样也可以用大样本近似.在 太大或太小时拒绝零假设.,对于 的多样本情况，为检验 “不是所有的 都相等”，采用统计量,其中 ，在零假设下，统计量 有 Kruskal-Wallis零分布，可以查表得到 值.也有大样 本近似.对于太大的 ，应拒绝零假设.一些研究表 明，Fliger-Lillen检验比Ansari-Bradley检验或者其 个样本（在小样本时）的推广有更强的势.,例4.1(salary.txt) 考虑我国两个地区一些城镇职工工资的例子来说明

20、Fliger-Lillen检验的过程.检验为, x=read.table(E:/data/salary.txt) x, y=xx,2=2,1 y,1 10276 10533 10633 10837 11209 11393 11864 12642 12675 13199 13683 14049 14061 16079, x=xx,2=1,1 x,1 6864 7304 7477 7779 7895 8348 8461 9553 9919 10073 10270 11581 13472 13600 13962 15019 17244, m=length(x) m 1 17, n=length(y)

21、 n 1 15 y1=y+median(outer(x,y,-) y1,1 7797 8054 8154 8358 8730 8914 9385 9561 10163 10196 10720 11204 11570 11582 13600,median(c(x,y1) M 1 9740 xy=cbind(c(abs(x-M),abs(y1-M),c(rep(1,m),rep(2,n),Nnrow(xy) N 1 32 xy1=cbind(xyorder(xy,1),1:N) xy1,地区 秩 179 1 1 179 2 2 187 1 3 333 1 4 355 2 5 423 2 6 456

22、 2 7 530 1 8 826 2 9 980 2 10 1010 2 11 1279 1 12 1382 2 13 1392 1 14 1464 2 15 1586 2 16,地区 秩 1686 2 17 1830 2 18 1841 1 19 1842 2 20 1845 1 21 1943 2 22 1961 1 23 2263 1 24 2436 1 25 2876 1 26 3732 1 27 3860 1 28 3860 2 29 4222 1 30 5279 1 31 7504 1 32,Wx=sum(xy1xy1,2=1,3) Wx 1 328 Wyx=Wx-0.5*m*(m

23、+1) Wyx 1 175 Wxy=m*n-Wyx Wxy 1 80 Wy=sum(xy1xy1,2=2,3) Wy 1 200 p=pwilcox(Wxy,m,n) p 1 0.03784712,6.5 两样本尺度的平方秩检验,对于独立样本 和 也可以 用比较它们的绝对离差 来比较方差.下面介绍的是Conover（1980）提出的平方秩检验 (squared rank test).零假设为 ,备择假设为双边的 ,先把两样本的绝对离差混合排序，得到离差的平方秩 .令 为相应于 的平方秩 的和，而 为相应于 的平方秩 的和.如果 或 过大或过小都说明零假设有问题.在零假设下，它们有渐近正态分布，

24、均值分别为 其中,而方差为,因而可以用统计量,来作检验., x=read.table(E:/data/salary.txt) x, y=xx,2=2,1 y, x=xx,2=1,1 x, m=length(x) m, n=length(y) n, x1=abs(x-mean(x) x1, y1=abs(y-mean(y) y1, xy1=c(x1,y1) xy1, xy0=c(x,y) xy0, xyi=c(rep(1,m),rep(2,n) xy=cbind(xy1,xy0,xyi) xy, xy2=cbind(xyorder(xy,1),1:(m+n),(1:(m+n)2) xy2, T1

25、=sum(xy2xy2,3=1,5) T1 1 8327 T2=sum(xy2xy2,3=2,5) T2 1 3113 R=xy2,5, meanR=mean(R) meanR 1 357.5,绝对 原 地 离差 样本 区 秩 秩2 248.8824 10270 1 1 1 297.1333 12642 2 2 4 304.8667 12040 2 3 9 330.1333 12675 2 4 16 445.8824 10073 1 5 25 480.8667 11864 2 6 36 599.8824 9919 1 7 49 854.1333 13199 2 8 64 951.8667 11

26、393 2 9 81 965.8824 9553 1 10 100 1062.1176 11581 1 11 121 1135.8667 11209 2 12 144 1338.1333 13683 2 13 169 1507.8667 10837 2 14 196 1704.1333 14049 2 15 225 1711.8667 10633 2 16 256,绝对 原 地 离差 样本 区 秩 秩2 1716.1333 14061 2 17 289 1811.8667 10533 2 18 324 2057.8824 8461 1 19 361 2068.8667 10276 2 20 4

27、00 2170.8824 8348 1 21 441 2623.8824 7895 1 22 484 2739.8824 7779 1 23 529 2953.1176 13472 1 24 576 3041.8824 7477 1 25 625 3081.1176 13600 1 26 676 3214.8824 7304 1 27 729 3443.1176 13962 1 28 784 3654.8824 6864 1 29 841 3734.1333 16079 2 30 900 4500.1176 15019 1 31 961 6725.1176 17244 1 32 1024, S=sqrt(m*n*(sum(R2)-(m+n)*meanR2)/(m+n)/(m+n-1) S 1 900.7476 Zx=(T1-m*meanR)/S Zx