非参数统计秩相关分析和秩回归

1、第七章第七章 秩相关分析和秩回归秩相关分析和秩回归相关系数的度量相关系数的度量12211()()()()niiisnniiiiRR QQrRRQQ12211()()()()niiinniiiixxyyrxxyy常用的相关系数有三种:1. Pearson相关系数2. Spearman秩相关系数3. Kendall 相关系数1(1)/22()()(1)cdcdcdijijij nNNNNNNn nsign xxyyn n 7.1 Spearman秩相关系数及检验秩相关系数及检验检验问题设样本 来自总体 ： 11nn(X,Y)(X ,Y ),(X ,Y )F(x,y)01H :XH :XY与Y不相关

2、与 正相关.设 是 在 中的秩, 是 在 中的秩。Spearman秩相关系数：秩相关系数可简化为：iRiX12n(X ,X ,X )iQiY12n(Y,Y ,Y )nnniiiii 1i 1i 1snnnn22iiiii 1i 1i 1i 111(RR )(QQ )nnr11(RR )(QQ )nnn2sii2i 16r1(RQ )n(n1) 检验检验在零假设成立时， 服从自由度为 的t分布。 时表示正相关。在存在重复数据的时候，可以采用平均秩，结不多的时候，T仍然可以采用。s2sn2Tr1 rn2 ,Tt 在大样本情况下，可以采用正态近似进行检验：sn1rN(0,1)n 在出现打结的时候，需

3、要使用修正公式计算。当例例7.1解答解答0.01t(10)3.1690.01/2t(10)3.1690.01c(12)0.727 相关系数及检验相关系数及检验 Kendall Kendall(1938)提出一种类似于Spearman秩相关的检验方法，从两变量 是否协同(concordant)来检验变量之间的相关性。首先引入协同的概念：若 ， 则称数对 和 协同。若 ， 则称数对 和 不协同。ii(x ,y )jiji(xx)(yy) 0jiii(x ,y )jj(x ,y )jiji(x x)(y y) 0jiii(x ,y )jj(x ,y ) 01H :XH :XY与Y不相关与 正相关.这

4、样的样本共有 个数对，用 表示协同的数对的数目， 表示不协同的数对数目。则 系数定义为：其中 ，易知nn(n1)/22 cNdNK endall cdcdcdijij1 i j nNNNN2SNNn(n1)/2n(n1)2sign(xx )(yy )n(n1) cdSNN11 在 取大值的时候拒绝. 具体检验时可以查零分布表,大样本时可以采用正态近似。打结情况下用正态修正。 0H另一种转换形式:将X的数据由小到大排序, 由于协同性考虑Y的秩, 记为: d1,d2,dn, 计算PQn(n1)/2 nijiij ii 1nijiij ii 1pIdd ,PpqIdd ,Qq例例7.2d1,d2,

5、d101 0Nc=38, Nd=7tao=2*31/90=0.6889结论: 拒绝H0, 体重与肺活量有关系.38 7 x-c(75,95,85,70,76,68,60,66,80,88)yck 2n 1k(n1)W 当样本中有结点时，采用修正的Kendall协和系数22i.i.c23R(R ) / nWk (nn)kT12g3iiT() 例例7.3 x1 x2 x3 y1 y2 y3 Rh SSR SSR1 657.5 Wc ka qchisq(0.95,9)1 16.91898 %查表值 ka1 24.35185 %计算值 (拒绝H0, 三个因素一致相关)Kappa一致性一致性检验检验 实

6、际问题:两家不同医院的专家对同一X光片会诊诊断结果是否一致? 公司的两个部门领导对一个项目的鉴定意见是否一致?1) 01H :H :两种方法不一致两种方法一致Kappa一致性一致性检验检验 按光洁程度将产品分为三类: 优等品、合格品和不合格品。两位检验员分别对72件产品进行检验，检验结果如下：检验员1检验员2合计优等合格不合格优等174829合格512017不合格1031326合计32192172问两个检验员检验结果是否一致？Kappa一致性一致性检验检验 列和B1BrA1p11p1rp1.Arpr1prrpr.行和p.1p.rp. 一般的 rr联列表：一致性的度量公式：11221.rrroi

7、iinnnPpnKappa一致性一致性检验检验 .1reiiiPp p与一致性相反的是独立性。Kappa统计量：1oeePPKP特别，当Po=1，则K=1，显然非对角线上的元素都为0，这时，一致性非常好。若Po=Pe，则K=0，则认为一致性较差。具体一致性程度的划分为三种：1)0.4,2)0.40.83)0.8KKK较低中度较高（Kappa系数）Kappa一致性一致性检验检验 2.21var()()(1)eeiiiiieKPPp pppnP理论上可推导则正态近似(0,1)var()KZNK0.0251.96,0ZZK当则例例 检验员1检验员2合计优等合格不合格优等174829合格512017不

8、合格1031326合计32192172解答解答 A ,1 ,2 ,3 1, 17 4 82, 5 12 03, 10 3 13 PA PA ,1 ,2 ,3 1, 0.23611111 0.05555556 0.11111112, 0.06944444 0.16666667 0.00000003, 0.13888889 0.04166667 0.1805556 rPA cPA Po Po1 0.5833333 Pe Pe1 0.3466435 K K1 0.3622675 （较低）一元线性回归一元线性回归例例多元线性回归多元线性回归多元线性回归系数估计多元线性回归系数估计例例X1=c(-0.0

9、5, 0.25,0.60,0, 0.25,0.20, 0.15,0.05,-0.15, 0.15,0.20, 0.10,0.40,0.45,0.35,0.30, 0.50,0.50, 0.40,-0.05,-0.05,-0.10,0.20,0.10,0.50,0.60,-0.05,0, 0.05, 0.55)X2=c( 5.50,6.75,7.25,5.50,7.00,6.50,6.75,5.25,5.25,6.00,6.50,6.25,7.00,6.90,6.80,6.80,7.10,7.00,6.80,6.50,6.25,6.00,6.50,7.00,6.80,6.80,6.50,5.75

10、,5.80,6.80)Y=c( 7.38,8.51,9.52,7.50,9.33,8.28,8.75,7.87,7.10,8.00,7.89,8.15,9.10,8.86,8.90,8.87,9.26,9.00,8.75,7.95,7.65,7.27,8.00,8.50,8.75,9.21,8.27,7.67,7.93,9.26)lm.sol x y mx-median(x)分组程序分组程序 y1-yx=mxx1-xx=mxy2mxx2mx例例7.5 X5.5, 5.8, 6.3, 6.5, 6.8, 6.9, 7.0, 7.2, X1med=6.65Y6.3, 5.5, 6.8, 7.6,

11、7.0, 7.8, 6.6, 6.1, Y1med=6.7X7.3, 7.5, 7.6, 8.1, 8.2, 8.3, 9.1, X2med=8.1Y7.9, 8.4, 7.1, 8.0, 9.0, 9.6, 8.7, Y2med=8.412128.46.71.17248.1 6.650.6586:1.17240.6586medmedBMmedmedeBMiBMiiYYXXmedian yxyx 回归方程例例7.5 xy67896789一元线性回归一元线性回归 lm(yx)Call:lm(formula = y x)Coefficients:(Intercept) x 0.7996 0.928

12、8 :0.92880.7996yx回归方程一元线性回归一元线性回归拟合效果图形： plot(x,y) abline(lm(yx)xy67896789jiijjiyysxx1）Theil方法：当X没有重复数据时，任给i S for(i in 1:14)for(j in (i+1):15)Si,j Sx Sm Sm1 0.969697al al1 0.6909091:0.96970.6909yx回归方程三种方法的效果图形三种方法的效果图形 0.92880.7996yx最小二乘法1.17240.6586BMyx方法0.96970.6909Theilyx方法课后习题课后习题7.5 plot(x,y)X

13、33 45 30 20 39 34 34 21 27 38 30Y76 103 69 50 86 85 74 58 62 88 210 xy20253035404550100150200异常值1）BM方法 mx-median(x)y1-yx=mxx1-xx=mxy2mxx2mx BM BM1 2.157895 alf alf1 5.8947372.15795.8947yx2）Theil方法 x0 y0 S for(i in 1:9)for(j in (i+1):10)Si,j Sx Sm Sm1 2 al al1 10.7510.752yx关于关于和和的检验问题的检验问题 0001000010:,:,:HHHH图形分析：xy67896789n1n2xmed1）BM方法100200#( ,):,#( ,):,iiimediiiimedinx yxxyxnx yxxyx122212:4:()()44nnnnnnn0在H 的假定下构造统计量关于关于和和的检验问题的检验问题 22212200.05:8()() (2)44: (2)nnBMnnnHBM理论上可以