北大应用多元统计分析课件第三章.ppt

1、1,应用多元统计分析,第三章 多元正态总体 参数的假设检验(一),2,3.1 几个重要统计量的分布 一、正态变量二次型的分布 二、威沙特分布 三、霍特林T2分布 四、威尔克斯统计量 3.2 单总体均值向量的检验及置信域 3.3 多总体均值向量的检验,第三章 多元正态总体参数的假设检验 目 录(一),3,一元统计中,参数,2的检验涉及到一个总体、二个总体,乃至多个总体的检验问题; 推广到p元统计分析中，类似地对参数向量和参数矩阵 涉及到的检验也有一个总体、二个总体,乃至多个总体的检验问题。,第三章 多元正态总体参数的假设检验,4,在一元统计中，用于检验, 2的抽样分布有2分布,t 分布,F分布等

2、,它们都是由来自总体N(, 2)的样本导出的检验统计量. 推广到多元统计分析后，也有相应于以上三个常用分布的统计量: Wishart, Hotelling T 2,Wilks 统计量,讨论这些统计量的分布是多元统计分析所涉及的假设检验问题的基础.,第三章 多元正态总体参数的假设检验,5,设Xi N1(i ,2)(i =1,.,n),且相互独立，记 ,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-分量独立的正态变量二次型,一般情况(i 0，2 1时),结论1,6,结论2 当i0(i=1,n),2 =1时,XX的分布常称为非中心2分布.,第三章 多元正态总体参数的假设检验 3.

3、1 几个重要统计量的分布-分量独立的正态变量二次型,定义3.1.1 设n维随机向量XNn(,In) (0),则称随机变量XX为服从 n个自由度,非中心参数,的2分布，记为,7,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-分量独立的正态变量二次型,则,结论3 设XNn(0 ,2In), A为n阶对称方阵, rk(A)= r,则二次型 XAX/22(r) A2A(A为对称幂等阵).,特例:当A=In时,8,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-非中心 t 分布和F分布,定义3.1.2,定义3.1.3,9,第三章 多元正态总体参数的假设检验 3.1

4、几个重要统计量的分布-非中心t分布的应用,一元统计中，关于一个正态总体N(,2)的均值检验中，检验H0：0时，检验统计量,否定域为|T|，其中满足： P|T|=(显著性水平).,10,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-非中心t分布的应用,当否定H0时，可能犯第一类错误，且 第一类错误的概率P“以真当假” P|T|0 显著性水平.,当H0相容时，可能犯第二类错误，且 第二类错误的概率P“以假当真” P|T|=1 0 =.,此时检验统计量Tt(n-1,),利用非中心 t分布可以计算第二类错误的值.,11,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分

5、布-Wishart分布(威沙特分布), Wishart分布是一元统计中2分布的推广.多元正态总体Np(,)中,常用样本均值向量X作为的估计，样本协差阵SA/(n-1)作为的估计.由第二章的定理2.5.2已给出了XNp(,/n).S?.,一元统计中，用样本方差 作为2的估计，而且知道,12,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-Wishart分布(威沙特分布),推广到p元正态总体,样本协差阵SA/(n-1) 及随机矩阵A(离差阵)的分布是什么?,设X() (1,n)为来自Np(0,)的随机样本,考虑随机矩阵,的分布.当p=1时，,13,第三章 多元正态总体参数的假设检

6、验 3.1 几个重要统计量的分布-Wishart分布(威沙特分布),推广到p维正态总体时，随机矩阵W的分布是什么?,定义3.1.4 设X() Np(0,) (1,n)相 互独立，则称随机矩阵 的分布为Wishart分布(威沙特分布)，记 为WWp(n,).,显然p=1时 , 即,14,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-Wishart分布(威沙特分布),一般地,设X()Np(,) (1,n) 相互独立,记,则称WXX服从非中心参数为的非中心Wishart分布,记为WWp(n,). 其中,15,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-Wis

7、hart分布(威沙特分布),当X()Np( ,) (1,n) 相互独立时，非中心参数,这里,其中p为随机矩阵W的阶数,n为自由度,一元统计中的2对应p元统计中的协差阵.,16,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-Wishart分布的性质,性质1 设X()Np(,) (1,n)相互独立，则样本离差阵A服从Wishart分布，即,证明 根据第二章2.5的定理2.5.2知,而ZNp(0,)(=1,n-1)相互独立,由定义 3.1.4可知AWp(n-1,).,17,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-Wishart分布的性质,由于Wishar

8、t分布是2分布的推广,它具有2分布的一些性质.,性质2 关于自由度n具有可加性： 设Wi Wp(ni,) (i1,k)相互独立，则,性质3 设p阶随机阵WWp(n,), C是mp常数阵,则m阶随机阵CWC也服从Wishart分布,即 CWCWm(n,CC).,18,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-Wishart分布的性质,证明,其中 ZNp(0,)(=1,n)相互独立. 令Y=CZ,则YNm(0,CC). 故,由定义3.1.4有:,19,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-Wishart分布的性质, aWWp(n,a) (a0，为

9、常数). 在性质3 中只须取Ca1/2 Ip，即得此结论.,特例：, 设l(l1,lp)，则 lWl W1 (n,ll), 即 22(n) (其中2ll). 在性质3中只须取Cl,即得此结论.,思考:试问随机阵W的对角元素Wii的分布？,20,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-Wishart分布的性质,性质4 分块Wishart矩阵的分布:设X() Np(0,) (1,n)相互独立，其中,又已知随机矩阵,则,(习题3-4),21,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-Wishart分布的性质,性质5 设随机矩阵WWp(n,)，则 E(

10、W)n.,证明:由定义3.1.4,知,其中ZNp(0,)(=1,n)相互独立.则,22,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布,一元统计中, 若XN(0,1), 2(n) ,X与 相互独立,则随机变量 ,下面把 的分布推广到p元总体.,设总体XNp(0,)，随机阵W Wp(n,),我们来讨论T2nXW -1 X的分布.,23,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布,定义3.1.5 设XNp(0,),随机阵WWp(n,) (0, np),且X与W相互独立, 则称统计量T2nXW

11、-1 X 为Hotelling T2 统计量,其分布称为服从n个自由度的T2 分布,记为T2 T2 (p,n).,更一般地,若XNp(,) (0),则称T2 的分布为非中心Hotelling T2 分布，记为 T2 T2 (p,n,).,24,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,性质1 设X() Np(,) (1,n) 是来自p元总体Np(,)的随机样本, X和A分别为总体Np(,)的样本均值向量和离差阵,则统计量,事实上,因,25,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T

12、2分布的性质,而AWp(n-1,),且A与X相互独立.由定义 3.1.5知,26,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,性质2 T2与F分布的关系:设T2T2 (p,n)， 则,在一元统计中,27,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,当p=1时,一维总体XN(0,2)，,所以 注意:因,这是性质2的特例:即p=1时,T2F(1,n).,28,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,一般地：(性

13、质2的严格证明见参考文献2),其中X-1 X2(p,) (0)，还可以证明,2(n-p+1),且与独立.,29,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,性质3 设XNp(,), 随机阵WWp(n,) (0, np),且X与W相互独立, T2nXW -1 X 为非中心Hotelling T2 统计量(T2 T2 (p,n,). ,则,其中非中心参数 .,30,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,或 性质3 设X() Np(,) (1,n) 是来自p元总体Np(,

14、)的随机样本, X 和A分别为样本均值向量和离差阵.记,31,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,一元统计中(p=1时),t 统计量与参数2无关.类似地有以下性质. 性质4 T2统计量的分布只与p,n有关,而与无关. 即,32,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,事实上,因XNp(0,) (0),WWp(n,),则-1/2XNp(0,Ip)，,因此,33,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Wilks 分布的定义,一元统计中

15、,设2(m),2(n), 且相互独立,则,在总体N(1,2(x)和N(2,2(y)方差齐性检验中,设X(i)(i=1,m)为来自总体N(1,2(x)的样本, Y (j) (j=1 ,n)为来自总体N(2,2(y)的样本.取2(x)和2(y)的估计量(样本方差)分别为,34,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Wilks 分布的定义,检验统计量,p元总体Np(,)中,协差阵的估计量为A/(n-1)或A/n.在检验H0:12时,如何用一个数值来描述估计矩阵的离散程度呢.一般可用矩阵的行列式、迹或特征值等数量指标来描述总体的分散程度.,35,第三章 多元正态总体参数的

16、假设检验 3.1 几个重要统计量的分布- Wilks 分布的定义,定义3.1.6 设XNp(,),则称协差阵的行列式|为X的广义方差.若X() (1, n ) 为p元总体X的随机样本，A为样本离差阵,有了广义方差的概念后,在多元统计的协差阵齐次检验中,类似一元统计,可考虑两个广义方差之比构成的统计量Wilks统计量的分布.,36,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Wilks 分布的定义,定义3.1.7 设A1Wp(n1,) , A2Wp(n2,) (0,n1p), 且A1与A2独立, 则称广义方差之比,为Wilks(或)统计量,其分布称为Wilks(威尔克斯)

17、分布,记为 (p,n1,n2) (或p,n1,n2),37,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Wilks 统计量的性质,在实际应用中,常把统计量化为T2统计量,进而化为F统计量,利用我们熟悉的F统计量来解决多元统计分析中有关检验的问题.,结论1 当n21时,设n1=np,则,注意:在这里记号(p,n,1)有两重含义:统计量(也是随机变量); 其分布是参数为p,n,1的威尔克斯分布.,38,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Wilks 统计量的性质,或,证明 设X() (1,n,n+1)相互独立同Np(0,)分布,显然有,39,

18、第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Wilks 统计量的性质,由定义3.1.7，知,40,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Wilks 统计量的性质,利用分块矩阵求行列式的公式(见附录的推论4.1):,41,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Wilks 统计量的性质,所以,结论2 当n22时,设n1np,则,42,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Wilks 统计量的性质,结论3 当p=1时，则,因p=1时,(1,n1,n2)就是 (n1 /2,n2 /2) 利

19、用贝塔分布与F分布的关系,即有以上结论.,43,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Wilks 统计量的性质,结论4 当p=2时，则,结论5 当n22,p2时,可用2统计量或F统计量近似. Box(1949)给出以下结论：,设(p, n, n2),则当n时， -rln2(p n2 ), 其中r = n-(p- n2+1)/2.,(二个重要结论不要求),44,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,在多元统计分析中,考虑的总体是p维正态总体Np(,),关于均值向量的检验问题经常是需要的. p元正态随机向量的每一个分量都是一元正态变量,关于

20、均值向量的检验问题能否化为 p个一元正态的均值检验问题呢?显然这是不完全的.因为p个分量之间往往有互相依赖的关系,分开作检验,往往得不出正确的结论.但我们可以构造出类似于一元统计中的统计量,用来对均值向量进行检验.,45,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,关于均值向量的检验包括: 一个p元正态总体Np (,),检验 H0: 0; 二个p元正态总体Np(1,1)和Np (2,2)，检验H0: 12 k个p元正态总体Np(i,)(i1,k),当协差阵相等时检验k个均值向量是否全相等(即多元方差分析).,46,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量

21、的检验,设总体XNp(,),随机样本X() (1,n).检验 H0: 0 (0为已知向量),H1: 0,1. 当0已知时均值向量的检验,利用二次型分布的结论(“2.结论1”)知,47,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,取检验统计量为,按传统的检验方法,对给定的显著水平,查2分布临界值表得 :,48,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,由样本值x() (1,n),计算X及T20值,若T20 ,则否定H0,否则H0相容.,利用统计软件(如SAS系统),还可以通过计算显著性概率值(p值)给出检验结果,且由此得出的结论更丰富. 假设在H0成

22、立情况下,随机变量T20 2(p),由样本值计算得到T20的值为d,可以计算以下概率值： p=P T20 d , 常称此概率值为显著性概率值，或简称为p值.,49,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,对给定的显著性水平,当p值时(即d值大,X与偏差大),则在显著性水平下否定假设H0 ；在这种情况下,可能犯“以真当假”的第一类错误,且就是犯第一类错误的概率. 当p值时(即d值小, X与偏差小),则在显著性水平下H0相容；在这种情况下，可能犯“以假当真”的第二类错误,且犯第二类错误的概率为 =P T20 |当=10 , 其中检验统计量T20 2(p,),非中心参数 =

23、n(1 - 0)(0 )-1(1 - 0 ).,50,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,p值的直观含义可以这样看,检验统计量T20的大小反映X与0的偏差大小,当H0成立时T20 值应较小.现在由观测数据计算T20值为d；当H0 成立时统计量T20 2(p),由2分布可以计算该统计量d的概率值(即p值).,比如p值=0.02=0.05,表示在 0的假设下，观测数据中极少会出现T20的值大于等于d值的情况，故在0.05的水平下有足够的证据否定原假设，即认为与0 有显著地差异.,51,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,又比如当p值=0.

24、22=0.05时,表示在0的假设下，观测数据中经常会出现T20的值大于等于d值的情况，故在0.05的水平下没有足够的证据否定原假设， 即认为与0 没有显著地差异.,52,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,2. 当未知时均值向量的检验 当p=1时(一元统计)，取检验统计量为,或等价地取检验统计量,53,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,推广到多元,考虑统计量,因,离差阵,54,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,由定义3.1.5可知,利用T 2与F分布的关系，检验统计量取为,55,第三章 多元正态总体参

25、数的假设检验 3.2 单总体均值向量的检验例3.2.1,例3.2.1 人的出汗多少与人体内钠和钾的含量有一定的关系.今测量了20名健康成年女性的出汗量(X1)、钠的含量(X2)和钾的含量(X3)(数据见表3.1).试检验 H0:=0=(4,50,10)， H1: 0 .,56,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验例3.2.1,解 记随机向量X= (X1,X2,X3),假定XN3(,) . 检验 H0: 0， H1：0 .取检验统计量为,由样本值计算得:,57,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验例3.2.1,58,第三章 多元正态总体参数

26、的假设检验 3.2 单总体均值向量的检验例3.2.1,对给定=0.05,按传统的检验方法,可查F分布临界值表得=F3,17(0.05)=3.2,比较由样本值计算得到的F值及临界值,因F值=2.90453.2,故H0相容. 利用统计软件进行检验时,首先计算p值(此时检验统计量FF(3,17)： p=PF2.9045=0.06493 . 因p值=0.064930.05=,故H0相容.在这种情况下，可能犯第二类错误,且第二类错误的概率为 =P F3.2|=X =0.3616 (假定总体均值=10,取1=X).,59,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验例3.2.1,pro

27、c iml; n=20; p=3; m0=4 50 10; use d321; /* 使用SAS数据集d321中的3个变量 */ xa=x1 x2 x3; read all var xa into x; /* 把 d321中三个变量的所有观测数据读入矩阵X */ ln=20 1 ; /* 行向量ln由20个均为1的元素组成*/ x0=(ln*x)/n ; /* 计算样本均值行向量X */ xm=x0-m0; ,以上计算结果可以用SAS/IML计算,SAS程序如下 (假设表3.1的数据已生成名为d321的SAS数据集)：,(yydy321a.sas),60,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验例3.2.1,mm=i(20)-j(20,20,1)/n; /*计算矩阵(In-J/n) */ a=x*mm*x; /* x表示计算矩阵X的转置 */ ai=inv(a); /* 计算样本离差阵A和A的逆 */ dd=xm*ai*xm; d2=dd*(n-1); t2=n*d2; /*计算D2和T2 */ f=(n-p)*t2/(n-1)*p); /*计