概率论与数理统计3至4.ppt

1、1,应用多元统计分析,第三章 多元正态总体参数的假设检验,2,3.1 几个重要统计量的分布 一、正态变量二次型的分布 二、威沙特分布 三、霍特林T2分布 3.2 单总体均值向量的检验 3.3 协差阵的检验,第三章 多元正态总体参数的假设检验,3,一元统计中,参数,2的检验涉及到一个总体、二个总体,乃至多个总体的检验问题; 推广到p元统计分析中，类似地对参数向量和参数矩阵涉及到的检验也有一个总体、二个总体,乃至多个总体的检验问题。,第三章 多元正态总体参数的假设检验,4,在一元统计中，用于检验, 2的抽样分布有2分布,t 分布,F分布等,它们都是由来自总体N(, 2)的样本导出的检验统计量. 推

2、广到多元统计分析后，也有相应于以上三个常用分布的统计量: Wishart,Hotelling T 2,Wilks 统计量, 讨论这些统计量的分布是多元统计分析所涉及的假设检验问题的基础.,第三章 多元正态总体参数的假设检验,5,设Xi N1(i ,2)(i =1,.,n),且相互独立，记 ,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-分量独立的正态变量二次型,一般情况(i 0，2 1时),结论1,6,结论2 当i0(i=1,n),2 =1时,XX的分布常称为非中心2分布.,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-分量独立的正态变量二次型,定义3.

3、1.1 设n维随机向量XNn(,In) (0),则称随机变量XX为服从 n个自由度,非中心参数,的2分布，记为,7,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-分量独立的正态变量二次型,则,结论3 设XNn(0 ,2In), A为n阶对称方阵, rk(A)= r,则 二次型 XAX/22(r) A2A(A为对称幂等阵).,特例:当A=In时,8,证明 (充分性)因A为对称幂等阵，而对称幂等阵的特征值非0即1,且只有r个非0特征值，即存在正交阵(其列向量ri为相应特征向量)，使,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-分量独立的正态变量二次型,9,

4、第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-分量独立的正态变量二次型,必要性证明不要求(利用特征函数).,10,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-分量独立的正态变量的二次型,则,(必要性) 因A为对称阵，所以存在正交阵使: Adiag(1,r，00).令 Y= X N（0,2 In ）,X=Y,且Y1，Yr相互独立同N(0,2)分布. 故而,11,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-分量独立的正态变量的二次型,(i1,r),且相互独立.,又已知XAX/22(r)，故的特征函数为 (1-2it)- r /2,Zi

5、=,i Zi的特征函数为(1-2iit)- 1 /2,又 Z1 Z2 . Zr且相互独立.故有,12,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-分量独立的正态变量的二次型,diag(1,1,0,0)=A =AA =A2 故 AA2，即A为对称幂等阵. ,利用同分布的特征函数相同可得出 1r=1 .,13,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-分量独立的正态变量的二次型,结论4 设XNn(,2In), A为对称阵,且rk(A)=r, 则二次型, A2A(A为对称幂等阵).,(充分性的证明类似于结论3中充分性的证明方法,必要性证明不要求),14,

6、证明 (充分性)因A为对称幂等阵，而对称幂等阵的特征值非0即1,且只有r个非0特征值，即存在正交阵(其列向量ri为相应特征向量)，使,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-分量独立的正态变量二次型,15,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-分量独立的正态变量二次型,16,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-分量独立的正态变量二次型,其中非中心参数为,17,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-非中心 t 分布和F分布,定义3.1.2,定义3.1.3,18,第三章 多元正态总体参数

7、的假设检验 3.1 几个重要统计量的分布-非中心t分布的应用,一元统计中，关于一个正态总体N(,2)的均值检验中，检验H0：0时，检验统计量,否定域为|T|，其中满足： P|T|=(显著性水平).,19,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-非中心t分布的应用,当否定H0时，可能犯第一类错误，且 第一类错误的概率P“以真当假” P|T|0 显著性水平.,当H0相容时，可能犯第二类错误，且 第二类错误的概率P“以假当真” P|T|=1 0 =.,此时检验统计量Tt(n-1,),利用非中心 t分布可以计算第二类错误的值.,20,第三章 多元正态总体参数的假设检验 3.1

8、 几个重要统计量的分布-Wishart分布(威沙特分布), Wishart分布是一元统计中2分布的推广.多元正态总体Np(,)中,常用样本均值向量X作为的估计，样本协差阵SA/(n-1)作为的估计.由第二章的定理2.5.2已给出了XNp(,/n).S?.,一元统计中，用样本方差 作为2的估计，而且知道,21,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-Wishart分布(威沙特分布),推广到p元正态总体,样本协差阵SA/(n-1) 及随机矩阵A(离差阵)的分布是什么?,设X() (1,n)为来自Np(0,)的随机样本,考虑随机矩阵,的分布.当p=1时，,22,第三章 多元

9、正态总体参数的假设检验 3.1 几个重要统计量的分布-Wishart分布(威沙特分布),推广到p维正态总体时，随机矩阵W的分布是什么?,定义3.1.4 设X() Np(0,) (1,n)相 互独立，则称随机矩阵 的分布为Wishart分布(威沙特分布)，记 为WWp(n,).,显然p=1时 , 即,23,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-Wishart分布(威沙特分布),一般地,设X()Np(,) (1,n) 相互独立,记,则称WXX服从非中心参数为的非中心Wishart分布,记为WWp(n,). 其中,24,第三章 多元正态总体参数的假设检验 3.1 几个重要

10、统计量的分布-Wishart分布(威沙特分布),当X()Np( ,) (1,n) 相互独立时，非中心参数,这里,其中p为随机矩阵W的阶数,n为自由度,一元统计中的2对应p元统计中的协差阵.,25,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-Wishart分布的性质,性质1 设X()Np(,) (1,n)相互独立，则样本离差阵A服从Wishart分布，即,证明 根据第二章2.5的定理2.5.2知,而ZNp(0,)(=1,n-1)相互独立,由定义 3.1.4可知AWp(n-1,).,26,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-Wishart分布的性

11、质,由于Wishart分布是2分布的推广,它具有2分布的一些性质.,性质2 关于自由度n具有可加性： 设Wi Wp(ni,) (i1,k)相互独立，则,性质3 设p阶随机阵WWp(n,), C是mp常数阵,则m阶随机阵CWC也服从Wishart分布,即 CWCWm(n,CC).,27,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-Wishart分布的性质,证明,其中 ZNp(0,)(=1,n)相互独立. 令Y=CZ,则YNm(0,CC). 故,由定义3.1.4有:,28,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-Wishart分布的性质, aWWp(

12、n,a) (a0，为常数). 在性质3 中只须取Ca1/2 Ip，即得此结论.,特例：, 设l(l1,lp)，则 lWl W1 (n,ll), 即 22(n) (其中2ll). 在性质3中只须取Cl,即得此结论.,29,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-Wishart分布的性质,性质4 分块Wishart矩阵的分布:设X() Np(0,) (1,n)相互独立，其中,又已知随机矩阵,则,30,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-Wishart分布的性质,性质5 设随机矩阵WWp(n,)，记,则,相互独立。其中,(性质5,性质7和性质8

13、不要求),31,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布-Wishart分布的性质,性质6 设随机矩阵WWp(n,)，则 E(W)n.,证明:由定义3.1.4,知,其中ZNp(0,)(=1,n)相互独立.则,32,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布,一元统计中, 若XN(0,1), 2(n) ,X与 相互独立,则随机变量 ,下面把 的分布推广到p元总体.,设总体XNp(0,)，随机阵W Wp(n,),我们来讨论T2nXW -1 X的分布.,33,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分

14、布- Hotelling T 2分布,定义3.1.5 设XNp(0,),随机阵WWp(n,) (0, np),且X与W相互独立, 则称统计量T2nXW-1 X 为Hotelling T2 统计量,其分布称为服从n个自由度的T2 分布,记为T2 T2 (p,n).,更一般地,若XNp(,) (0),则称T2 的分布为非中心Hotelling T2 分布，记为 T2 T2 (p,n,).,34,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,性质1 设X() Np(,) (1,n) 是来自p元总体Np(,)的随机样本, X和A分别为总体Np

15、(,)的样本均值向量和离差阵,则统计量,事实上,因,35,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,而AWp(n-1,),且A与X相互独立.由定义 3.1.5知,36,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,性质2 T2与F分布的关系:设T2T2 (p,n)， 则,在一元统计中,37,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,当p=1时,一维总体XN(0,2)，,所以 注意:因,这是性质2的特例:即p=

16、1时,T2F(1,n).,38,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,一般地：(性质2的严格证明见参考文献2),其中X-1 X2(p,) (0)，还可以证明,2(n-p+1),且与独立.,39,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,性质3 设XNp(,), 随机阵WWp(n,) (0, np),且X与W相互独立, T2nXW -1 X 为非中心Hotelling T2 统计量(T2 T2 (p,n,). ,则,其中非中心参数 .,40,第三章 多元正态总体参数

17、的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,或 性质3 设X() Np(,) (1,n) 是来自p元总体Np(,)的随机样本, X 和A分别为样本均值向量和离差阵.记,41,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,一元统计中(p=1时),t 统计量与参数2无关.类似地有以下性质. 性质4 T2统计量的分布只与p,n有关,而与无关. 即,42,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,事实上,因XNp(0,) (0),WWp(n,

18、),则-1/2XNp(0,Ip)，,因此,43,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,性质5 在非退化的线性变换下,T2统计量保持不变 设X() (1,n) 是来自p元总体Np(,)的随机样本, Xx和Ax分别表示正态总体X的样本均值向量和离差阵,则由性质1有,44,第三章 多元正态总体参数的假设检验 3.1 几个重要统计量的分布- Hotelling T 2分布的性质,令,其中C是pp非退化常数矩阵，d是p1常向量。则可证明：,45,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,在多元统计分析中,考虑的总

19、体是p维正态总体Np(,),关于均值向量的检验问题经常是需要的. p元正态随机向量的每一个分量都是一元正态变量,关于均值向量的检验问题能否化为 p个一元正态的均值检验问题呢?显然这是不完全的.因为p个分量之间往往有互相依赖的关系,分开作检验,往往得不出正确的结论.但我们可以构造出类似于一元统计中的统计量,用来对均值向量进行检验.,46,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,关于均值向量的检验包括: 一个p元正态总体Np (,),检验 H0: 0; 二个p元正态总体Np(1,1)和Np (2,2)，检验H0: 12 k个p元正态总体Np(i,)(i1,k),当协差阵相

20、等时检验k个均值向量是否全相等(即多元方差分析).,47,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,设总体XNp(,),随机样本X() (1,n).检验 H0: 0 (0为已知向量),H1: 0,1. 当0已知时均值向量的检验,利用二次型分布的结论(“2.结论1”)知,48,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,取检验统计量为,按传统的检验方法,对给定的显著水平,查2分布临界值表得 :,49,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,由样本值x() (1,n),计算X及T20值,若T20 ,则否定H0,否则H0相容.,

21、利用统计软件(如SAS系统),还可以通过计算显著性概率值(p值)给出检验结果,且由此得出的结论更丰富. 假设在H0成立情况下,随机变量T20 2(p),由样本值计算得到T20的值为d,可以计算以下概率值： p=P T20 d , 常称此概率值为显著性概率值，或简称为p值.,50,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,对给定的显著性水平,当p值时(即d值大,X与偏差大),则在显著性水平下否定假设H0 ；在这种情况下,可能犯“以真当假”的第一类错误,且就是犯第一类错误的概率. 当p值时(即d值小, X与偏差小),则在显著性水平下H0相容；在这种情况下，可能犯“以假当真”

22、的第二类错误,且犯第二类错误的概率为 =P T20 |当=10 , 其中检验统计量T20 2(p,),非中心参数 =n(1 - 0)(0 )-1(1 - 0 ).,51,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,p值的直观含义可以这样看,检验统计量T20的大小反映X与0的偏差大小,当H0成立时T20 值应较小.现在由观测数据计算T20值为d；当H0 成立时统计量T20 2(p),由2分布可以计算该统计量d的概率值(即p值).,比如p值=0.02=0.05,表示在 0的假设下，观测数据中极少会出现T20的值大于等于d值的情况，故在0.05的水平下有足够的证据否定原假设，即

23、认为与0 有显著地差异.,52,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,又比如当p值=0.22=0.05时,表示在0的假设下，观测数据中经常会出现T20的值大于等于d值的情况，故在0.05的水平下没有足够的证据否定原假设， 即认为与0 没有显著地差异.,53,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,2. 当未知时均值向量的检验 当p=1时(一元统计)，取检验统计量为,或等价地取检验统计量,54,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验,推广到多元,考虑统计量,因,离差阵,55,第三章 多元正态总体参数的假设检验 3.2

24、 单总体均值向量的检验,由定义3.1.5可知,利用T 2与F分布的关系，检验统计量取为,56,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验例3.2.1,例3.2.1 人的出汗多少与人体内钠和钾的含量有一定的关系.今测量了20名健康成年女性的出汗量(X1)、钠的含量(X2)和钾的含量(X3)(数据见表3.1).试检验 H0:=0=(4,50,10)， H1: 0 .,57,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验例3.2.1,解 记随机向量X= (X1,X2,X3),假定XN3(,) . 检验 H0: 0， H1：0 .取检验统计量为,由样本值计算得:

25、,58,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验例3.2.1,59,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验例3.2.1,对给定=0.05,按传统的检验方法,可查F分布临界值表得=F3,17(0.05)=3.2,比较由样本值计算得到的F值及临界值,因F值=2.90453.2,故H0相容. 利用统计软件进行检验时,首先计算p值(此时检验统计量FF(3,17)： p=PF2.9045=0.06493 . 因p值=0.064930.05=,故H0相容.在这种情况下，可能犯第二类错误,且第二类错误的概率为 =P F3.2|=X =0.3616 (假定总体

26、均值=10,取1=X).,60,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验例3.2.1,proc iml; n=20; p=3; m0=4 50 10; use d321; /* 使用SAS数据集d321中的3个变量 */ xa=x1 x2 x3; read all var xa into x; /* 把 d321中三个变量的所有观测数据读入矩阵X */ ln=20 1 ; /* 行向量ln由20个均为1的元素组成*/ x0=(ln*x)/n ; /* 计算样本均值行向量X */ xm=x0-m0; ,以上计算结果可以用SAS/IML计算,SAS程序如下 (假设表3.1的

27、数据已生成名为d321的SAS数据集)：,(yydy321a.sas),61,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验例3.2.1,mm=i(20)-j(20,20,1)/n; /*计算矩阵(In-J/n) */ a=x*mm*x; /* x表示计算矩阵X的转置 */ ai=inv(a); /* 计算样本离差阵A和A的逆 */ dd=xm*ai*xm; d2=dd*(n-1); t2=n*d2; /*计算D2和T2 */ f=(n-p)*t2/(n-1)*p); /*计算检验统计量F值 */ print x0 a ai d2 t2 f; /*输出有关计算结果 */ p0

28、=1-probf(f,p,n-p); /* 计算显著性概率值(p值) */ fa=finv(0.95,3,17); /* 计算=0.05的临界值 */ beta=probf(fa,p,n-p,t2); /* 计算第二类错误值 */ print p0 beta; run;,62,第三章 多元正态总体参数的假设检验 3.2 单总体均值向量的检验例3.2.1,proc iml; n=20; p=3; x=3.7 48.5 9.3 , 5.7 65.1 8.0 , 3.8 47.2 10.9 , 3.2 53.2 12.0 , 3.1 55.5 9.7 , 4.6 36.1 7.9 , 2.4 24.

29、8 14.0 , 7.2 33.1 7.6 , 6.7 47.4 8.5 , 5.4 54.1 11.3 , 3.9 36.9 12.7 , 4.5 58.8 12.3 , 3.5 27.8 9.8 , 4.5 40.2 8.4 , 1.5 13.5 10.1 , 8.5 56.4 7.1 , 4.5 71.6 8.2 , 6.5 52.8 10.9 , 4.1 44.1 11.2 , 5.5 40.9 9.4 ; m0=4 50 10; ln=20 1 ; x0=(ln*x)/n; print x0;,解二: (yydy321b.sas),63,第三章 多元正态总体参数的假设检验 3.2 单

30、总体均值向量的检验例3.2.1,xm=x0-m0; print xm; mm=i(20)-j(20,20,1)/n; a=x*mm*x; print a; ai=inv(a); print ai; dd=xm*ai*xm; d2=(n-1)*dd; t2=n*d2; f=(n-p)*t2/(n-1)*p); print dd d2 t2 f; p0=1-probf(f,p,n-p); print p0; fa=finv(0.95,p,n-p); beta=probf(fa,p,n-p,t2); print fa beta; run;,64,3.3 协差阵的检验-单个p元正态总体,设X()(=1

31、,n)为来自p元正态总体Np(,) (0未知)的随机样本,检验 H0: 0(00为已知阵)，H1:0 1. 当0 Ip时检验H0:Ip，H1:Ip 利用似然比原则来导出检验统计量1,当Ip成立时,似然函数L(,Ip)在X达最大值.,附录,65,第三章 多元正态总体参数的假设检验 3.3 协差阵的检验-单个p元正态总体,所以似然比统计量,其中,66,第三章 多元正态总体参数的假设检验 3.3 协差阵的检验-单个p元正态总体,利用定理3.2.1可知,当n很大且H0成立时, =-2ln1的近似分布为2(p(p+1)/2)， 参数空间的维数为p+p(p+1)/2,而0的维数为p, 故卡方分布的自由度为

32、p(p+1)/2. 取作为检验统计量,按传统检验方法,对给定显著性水平,否定域为 2, 其中2 满足：P 2 =.,67,第三章 多元正态总体参数的假设检验 3.3 协差阵的检验-单个p元正态总体,2. 当0 I p时检验H0 :0 ,H1 :0 因00，存在p阶非退化阵D，使D0DI p， 令 Y()=DX ()(1,n)， 则Y()N p(D，DD)=N p(*，*) 检验H 0 :0 H0 :* I p 从新样本Y()(=1,n)出发，检验 H0：*Ip的检验统计量取为,记为,68,第三章 多元正态总体参数的假设检验 3.3 协差阵的检验-单个p元正态总体,其中,若注意到D0DI p ,

33、 即,69,第三章 多元正态总体参数的假设检验 3.3 协差阵的检验-单个p元正态总体,研究似然比统计量2的抽样分布是很困难的.通常根据定理3.2.1由2的近似分布来构造检验法. 当样本容量n很大，在H0成立时， -2ln2 的极限分布为2(p(p+1)/2). 除此外在不同适用范围下还有其它近似分布可用来构造检验法.,则似然比统计量2还可以表示为,70,第三章 多元正态总体参数的假设检验 3.3 协差阵的检验-单个p元正态总体,3. 检验H0：20 (2 未知) 当0 Ip 时此检验常称为球性检验.利用似然比原则来导出检验统计量3：,当2给定时,似然函数L(,20)在=X达最大值,且,71,第三章 多元正态总体