多元统计分析2.doc

第二章 多元正态分布 2.1 定义回顾：XN(m, s 2)，线性变换不变性：XN(0, 1) Y = sX + m N(m, s 2)定义2.1 设x = (x1 x2 xn)，x1, x2 ,xnN(0, 1)，ARmn，mRm，则称服从元正态分布，记y Nm(m , AA )，从而x Nn(0 , I )。定理2.1 设y Nm(m , AA )，则其特征函数为证明：记V = AA 0，y Nm(m , V )。定理2.2 设y Nm(m , V )，V 0，则y的密度函数为证明： 由V = AA 0知|A|0（比如取），又由x1, x2, xmN(0,1)知其联合密度函数为令y = Ax + m x = A-1(y-m)，则若|V |=0，rank(V )= r 0，则一般若rank(V )= rm，则存在使A(y-m) Nr(0 , Ir )。定理2.4 y Nm(m , V ) a y N( am, aVa )，aRm。证明：“”是定理2.3的推论。“” 令t=1有 多元正态分布的三个等价定义： 线性函数构造（定义） 特征函数（定理2.1） 线性组合（定理2.4）定理2.5 （边缘分布）设 则。证明：在定理2.3中取即得。即多元正态分布的边缘分布仍为正态分布，但反之不然。例如由二维联合密度函数可求得边缘分布xiN(0,1), i=1,2，但显然 / N 2.2 矩定义2.2 设x = (x1 x2 xn)为n维随机向量，定义其均值（期望）向量为Ex = (Ex1 Ex2 Exn)定义其协方差矩阵为D(x) = E(x-Ex) (x-Ex)= (vij)nn , vij = cov(xi,xj)定义相关矩阵为.定义与的协方差阵为cov(x,y) = E(x-Ex) (y-Ey) 结论 随机向量的期望与协方差阵有下面性质：（1）（2）（3）（4）（5）（6）（7）x与y相互独立x与y不相关证明：（4）（7） x与y独立 xi与yi独立 （特别）定理2.6 设y Nm(m , V )则证明：例2.1 设，分析其密度函数及图形。解：y的特征函数记，故密度函数f(y1,y2)的等高线为作变换 - 4 2.3 条件分布与独立性设定理2.7 设y Nm(m , V ), V 0则y1| y2 Nm(m1.2 , V11.2) 其中 m1.2= m1+ V12 V22-1(y2- m2), V11.2= V11- V12 V22- 1 V21。证明： 由V 0 V11.2 0, V22 0,将z = By 代入并注意到=|B| =1得z1-b = y1- V12V22-1 y2-( m1- V12V22-1m2)= y1- m1+ V12V22-1( y2-m2) = y1- m1.2故条件密度函数例2.2 当m=2, r=1时，m1= m1，m2= m2，V11=s12，V22=s22，V12= V21 = s1s2 r ，m1.2= m1+ r (y2- m2)，V11.2= s12 - s1s2 r s2-2 s1s2 r = s12(1- r 2 )即y1| y2 N( m1+ r (y2- m2) , s12(1- r 2 )。注意到 V11- V11.2 = V12V22-1V21 0 V11 V11.2，说明条件协差阵“变小”，V11 = V11.2 V12= V21 = O y1与y2独立。定义2.3 y1对y2的回归系数：V12V22-1 = (bij.r+1,m)r(m-r)；y2给定时y1条件协方差阵：V11.2 = (uij.r+1,m)rr；y2给定时yi与yj的偏相关系数：rij.r+1,m = 。例2.3 人体测量：y1身高，y2胸围，y3腰围，y4上体长，y5臀围*条件分布的逆推公式设 则 (y1| y2, y3) Nr(m1.3+ V12.3 V22.3-1(y2- m2.3) , V11.3- V12.3 V22.3- 1 V21.3) 其中 m i.3 = m i+ Vi3 V33-1(y3- m3), i = 1,2,Vij.k = Vij - VikVkk-1Vkj , i, j,k = 1,2,3因为定理2.8 y1与y2独立 V12= V21 = O。证明： y1与y2独立j y(t1, t2) = j y1(t1)j y2(t2) V12= V21 = O。一般，设，则y1,yk相互独立y1,yk互不相关推论1 设x Nn(0 , In )，y = Ax + m，z = Bx + g，则y与z独立 AB = O。证明： 故y与z独立 AB = (BA) = O。一般，若x Nn(m , V )，则y与z独立 AVB = O。推论2 y2与y1- V12V22-1y2独立；y1与y2- V21V11-1 y1独立。- 5 2.4 多元正态分布的参数估计2.4.1 样本资料矩阵矩阵正态分布y(1), y(2), , y(n) Nm(m , V )= ( y1, y2, ym) Nnm(M , IV )其中 。定义2.4 设X = (xij) kl，xij N(0,1)，(i=1,.,k，j=1,.,l) 则称Y = BXA+M服从矩阵正态分布，记。记 W=， V=，则Y Nnm(M , WV )。1 Y的特征函数 =2 Y的密度函数 W 0, V 03 Y的线性性质 ，Z=CBXA+MD+U，CB(CB) = CWC，DA(DA) = DVD4 Y的拉直表示性质(8)注意到 ，5 Y的数字特征（1）（2）（3）（4）证：（1） （2） 特别样本资料阵2.4.2 m 和V的极大似然估计Y的似然函数： 求和使记 这是因为，且等号成立引理2.1 对任何，引理2.2 设矩阵函数，则证明：由B 0，知其特征值，则易知，故B=nI时，f (B)=max。引理2.3 设，则（1）与S独立，其中 ；（2）。证明：记正交阵，令即且独立， (注意到 ) （） 记，则，rank(S)=rank(B)，于是，即。如果n m，不妨设n = m+1（增加列不会减少rank(B)）P（线性相关）是其他向量的线性组合）即rank(B) = m。定理2.9 设，V 0，n m，则m 和V的极大似然估计是证明：由引理2.3及V 0，n m，知S 0，则，于是 (引理2.2)由引理2.2结论B=nI得。引理2.4 设是的极大似然估计，且变换u=u(q )是一一对应的，则是u(q )的极大似然估计。从而有相关系数的极大似然估计 回归系数的极大似然估计 =S12 S22-1条件协方差阵的极大似然估计 = (S11-S12 S22-1 S21)/n其中- 6 2.5 m,V极大似然估计的性质2.5.1 无偏性由引理2.3， Nm(m, V)知为m 的无偏估计，且即是V的无偏估计。2.5.2 充分性t(y(1),y(n)包含了(y(1),y(n)中关于q 的全部信息。Neyman-Fisher因子判别法：则t(y(1),y(n)是q 的充分统计量。定理2.10 设y(1), y(n)Nm(m, V)则（1）和S是m 和V的充分统计量；（2）若m 已知，则是V的充分统计量；（3）若V已知，则是m 的充分统计量。证明： 2.5.3 相容性（相合性、一致性）和渐近正态性Tn(y(1),y(n)是q 的估计量弱相合： 即 强相合： 即 由Kolmogorov强大数定律：是强相合的：，定理2.11 设 独立同分布，存在，则定理2.12 设，则其中 2.6 基于风险函数的估计方法1损失函数L(q, d) 用估计量d估计未知参数q 的损失.如二次损失