多元正态分布第二讲

1第二章多元正态分布及参数的估计§2.1随机向量§2.2多元正态分布的定义与基本性质§2.3条件分布和独立性§2.4随机矩阵的正态分布§2.5多元正态分布的参数估计

本课程所讨论的是多变量总体.把p个随机变量放在一起得

X=(X1,X2,…,Xp)′为一个p维随机向量,如果同时对p维总体进行一次观测,得一个样品为p

维数据.常把n个样品排成一个n×p矩阵,称为样本资料阵.

§2.1随机向量3其中X(i)(i=1,…,n)是来自p维总体的一个样品.

=(X1,X2,…,Xp)def4在多元统计分析中涉及到的都是随机向量,或是多个随机向量放在一起组成的随机矩阵.

本节有关随机向量的一些概念(联合分布,边缘分布,条件分布,独立性;X的均值向量,X的协差阵和相关阵,X与Y的协差阵)要求大家自已复习.

三﹑均值向量和协方差阵的性质(1)设X,Y为随机向量,A,B为常数阵,则

E(AX)=A·E(X)E(AXB)=A·E(X)·B5D(AX)=A·D(X)·A'

COV(AX,BY)=A·COV(X,Y)·B'

(2)

若X,Y相互独立,则COV(X,Y)=O;反之不成立.若COV(X,Y)=O,我们称X与Y不相关.故有:两随机向量若相互独立,则必不相关;两随机向量若不相关,则未必相互独立.

(3)随机向量X=(X1,X2,…,Xp)′的协差阵D(X)=是对称非负定阵.

即=´,´

≥0(为任给的p维常量).

6(4)Σ=L2,其中L为非负定阵.由于Σ≥0(非负定),利用线性代数中实对称阵的对角化定理，存在正交阵Γ,使7当矩阵Σ>0(正定)时，矩阵L也称为Σ的平方根矩阵，记为Σ1/2.

当矩阵Σ>0(正定)时,必有p×p非退化矩阵A使得Σ=AA′

8若Σ≥0(非负定),必有p×q矩阵A1使得

Σ=A1A1′

这里记Γ=(Γ1|

Γ2)

,Γ1为p×q列正交阵(p≥q).并设：9在一元统计中，若U～N(0,1),则U的任意线性变换X=σU+μ～N(μ,σ2)。利用这一性质，可以从标准正态分布来定义一般正态分布：

若U～N(0,1),则称X

=σU+μ的分布为一般正态分布,记为X

～N(μ,σ2

)。

此定义中，不必要求σ＞0,当σ退化为0时仍有意义。把这种新的定义方式推广到多元情况，可得出多元正态分布的第一种定义。10

定义2.2.1

设U=(U1,…,Uq)′为随机向量,U1,…,Uq相互独立且同N(0，1)分布；设μ为p维常数向量，A为p×q常数矩阵，则称X=AU+μ的分布为p维正态分布，或称X为p

维正态随机向量,记为X

～Np(μ,AA′)。

简单地说，称q个相互独立的标准正态随机变量的一些线性组合构成的随机向量的分布为多元正态分布。§2.2多元正态分布的第一种定义11

在一元统计中,若X～N(μ,σ2),则X的特征函数为

φ(t)=E(eitX)=exp［itμ-t

2σ2/2］1213

性质1

设U=(U1,…,Uq)′为随机向量,U1,

…,Uq

相互独立且同N(0,1)分布；令X=μ+AU,则X的特征函数为这里t=(t1,…,tp),故ΦX(t)为p元函数.当X～N(0,1)时,φ(t)=exp［-t

2/2］.14性质1的证明：

根据随机向量特征函数的定义和性质，经计算即可得出X的特征函数为ΦX(t)=E(eitX)=E(eit(AU+μ)

)令t′A=s′=(s1,…sq)15(因U1,…,Uq相互独立,乘积的期望等于期望的乘积)16

定义2.2.2

若p维随机向量X的特征函数为:

一元正态:(p=1)则称X服从p

维正态分布,记为

X

～Np(μ,Σ).记Σ=AA′，则有以下定义。17

性质2

设X～Np(μ,Σ),

B为s×p常数阵，d为s×1常向量，令Z=BX+d,则

Z～Ns(Bμ+d,BΣB

).

该性质指出正态随机向量的任意线性组合仍为正态分布.18

证明因Σ

≥0,Σ可分解为Σ=AA

,其中A为p×q矩阵.已知X～Np(μ,Σ),由定义2.2.1可知

X=AU+μ

(d表示两边的随机向量服从相同的分布.)其中U=(U1,…,Uq),且U1,…,Uq相互独立同N(0，1)分布。19

Z=BX+d=B(AU+μ)+dd=(BA)U+(Bμ+d)由定义2.2.1可知

Z

～Ns(Bμ+d,

(BA)(BA))，即

Z

～Ns(Bμ+d,

BΣB).(这里Σ=AA).

20

推论

设X=

～Np(μ,Σ),将μ,Σ剖分为则X(1)～Nr(μ(1),Σ11),

X(2)～Np-r(μ(2),Σ22).X(1)

rX(2)

p-r21证明：由性质2可得：类似地22

此推论指出，多元正态分布的边缘分布仍为正态分布。但反之，若随机向量的任何边缘分布均为正态分布，也不一定能导出该随机向量服从多元正态分布.

如例2.1.1,证明了X1,X2均为一元正态分布,但由(X1,X2)联合密度函数的形式易见它不是二元正态.23例2.1.1(X1,X2)的联合密度函数为

我们从后面将给出的正态随机向量的联合密度函数的形式可知,(X1,X2)不是二元正态随机向量.但通过计算边缘分布可得出:X1~N(0,1),X2~N(0,1)这就说明若随机向量的任何边缘分布均为正态分布时，也不一定能导出该随机向量服从多元正态分布.24例如:设三维随机向量X=(X1,X2,X3),且则有(1)X1~N(2,1),25由性质2知,Y为3维正态随机向量,且(2)2627

(3)设Z=2X1-X2+3X3,试求随机变量Z的分布.

Z=2X1-X2+3X3=(2,-1,3)X=CX故有:所以Z~N(4,29).28性质3若X～Np(μ,Σ),E(X)=μ,D(X)=Σ.

证明因Σ≥0,Σ可分解为：Σ=AA′，则由定义2.2.1可知X=AU+μ(A为p×q实矩阵)其中U=(U1,…,Uq)′,且U1,…,Uq相互独立同N(0，1)分布,故有

E(U)=0,D(U)=Iq.d29利用均值向量和协差阵的有关性质可得：此性质给出多元正态分布中参数μ和Σ的明确统计意义.μ是随机向量X的均值向量，Σ是随机向量X的协差阵。如简单例子中,由性质2知Z服从正态分布,利用性质3,30性质4

设X=(X1,…,Xp)′为p维随机向量，则X服从p维正态分布对任一p维实向量a,ξ=a′X是一维正态随机变量.

必要性的证明由性质2即得（只须取B=a′,d=0即可）.

充分性的证明：①首先说明随机向量X的均值和协方差阵存在:

因对任给p维实向量t∈Rp,ξ=

t′X～一元正态分布，可知ξ的各阶矩存在，31如取t=ei

=(0,…,1,…,0)′,Xi=ei′X,且

E(Xi)

(i=1,2,…,p)存在.

E(Xi2)

(i=1,2,…,p)也存在.再比如取t=(0,…,1,0,…1,..,0)′,

ξ=

t

′X=Xi

+Xj,且

E(ξ

)=E(Xi

+Xj

)

(i,j=1,2,…,p)存在.

E(ξ

2)=E[(Xi

+Xj

)2]=E(Xi2)+

2E(XiXj

)+

E(Xj2)

也存在,即E(XiXj

)(i,j=1,2,…,p)存在.故E(Xi),Cov(Xi,Xj)=E(XiXj

)-E(Xj)

E(Xi)

(i,j=1,…,p)存在.32记E(X)=μ,D(X)=Σ.②计算ξ的特征函数:对任意给定的t∈Rp,因随机变量ξ=t

X服从N(tμ,tΣt).，故知ξ的特征函数为

ξ(θ)=E(eiθξ)=exp[iθ(tμ)-θ2(tΣt)/2］③计算随机向量X的特征函数:在ξ的特征函数中，取θ=1，即得33

ξ(1)=E(eiξ)=E(eit

X)=ΦX(t)=exp［itμ-tΣt/2］由定义2.2.2可知，X～Np(μ,Σ).定义2.2.3

若p维随机向量X的任意线性组合均服从一元正态分布，则称X为p维正态随机向量.34

在概率论中大家都知道一元正态随机变量的密度函数是这个式子可改写为:35作为一元正态随机变量的推广，以下性质来导出多元正态随机向量的联合密度函数.

性质5

设X～Np(μ,Σ),且Σ＞0(正定),则X的联合密度函数为36

证明

①因Σ＞0,rk(Σ)=p,由线性代数的知识知存在非奇异方阵A,使得Σ=AA′，且X=AU+μ其中U=(U1,…,Up)′,且U1,…,Up相互独立同N(0，1)分布。d②U的联合密度函数(p元函数）为37

③利用U的联合密度函数及随机向量的变换求X=AU+μ的密度函数。对任给Borel可测集B，求p元函数fX(x)使得其中D={u|u=A-1(x-μ),xB}38根据附录§8(P397)公式(8.4),即有以下来求Jacobi行列式J(u→x).39④积分变换的Jacobi行列式J(u→x)可利用线性变换x=Au+μ及J(x→u)来计算：因向量微商的公式见附录§8

(8.1)40

关于积分变换的Jacobi行列式J(u→x)的有关内容请参阅附录部分。故41

⑤写出X=AU+μ的密度函数：(这里Σ=AA′,)42其中μ是p维实向量,Σ是p阶正定阵,则称X=(X1,X2…Xp)′服从(非退化的)p元正态分布.也称X为p维正态随机向量,简记为

X～Np(μ,Σ).定义2.2.4

p维随机向量X=(X1,X2…Xp)′

的联合密度函数为43

以上给出了多元正态分布的4种定义。定义2.2.4用密度函数给出定义，它可看成一元正态密度的直接推广；但在这个定义里要求Σ是正定阵,它给出的是非退化的正态分布的定义。

另三种定义中把Σ阵推广到非负定的情形,这三种定义是等价的。44例2.2.1(二元正态分布)第二章多元正态分布及参数的估计§2.2多元正态分布的定义与基本性质--例2.2.1