二随机向量课件

随机向量一、多元概率分布一个向量，若它的分量都是随机变量，则称之为随机向量。随机变量x的分布函数：随机向量

的分布函数：三、多元概率密度函数一元的情形：多元的情形：多元密度f(x1,

⋯,xp)的性质：四、边缘分布设x是p维随机向量，由它的q(<p)个分量组成的向量x(1)的分布称为x的关于x(1)的边缘分布。不妨设，则对连续型的分布，有五、条件分布设是p维连续型的随机向量，在给

定的条件下，

的条件密度定义为

或表达为

六、独立性两个连续型随机向量的独立n个连续型随机向量的独立在实际应用中，若随机向量之间的取值互不影响，则认为它们之间是相互独立的。数字特征一、数学期望（均值）

二、协方差矩阵三、相关矩阵一、数学期望（均值）随机向量的数学期望

记为μ=(μ1,μ2,⋯,μp)′。随机矩阵X=(xij)的数学期望随机矩阵X的数学期望的性质(1)设a为常数，则E(aX)=aE(X)(2)设A,B,C为常数矩阵，则E(AXB+C)=AE(X)B+C特别地，对于随机向量x，有E(Ax)=AE(x)(3)设X1,X2,⋯,Xn为n个同阶的随机矩阵，则E(X1+X2+⋯+Xn)=E(X1)+E(X2)+⋯+E(Xn)二、协方差矩阵协方差定义为若Cov(x,y)=0，则称x和y不相关。两个独立的随机变量必然不相关，但两个不相关的随机变量未必独立。当x=y时，协方差即为方差，也就是

的协方差矩阵（简称协差阵）定义为 x和y的协方差矩阵与y和x的协差阵互为转置关系，即有若Cov(x,y)=0，则称x和y不相关。两个独立的随机向量必然不相关，但两个不相关的随机向量未必独立。x=y时的协差阵Cov(x,x)称为x的协差阵，记作V(x)，即V(x)亦记作Σ=(σij)，其中σij=Cov(xi,xj)。 协差阵Σ既包含了x各分量的方差，也包含了每两个分量之间的协方差。显然，Σ是一个对称矩阵。例2.3.1

随机向量一分为二后，其协差阵分为四块：

其中，对角线块为子向量的协差阵，非对角线块为两个子向量之间的协差阵。熟悉这四块子矩阵的含义很有益处。协差阵的性质（1）协差阵是非负定阵，即Σ≥0。推论若|Σ|≠0，则Σ>0。（2）设A为常数矩阵，b为常数向量，则当p=1时，上述等式就是我们熟知的如下等式：例2.3.2

设随机向量x=(x1,x2,x3)′的数学期望和协方差矩阵分别为令y1=2x1−x2+4x3,

y2=x2−x3,

y3=x1+3x2−2x3,试求y=(y1,y2,y3)′的数学期望和协方差矩阵。例2.3.3

的分量之间存在线性关系（以概率1）。在实际问题中，有时|Σ|=0，其原因是指标之间存在着线性关系，如某一指标是其他一些指标的汇总值，这在一般数据报表中是常出现的。我们通常可以通过删去“多余”指标的办法来确保|Σ|≠0。因此，我们总假定Σ>0并不失一般性，这样可保证Σ−1存在，从而可使数学问题得以简化。

（3）设A和B为常数矩阵，则（4）设

为常数矩阵，则推论

证明（先证推论，再证性质（4））（5）设k1,k2,⋯,kn是n个常数，x1,x2,⋯,xn是n个相互独立的p维随机向量，则三、相关矩阵随机变量x和y的相关系数定义为

的相关阵定义为若ρ(x,y)=0，则表明x和y不相关。

x=y时的相关阵ρ(x,x)称为x的相关阵，记作R=(ρij)，这里ρij=ρ(xi,xj),ρii=1。即R=(ρij)和Σ=(σij)之间有关系式：R=D−1ΣD−1

其中

；R和Σ的相应元素之间的关系式为

前述关系式即为标准化变换在数据处理时，常常因各变量的单位不完全相同而需要对每个变量作标准化变换，最常用的标准化变换是令记，于是

即标准化后的协差阵正好是原始向量的相关阵。可见，相关阵R也是一个非负定阵。矩阵代数的相关知识§1定义p×q矩阵：p维列向量：q维行向量：

a′=(a1,a2,⋯,aq)向量a的长度：单位向量：若A的所有元素全为零，则称A为零矩阵，记作A=0pq或A=0。若p=q，则称A为p阶方阵，a11,a22,⋯,app称为它的对角线元素，其他元素aij(i≠j)称为非对角线元素。若方阵A的对角线下方的元素全为零，则称A为上三角矩阵。显然，aij=0,i>j。若方阵A的对角线上方的元素全为零，则称A为下三角矩阵。显然，aij=0,i<j。若方阵A的所有非对角线元素均为零，则称A为对角矩阵，简记为A=diag(a11,a22,⋯,app)。若p阶对角矩阵A的所有p个对角线元素均为1，则称A为p阶单位矩阵，记作A=Ip或A=I。若两个p维向量a和b满足a′b=a1b1+a2b2+⋯+apbp=0

则称a和b正交。几何上，正交向量之间相互垂直。若方阵A满足AA′=I，则称A为正交矩阵。显然，

，

i=1,2,⋯,p，即A的p个行向量为单位向量；

，即A的p个行向量相互正交。又从A′A=I得： (j≠k)，即A的p个列向量也是一组正交单位向量。若方阵A满足A2=A，则称A为幂等矩阵。对称的幂等矩阵称为投影矩阵。§2

特征值、特征向量和矩阵的迹一、特征值和特征向量二、矩阵的迹一、特征值和特征向量设A是p阶方阵，若对于一个数λ，存在一个p维非零向量x，使得Ax=λx，则称λ为A的一个特征值或特征根，而称x为A的属于特征值λ的一个特征向量。依该定义有，(A−λI)x=0，而x≠0，故必有|A−λI|=0 |A−λI|是λ的p次多项式，称为特征多项式。上式有p个根 (可能有重根)，记作λ1,λ2,⋯,λp，它们可能为实数，也可能为复数(虽然A是实数矩阵)。反过来，若λi是上式的一个根，则A−λiI为退化矩阵，故存在一个p维非零向量xi，使得(A−λiI)xi=0

即λi是A的一个特征值，而xi是相应的特征向量。今后，一般取xi为单位向量，即满足xi′xi=1。特征值和特征向量的基本性质(1)A和A′有相同的特征值。(2)若A和B分别是p×q和q×p矩阵，则AB和BA有相同的非零特征值。(非零特征值满足交换律)(3)若A为实对称矩阵，则A的特征值全为实数，p个特征值按大小依次表示为λ1≥λ2≥⋯≥λp。若λi≠λj，则相应的特征向量xi和xj必正交，即xi′xj=0。(4)若A=diag(a11,a22,⋯,app)，则a11,a22,⋯,app为A的p个特征值，相应的特征向量分别为e1=(1,0,⋯,0)′，e2=(0,1,0,⋯,0)′，⋯，ep=(0,⋯,0,1)′。(5)

，即A的行列式等于其特征值的乘积。可见，A

为非退化矩阵，当且仅当A的特征值均不为零；A为退化矩阵，当且仅当A至少有一个特征值为零。例1.6.4设方阵A：p×p的p个特征值为λ1,λ2,⋯,λp，试证： (i)若A可逆，相应于λ1,λ2,⋯,λp的特征向量分别为x1,x2,⋯,xp，则A−1的p个特征值为,相应的特征向量仍为x1,x2,⋯,xp； (ii)若A为幂等矩阵，则A的特征值为0或1； (iii)若A为正交矩阵，则A的特征值为1或−1。(6)若A为p阶对称矩阵，则存在正交矩阵T及对角矩阵Λ=diag(λ1,λ2,⋯,λp)，使得A=TΛT′上式两边右乘T，得AT=TΛ

将T按列向量分块，并记作T=(t1,t2,⋯,tp)，于是有(At1,At2,⋯,Atp)=(λ1t1,λ2t2,⋯,λptp)

故Ati=λiti，i=1,2,⋯,p

这表明λ1,λ2,⋯,λp是A的p个特征值，而t1,t2,⋯,tp为相应的(一组正交单位)特征向量。

称之为A的谱分解。(7)若A为p×q实数矩阵，则存在p阶正交矩阵U和q阶正交矩阵V，使得A=UΛV′

其中Λ的(i,i)元素λi≥0，i=1,2,⋯,min(p,q)，其他元素均为零。正数λi称为A的奇异值，上述分解式称为奇异值分解。设rank(A)=k

，则矩阵Λ中只有k个正数，记为λ1,λ2,⋯,λk。将正交矩阵U和V按列分块有，U=(u1,u2,⋯,up)，V=(v1,v2,⋯,vq)，令U1=(u1,u2,⋯,uk)，V1=(v1,v2,⋯,vk)，Λ1=diag(λ1,λ2,⋯,λk),则得到奇异值分解的另一表达式：

这里u1,u2,⋯,uk是一组p维正交单位向量，v1,v2,⋯,vk是一组q维正交单位向量，即有U1′U1=V1′V1=I。由A=UΛV′知，AA′=UΛ2U′，A′A=VΛ2V′，于是AA′ui=λi2ui，i=1,2,⋯,pA′Avi=λi2vi，i=1,2,⋯,q

即

是AA′的p个特征值，u1,u2,⋯,up

是相应的特征向量；

是A′A

的q个特征值，v1,v2,⋯,vq

是相应的特征向量。二、矩阵的迹设A为p阶方阵，则它的对角线元素之和称为A的迹，记作tr(A)，即tr(A)=a11+a22+⋯+app方阵的迹具有下述基本性质：(1)tr(AB)=tr(BA)。特别地，tr(ab′)=b′a。(2)tr(A)=tr(A′)。(3)tr(A+B)=tr(A)+tr(B)。(4)

。(5)设A=(aij)为p×q矩阵，则(6)设λ1,λ2,⋯,λp为方阵A的特征值，则tr(A)=λ1+λ2+⋯+λp(7)若A为投影矩阵，则tr(A)=rank(A)§1.7正定矩阵和非负定矩阵设A是p阶对称矩阵，x是一p维向量，则x′Ax称为A的二次型。若对一切x≠0，有x′Ax>0，则称A为正定矩阵，记作A>0；若对一切x，有x′Ax≥0，则称A为非负定矩阵，记作A≥0。对非负定矩阵A和B，A>B表示A−B>0；