多元正态分布课件

第一章多元正态分布

第一章多元正态分布2多元正态分布及参数估计基础知识统计距离和马氏距离多元正态分布均值向量和协方差阵的估计几种常用的抽样分布2多元正态分布及参数估计基础知识3基础知识随机向量分布密度函数多元变量的独立性随机向量的数字特征3基础知识随机向量4一元分布

一、 一元随机变量与概率分布函数二、概率分布函数的类型三、随机变量的数字特征四、一些重要的一元分布:

二项分布、泊松分布、正态分布4一元分布

一、 一元随机变量与概率分布函数随机变量（randomvariable）

5随机变量（randomvariable）

5复习：（一元统计中的分布和密度函数）＊设是一个随机变量，称为的概率分布函数或称为分布函数，记为。＊离散型随机变量的概率分布列：在有限或可列个值上取值，记为，且。

连续型随机变量的密度函数：

存在一个非负函数，使得对一切实数有，称为的概率密度函数或密度函数。且满足：

(1)，

(2)

。复习：（一元统计中的分布和密度函数）7随机向量随机向量:由多个随机变量组成的向量。n个样品，p个指标数据表：变量为列，样品为行。7随机向量随机向量:由多个随机变量组成的向量。8分布函数与密度函数

8分布函数与密度函数

9分布函数与密度函数设若存在一个非负函数f(.)，使得对一切成立，则称X有分布密度f(.)，并称X为连续型随机向量。性质：

①，对于任意x属于p维实数空间。

②9分布函数与密度函数设边缘分布函数及边缘密度函数用途：

判断边缘密度随机变量的独立性边缘分布函数及边缘密度函数判断边缘密度随机变量的独立的充分必要条件：或特别的中与独立的多元向量的独立性独立的充分必要条件：或特别的12多元向量的独立性两个随机向量X和Y是相互独立的，则，对一切x,y成立。若F(x,y)为(X,Y)'的联合分布函数，G(x)和H(y)分别为X和Y的分布函数，则X和Y独立当且仅当

F(x,y)=G(x)H(y)若f(x,y)为(X,Y)’的密度函数，g(x)和h(y)分别为X和Y的分布密度，则X和Y独立当且仅当

f(x,y)=g(x)h(y)类似地，若它们的联合分布等于各自分布的乘积，则p个随机变量是相互独立的。12多元向量的独立性两个随机向量X和Y是相互独立的，则13随机向量的数字特性随机向量的均值性质13随机向量的数字特性随机向量的均值性质14

协方差矩阵

1、定义：设和分别为维和维随机向量，则其协方差矩阵为14协方差矩阵1、定义：设和1515161)若(x1,x2,…，xp)’

和(y1,y2,…，yq)’不相关。则性质161)若(x1,x2,…，xp)’和(y1,y2,…，y17

若X=Y,且各分量相互独立，则协方差矩阵除主对角线上的元素外均为零，即协方差阵为方差D(x)17若X=Y,且各分量相互独立，则协方差矩阵除182）随机向量X的协方差矩阵是非负定矩阵。证：设a为任意与X有相同维数的常数向量，则3）设A是常数矩阵，b为常数向量，则

D(AX+b)=AD(X)A’

；

182）随机向量X的协方差矩阵是非负定矩阵。194)若(x1,x2,…，xp)’和(y1,y2,…，yq)’分别是p和q维随机向量，A和B为常数矩阵，则

5)若(k1,k2,…，kn)是n个不全为零的常数，(x1,x2,…，xn)’

是相互独立的n维随机向量，则194)若(x1,x2,…，xp)’和(y1,y2,…，y

若的协方差阵存在，且每一个分量的方差大于0，则称随机向量的相关阵为

其中。相关系数矩阵若第三讲多元正态分布课件22

多元正态分布

多元正态分布函数及其特征抽样分布22

多元正态分布多元正态分布函数及其特征23

多元正态分布

多元正态分布在多元统计分析中占有重要的地位，是多元统计分布的基础。多元正态分布具有良好的性质：有些现象服从多元正态分布许多多元统计分布的抽样分布是近似正态分布23

多元正态分布多元正态分布在多元统计分析中占有24多元正态分布

它是一元正态分布的推广设随机向量服从P维正态分布，则有，24多元正态分布它是一元正态分布的推广二元正态分布

设x~N2(μ,Σ)，这里 易见，ρ是x1和

x2的相关系数。当|ρ|<1时，可得x的概率密度函数为二元正态分布设x~N2(μ,Σ)，这里二元正态分布的密度曲面图

下图是当时二元正态分布的钟形密度曲面图。二元正态分布的密度曲面图下图是当（1）、若，是对角阵，则

相互独立。（2）、若，为阶常数阵，则且对任何维常数向量，。

考虑的情形？多元正态分布性质（1）、若

(3)

、若，将作如下剖分：则，。

注：

(1)多元正态分布的任何边缘分布为正态分布，但反之不真。

(2)由于，故表示和不相关，因此可以知道，对于多元正态变量而言，和的不相关与独立是等价的。

(3)、若，将29若,且>0,则有：

给定，多元正态分布的性质29若,且总结起来，多元正态随机向量具有下列性质：

▲的分量的线性组合服从正态分布；▲的分量的任一子集，仍服从正态分布；▲具有零协方差的分量相互独立；▲两个多元正态随机向量独立等价于协方差阵为0；▲多元正态随机向量的线性组合仍然是正态的。

多元正态分布性质总结起来，多元正态随机向量具有下列性质：多元正态分布性质31条件分布和独立性若,将X，作如下划分：(p>=2)

定理1若,则

其中：31条件分布和独立性若32条件分布和独立性若,将X，作如下划分：

定理2则

其中：32条件分布和独立性若例题：例1对于，求

的分布。例2若，求的分布。例3设，其中。

问：是否独立？和也独立？例题：复相关系数和偏相关系数

一、复相关系数二、偏相关系数复相关系数和偏相关系数一、复相关系数一、复相关系数（简单）相关系数度量了一个随机变量x1与另一个随机变量x2之间线性关系的强弱。复相关系数度量了一个随机变量x1与一组随机变量x2,⋯,xp之间线性关系的强弱。将x,Σ(>0)剖分如下：一、复相关系数（简单）相关系数度量了一个随机变量x1与另一个

x1和x2的线性函数间的最大相关系数称为x1和x2间的复(或多重)相关系数(multiplecorrelationcoefficient)，记作ρ1∙2,⋯,p,它度量了一个变量x1与一组变量x2,⋯,xp间的相关程度。可推导出x1和x2的线性函数间的最大相关系数称为偏相关系数

将x,Σ(>0)剖分如下： 称为给定x2时x1的偏协方差矩阵。记，称为偏协方差，它是剔除了的（线性）影响之后，xi和xj之间的协方差。偏相关系数将x,Σ(>0)剖分如下：给定x2时xi

和xj的偏相关系数（partialcorrelationcoefficient）定义为 其中。ρij∙k+1,⋯,p度量了剔除xk+1,⋯,xp的（线性）影响之后，xi和xj间相关关系的强弱。对于多元正态变量x，由于Σ11∙2也是条件协方差矩阵，故此时偏相关系数与条件相关系数是同一个值，从而ρij∙k+1,⋯,p同时也度量了在xk+1,⋯,xp值给定的条件下xi和xj间相关关系的强弱。给定x2时xi和xj的偏相关系数（partialcorr★多元样本的概念及表示法总体：在多元分析中，仍然将所研究的对象的全体称为总体，它也是由(有限或无限个)个体所组成。我们这里的维总体(元总体)指的是构成总体的个体是具有个需要观测的指标的个体。由于从总体中随机抽取的一个个体，其个指标观测值事先未知，完全依赖于抽取的个体。因此维总体可用一个维向量来表示。例如：一个三元总体用表示。★多元样本的概念及表示法总体：在多元分析中，仍然将所研究的对样本：多元分析中的总体是多元总体，因此从维总体中随机抽取的个个体：，若相互独立且与总体同分布，则称为该总体的一个多元随机样本，简称为简单随机样本。其中每个为形如的维向量，为第个样品对第个指标的观察值。

注：因为每个观测值在实验之前不能实现确定，所以我们依然把它们看成随机变量。样本：多元分析中的总体是多元总体，因此从维总

将全部的观测结果用一个阶矩阵表示，得到

为一个随机矩阵(样本矩阵)。一旦观测值取定就是一个数据矩阵。

将全部的观测结果用一个阶矩阵★多元样本的数字特征

设为来自元总体的样本，其中。

1、样本均值向量的定义：

矩阵形式表示为

均值向量的几何解释★多元样本的数字特征设2、样本离差阵定义

矩阵形式表示为：

2、样本离差阵定义证明：

证明：3．样本协方差的定义：4．样本相关阵的定义：其中

3．样本协方差的定义：46样本统计量的极大似然估计设,X1,X2,……,Xn是来自总体X的样本，则分别是的极大似然估计量。46样本统计量的极大似然估计设

和的基本性质：

1．，即是的无偏估计。

，即不是的无偏估计。

，即是的无偏估计

2．，分别是和的有效估计。

3．，分别是和的相合估计。补充和的基本性质：补充48

在一元正态随机变量中，我们曾经讨论了分布，在多元正态随机变量也有类似的样本分布。维沙特分布（Wishart）相当于一元统计中的分布。1928年由Wishart推导出来的。

维沙特（Wishart）分布

几种常用的抽样分布

48在一元正态随机变量中，我们曾经讨论了49

定义维沙特（Wishart）分布的统计量

设个随机向量

独立同分布于，则

服从自由度为的非中心维沙特分布，记为，当

时，称为中心维沙特分布，记为49定义维沙特（Wishart）分布的统计量50

定理1：若，且，，则的分布密度为特别，当和时，服从分布。维沙特（Wishart）分布的密度函数当p=1时，退化为，此时中心维沙特分布退化为，维沙特分布是卡方分布的推广。50定理1：若51维沙特(Wishart)分布有如下的性质：

（1）若Ｗ1和Ｗ2独立，其分布分别和，则的分布为，即维沙特(Wishart)分布有可加性。（2），C为m×p阶的矩阵，则的分布为分布。51维沙特(Wishart)分布有如下的性质：（1）若Ｗ1多元正态分布的随机样本52

的分布为自由度为的维沙特分布

和是相互独立的多元正态分布的随机样本52的分布53定义：

称T2服从参数为P和n的非中心霍特林（Hotelling)分布，

当时，服从自由度为n的中心霍特林分布，记为。霍特林（Hotelling)分布定理：53定义：称T2服从参数为P和n的非中心霍特林（Hotel54

…

定理：设是来自多元正态总体的简单随机样本，有54…定理：设55维尔克斯分布若，则称协差阵的行列式为广义方差，称为样本广义方差。其中定义若，且A1和A2相互独立，则称

为维尔克斯（wilks）统计量，的分布称为维尔克斯分布，简记为55维尔克斯分布若，则称协差补充：二次型分布

补充：二次型分布欧氏距离

在多指标统计分析中,距离的概念十分重要,样品间的不少特征都可用距离去描述。大部分多元方法是建立在简单的距离概念基础上的。即平时人们熟悉的欧氏距离,或称直线距离.如几何平面上的点p=(x1,x2)到原点O=(0,0)的欧氏距离,依勾股定理有统计距离欧氏距离在多指标统计分析中,距离的概念十分重要,样品间的

但就大部分统计问题而言，欧氏距离是不能令人满意的。这里因为，每个坐标对欧氏距离的贡献是同等的。当坐标轴表示测量值时，它们往往带有大小不等的随机波动，在这种情况下，合理的办法是对坐标加权，使得变化较大的坐标比变化小的坐标有较小的权系数，这就产生了各种距离。欧氏距离还有一个缺点，这就是当各个分量为不同性质的量时，“距离”的大小竟然与指标的单位有关。

但就大部分统计问题而言，欧氏距离是不能令人满意的。这

例如，横轴代表重量（以kg为单位），纵轴

代表长度（以cm为单位）。有四个点A、B、C、D见图1.1，它们的坐标如图1.1所示例如，横轴代表重量（以kg为单位），纵轴代表

目录上页下页返回结束这时显然AB比CD要长。结果CD反而比AB长！这显然是不够合理的。

现在，如果

用mm作单位，

单位保持不变，此时A坐标为（0，50），C坐标为（0，100），则目录上页下页返回结束这时显然AB比

因此，有必要建立一种距离，这种距离要能够体现各个变量在变差大小上的不同，以及有时存在着的相关性，还要求距离与各变量所用的单位无关。看来我们选择的距离要依赖于样本方差和协方差。因此，采用“统计距离”这个术语，以区别通常习惯用的欧氏距离。最常用的一种统计距离是印度统计学家马哈拉诺比斯（Mahalanobis）于1936年引入的距离，称为“马氏距离”。

因此，有必要建立一种距离，这种距离要能够体现各个变量在

下面先用一个一维的例子说明欧氏距离与马氏距离在概率上的差异。设有两个一维正态总体。若有一个样品，其值在A处，A点距离哪个总体近些呢？由图1-2图1-2下面先用一个一维的例子说明欧氏距离与马氏距离在概率上的差马氏距离

设X、Y从均值向量为μ，协方差阵为∑的总体G中抽取的两个样品，定义X、Y两点之间的马氏距离为(1.21)

)()(),(1/2YXΣYXYX--=-dmXG(1.22)

)()(),(1/2μXΣμXX--=-Gdm的马氏距离为与总体定义马氏距离设X、Y从均值向量为μ，协方差阵为∑的总体G中

设表示一个点集，表示距离，它是到的函数，可以证明,马氏距离符合如下距离的四条基本公理:；（1）

，（2）当且仅当；（3）（4）设表示一个点集，表示距离，它65马氏距离和欧式距离之间的差别

马氏距离欧氏距离65马氏距离和欧式距离之间的差别马氏距离欧氏距离66马氏距离有如下的特点：

2、马氏距离是标准化后的变量的欧式距离1、马氏距离不受计量单位的影响;

66马氏距离有如下的特点：2、马氏距离是标准化后的变量的欧式67

3、若变量之间是相互无关的，则协方差矩阵为对角矩阵673、若变量之间是相互无关的，则协方差矩阵为对角矩阵68此时的马氏距离为68此时的马氏距离为69

以上有不当之处，请大家给与批评指正，谢谢大家！69第一章多元正态分布

第一章多元正态分布71多元正态分布及参数估计基础知识统计距离和马氏距离多元正态分布均值向量和协方差阵的估计几种常用的抽样分布2多元正态分布及参数估计基础知识72基础知识随机向量分布密度函数多元变量的独立性随机向量的数字特征3基础知识随机向量73一元分布

一、 一元随机变量与概率分布函数二、概率分布函数的类型三、随机变量的数字特征四、一些重要的一元分布:

二项分布、泊松分布、正态分布4一元分布

一、 一元随机变量与概率分布函数随机变量（randomvariable）

74随机变量（randomvariable）

5复习：（一元统计中的分布和密度函数）＊设是一个随机变量，称为的概率分布函数或称为分布函数，记为。＊离散型随机变量的概率分布列：在有限或可列个值上取值，记为，且。

连续型随机变量的密度函数：

存在一个非负函数，使得对一切实数有，称为的概率密度函数或密度函数。且满足：

(1)，

(2)

。复习：（一元统计中的分布和密度函数）76随机向量随机向量:由多个随机变量组成的向量。n个样品，p个指标数据表：变量为列，样品为行。7随机向量随机向量:由多个随机变量组成的向量。77分布函数与密度函数

8分布函数与密度函数

78分布函数与密度函数设若存在一个非负函数f(.)，使得对一切成立，则称X有分布密度f(.)，并称X为连续型随机向量。性质：

①，对于任意x属于p维实数空间。

②9分布函数与密度函数设边缘分布函数及边缘密度函数用途：

判断边缘密度随机变量的独立性边缘分布函数及边缘密度函数判断边缘密度随机变量的独立的充分必要条件：或特别的中与独立的多元向量的独立性独立的充分必要条件：或特别的81多元向量的独立性两个随机向量X和Y是相互独立的，则，对一切x,y成立。若F(x,y)为(X,Y)'的联合分布函数，G(x)和H(y)分别为X和Y的分布函数，则X和Y独立当且仅当

F(x,y)=G(x)H(y)若f(x,y)为(X,Y)’的密度函数，g(x)和h(y)分别为X和Y的分布密度，则X和Y独立当且仅当

f(x,y)=g(x)h(y)类似地，若它们的联合分布等于各自分布的乘积，则p个随机变量是相互独立的。12多元向量的独立性两个随机向量X和Y是相互独立的，则82随机向量的数字特性随机向量的均值性质13随机向量的数字特性随机向量的均值性质83

协方差矩阵

1、定义：设和分别为维和维随机向量，则其协方差矩阵为14协方差矩阵1、定义：设和8415851)若(x1,x2,…，xp)’

和(y1,y2,…，yq)’不相关。则性质161)若(x1,x2,…，xp)’和(y1,y2,…，y86

若X=Y,且各分量相互独立，则协方差矩阵除主对角线上的元素外均为零，即协方差阵为方差D(x)17若X=Y,且各分量相互独立，则协方差矩阵除872）随机向量X的协方差矩阵是非负定矩阵。证：设a为任意与X有相同维数的常数向量，则3）设A是常数矩阵，b为常数向量，则

D(AX+b)=AD(X)A’

；

182）随机向量X的协方差矩阵是非负定矩阵。884)若(x1,x2,…，xp)’和(y1,y2,…，yq)’分别是p和q维随机向量，A和B为常数矩阵，则

5)若(k1,k2,…，kn)是n个不全为零的常数，(x1,x2,…，xn)’

是相互独立的n维随机向量，则194)若(x1,x2,…，xp)’和(y1,y2,…，y

若的协方差阵存在，且每一个分量的方差大于0，则称随机向量的相关阵为

其中。相关系数矩阵若第三讲多元正态分布课件91

多元正态分布

多元正态分布函数及其特征抽样分布22

多元正态分布多元正态分布函数及其特征92

多元正态分布

多元正态分布在多元统计分析中占有重要的地位，是多元统计分布的基础。多元正态分布具有良好的性质：有些现象服从多元正态分布许多多元统计分布的抽样分布是近似正态分布23

多元正态分布多元正态分布在多元统计分析中占有93多元正态分布

它是一元正态分布的推广设随机向量服从P维正态分布，则有，24多元正态分布它是一元正态分布的推广二元正态分布

设x~N2(μ,Σ)，这里 易见，ρ是x1和

x2的相关系数。当|ρ|<1时，可得x的概率密度函数为二元正态分布设x~N2(μ,Σ)，这里二元正态分布的密度曲面图

下图是当时二元正态分布的钟形密度曲面图。二元正态分布的密度曲面图下图是当（1）、若，是对角阵，则

相互独立。（2）、若，为阶常数阵，则且对任何维常数向量，。

考虑的情形？多元正态分布性质（1）、若

(3)

、若，将作如下剖分：则，。

注：

(1)多元正态分布的任何边缘分布为正态分布，但反之不真。

(2)由于，故表示和不相关，因此可以知道，对于多元正态变量而言，和的不相关与独立是等价的。

(3)、若，将98若,且>0,则有：

给定，多元正态分布的性质29若,且总结起来，多元正态随机向量具有下列性质：

▲的分量的线性组合服从正态分布；▲的分量的任一子集，仍服从正态分布；▲具有零协方差的分量相互独立；▲两个多元正态随机向量独立等价于协方差阵为0；▲多元正态随机向量的线性组合仍然是正态的。

多元正态分布性质总结起来，多元正态随机向量具有下列性质：多元正态分布性质100条件分布和独立性若,将X，作如下划分：(p>=2)

定理1若,则

其中：31条件分布和独立性若101条件分布和独立性若,将X，作如下划分：

定理2则

其中：32条件分布和独立性若例题：例1对于，求

的分布。例2若，求的分布。例3设，其中。

问：是否独立？和也独立？例题：复相关系数和偏相关系数

一、复相关系数二、偏相关系数复相关系数和偏相关系数一、复相关系数一、复相关系数（简单）相关系数度量了一个随机变量x1与另一个随机变量x2之间线性关系的强弱。复相关系数度量了一个随机变量x1与一组随机变量x2,⋯,xp之间线性关系的强弱。将x,Σ(>0)剖分如下：一、复相关系数（简单）相关系数度量了一个随机变量x1与另一个

x1和x2的线性函数间的最大相关系数称为x1和x2间的复(或多重)相关系数(multiplecorrelationcoefficient)，记作ρ1∙2,⋯,p,它度量了一个变量x1与一组变量x2,⋯,xp间的相关程度。可推导出x1和x2的线性函数间的最大相关系数称为偏相关系数

将x,Σ(>0)剖分如下： 称为给定x2时x1的偏协方差矩阵。记，称为偏协方差，它是剔除了的（线性）影响之后，xi和xj之间的协方差。偏相关系数将x,Σ(>0)剖分如下：给定x2时xi

和xj的偏相关系数（partialcorrelationcoefficient）定义为 其中。ρij∙k+1,⋯,p度量了剔除xk+1,⋯,xp的（线性）影响之后，xi和xj间相关关系的强弱。对于多元正态变量x，由于Σ11∙2也是条件协方差矩阵，故此时偏相关系数与条件相关系数是同一个值，从而ρij∙k+1,⋯,p同时也度量了在xk+1,⋯,xp值给定的条件下xi和xj间相关关系的强弱。给定x2时xi和xj的偏相关系数（partialcorr★多元样本的概念及表示法总体：在多元分析中，仍然将所研究的对象的全体称为总体，它也是由(有限或无限个)个体所组成。我们这里的维总体(元总体)指的是构成总体的个体是具有个需要观测的指标的个体。由于从总体中随机抽取的一个个体，其个指标观测值事先未知，完全依赖于抽取的个体。因此维总体可用一个维向量来表示。例如：一个三元总体用表示。★多元样本的概念及表示法总体：在多元分析中，仍然将所研究的对样本：多元分析中的总体是多元总体，因此从维总体中随机抽取的个个体：，若相互独立且与总体同分布，则称为该总体的一个多元随机样本，简称为简单随机样本。其中每个为形如的维向量，为第个样品对第个指标的观察值。

注：因为每个观测值在实验之前不能实现确定，所以我们依然把它们看成随机变量。样本：多元分析中的总体是多元总体，因此从维总

将全部的观测结果用一个阶矩阵表示，得到

为一个随机矩阵(样本矩阵)。一旦观测值取定就是一个数据矩阵。

将全部的观测结果用一个阶矩阵★多元样本的数字特征

设为来自元总体的样本，其中。

1、样本均值向量的定义：

矩阵形式表示为

均值向量的几何解释★多元样本的数字特征设2、样本离差阵定义

矩阵形式表示为：

2、样本离差阵定义证明：

证明：3．样本协方差的定义：4．样本相关阵的定义：其中

3．样本协方差的定义：115样本统计量的极大似然估计设,X1,X2,……,Xn是来自总体X的样本，则分别是的极大似然估计量。46样本统计量的极大似然估计设

和的基本性质：

1．，即是的无偏估计。

，即不是的无偏估计。

，即是的无偏估计

2．，分别是和的有效估计。

3．，分别是和的相合估计。补充和的基本性质：补充117

在一元正态随机变量中，我们曾经讨论了分布，在多元正态随机变量也有类似的样本分布。维沙特分布（Wishart）相当于一元统计中的分布。1928年由Wishart推导出来的。

维沙特（Wishart）分布

几种常用的抽样分布

48在一元正态随机变量中，我们曾经讨论了118

定义维沙特（Wishart）分布的统计量

设个随机向量

独立同分布于，则

服从自由度为的非中心维沙特分布，记为，当

时，称为中心维沙特分布，记为49定义维沙特（Wishart）分布的统计量119

定理1：若，且，，则的分布密度为特别，当和时，服从分布。维沙特（Wishart）分布的密度函数当p=1时，退化为，此时中心维沙特分布退化为，维沙特分布是卡方分布的推广。50定理1：若120维沙特(Wishart)分布有如下的性质：

（1）若Ｗ1和Ｗ2独立，其分布分别和，则的分布为，即维沙特(Wishart)分布有可加性。（2），C为m×p阶的矩阵，则的分布为分布。51维沙特(Wishart)分布有如下的性质：（1）若Ｗ1多元正态分布的随机样本121

的分布为自由度为的维沙特分布

和是相互独立的多元正态分布的随机样本52的分布122定义：

称T2服从参数为P和n的非中心霍特林（Hotelling)分布，

当时，服从自由度为n的中心霍特林分布，记为。霍特林（Hotelling)分布定理：53定义：称T2服从参数为P和n的非中心霍特林（Hotel123

…