多元正态分布.doc

第二章 多元正态分布多元统计分析涉及到的都是随机向量或多个随机向量放在一起组成的随机矩阵，在介绍正态分布之前，先论述有关随机向量的基本概念。为了便于理解概念和性质，借助复习一元统计分析中有关概念和性质，自然推广给出多元统计分析中相应的概念和性质。2.1 基本概念1 随机向量的概率分布对许多社会经济现象进行认识和研究时，往往涉及多个随机变量。一般说来，这些随机变量之间又有某种联系，因而需要把这些随机变量作为一个整体（即向量）来研究。定义1 将p个随机变量的整体称为p维随机向量，记为。在多元统计分析中，仍然将所研究对象的全体称为总体，它是由许多（有限或无限）的个体构成的集合，如果构成总体的个体是具有p个需要观测指标的个体，我们称这样的总体为p维总体（或p元总体）。由于从p维总体中随机抽取一个个体，其p个指标观测值是不能事先精确知道的，它依赖于被抽到的个体，因此p维总体可用一个p维随机向量来表示。这种表示便于人们用数学方法去研究p维总体的特性。这里“维”（或“元”）的概念，表示共有几个分量，例如要研究某类企业的三项经济效益指标，则所有这类企业的三项经济效益指标就构成一个三元总体。如果三项指标分别用表示，则三元总体就用三维随机向量来表示，对随机向量的研究仍然限于讨论离散型和连续型两类随机向量。先回顾一下一元统计中分布函数和密度函数定义。设X是一个随机变量，称为的概率分布函数或简称为分布函数，记为。若随机变量在有限或可列个值上取值，记，且则称X为离散型随机变量，并称为X的概率分布。设，若存在一个非负函数，使得对一切实数x有：则称X为连续型随机变量，称为X的分布密度函数，简称为密度函数。一个函数能作为某个随机变量X的分布密度函数的重要条件是：（1），对一切实数x；（2）。定义2 设是维随机向量，它的多元分布函数定义为：记为，其中，表示p维欧氏空间。多维随机向量的统计特性可用它的分布函数来完整地描述。定义3 设是p维随机向量，若存在有限个或可列个p维数向量记且满足，则称X为离散型随机向量，称为X概率分布。设，若存在一个非负函数，使得对一切有则称X为连续型随机向量，称为分布密度函数，简称为密度函数或分布密度。一个p元函数能作为中某个随机向量的密度函数的主要条件是：（1）；（2）。离散型随机向量的统计性质可由它的概率分布完全确定，连续型随机向量的统计性质可由它的分布密度完全确定。例1 试证函数：为随机向量的密度函数。证：只要验证满足密度函数两个条件即可：（1）显然，有（2）定义4 设是维随机向量，称由它的个分量组成的子向量的分布为X的边缘（或边际）分布，相对地把X的分布称为联合分布。通过交换X中各分量的次序，总可假定正好是X的前q个分量，其余个分量为，即，相应的取值也可分为两部分。当X的分布函数是时，的分布函数即边缘分布函数为：当X有分布密度时（亦称联合分布密度函数），则也有分布密度，即边缘密度函数为：例2 对例1中的求边缘密度函数。解： 同理定义5 若p个随机变量的联合分布等于各自的边缘分布的乘积，则称是相互独立的。例3 问例2中的与是否相互独立？解：，故与相互独立。需要注意的是：由相互独立，可推知任何与独立，但反之不真。2 随机向量的数字特征定义6 设，若存在且有限，则称为X的均值（向量）或数学期望，有时也把和分别记为和，即，容易推得均值（向量）具有以下性质：（1）（2）（3）其中X、Y为随机向量，A、B为大小适合运算的常数矩阵。定义7 设，称为X的方差或协差阵，有时把简记为，简记为，从而有；称随机向量X和Y的协差阵为：当X=Y时，即为D(X)。若的协差阵存在，且每个分量的方差大于零，则称随机向量X的相关阵为，其中为相关系数。设标准离差阵则有 即 这说明从可得到R，也可从和R得到，且由，可知例4 设则可得从而可得相关阵为：若，则称X和Y不相关，由X和Y相互独立易推得，即X和Y不相关，但反过来，当X和Y不相关时，一般不能推知它们独立。容易推得协差阵有以下性质：（1），即X的协差阵是非负定阵。（2）对于常数向量a，有。（3）设A为常数矩阵，则。（4）。其中a，A，B为大小适合运算的常数向量和矩阵。2.2 多元正态分布的定义及基本性质多元正态分布在多元统计分析中所占的重要地位，如同一元统计分析中一元正态分布所占的重要地位一样，多元统计分析中的许多重要理论和方法都是直接或间接建立在正态分布的基础上，多元正态分布是多元统计分析的基础。此外，在实用中遇到的随机向量常常是服从正态分布或近似正态分布。因此现实世界中许多实际问题的解决办法都是以总体服从正态分布或近似正态分布为前提的。1 多元正态分布的定义多元正态分布有多种定义方法，下面给出常用的三种等价定义（另两种定义在附注中给出）。定义8 若p维随机向量的密度函数为：其中，是p维向量，是p阶正定阵，则称X服从p元正态分布，也称X为p维正态随机向量，简记为，显然当时，即为一元正态分布密度函数。可以证明为X的均值（向量），为X的协差阵。顺便指出，当时，不存在，X也就不存在通常意义下的密度，这也是如今人们不大采用密度函数来定义多元正态分布的原因。当时也有正态分布的定义，下面在附注中给出另外两种正态分布的定义。附注：定义8.1 独立标准正态变量的有限线性组合称为m维正态随机向量，记为，其中，这里需要注意的是的分解一般不是唯一的。易见这里是用多个正态变量的任意线性组合给出多元正态随机向量的定义，其优点之一是多元正态的有些性质，可用一元正态性质得到。定义8.2 若X的特征函数为，其中t为实向量，则称X服从p元正态分布，显然用特征函数定义，可以包括情况。例 当时利用参数和可将二元正态分布密度函数写成形式：这是因为协差阵所以而将上述代到元正态密度函数中便可得到二元正态密度函数关于和的表达式：下面给出二元正态分布的图形。图1图2 图3 图4 从图1可以看出，该图形最高点的坐标为它的均值（），如果用一个固定高度去切割二元正态密度函数曲面，其截口是一个椭圆，称为概率密度等高线。用不同高度去截，可得一族椭圆。类似地，在p元正态分布中，概率密度的等高面是一族椭球。图2和图3给出不同方差大小的正态圆形，对应较大的方差，的取值分散较大，密度函数曲面较平缓；对应较小的方差，的取值集中在均值附近或者从图4看出，当和有较高的相关性时，密度函数曲面较陡立。2 多元正态变量的基本性质在讨论多元统计分析的理论和方法时，经常用到多元正态变量的某些性质，利用这些性质可使得正态分布的处理变得容易一些。（1）若是对角阵，则相互独立。（2）若为阶常数阵，d为s维常数向量，则即正态随机向量的线性函数还是正态的。（3）若，将作如下剖分：则。值得指出的是：（1）多元正态分布的任何边缘分布为正态分布，但反之不真。（2）由于，故表示和不相关，因此可知，对于多元正态变量而言，和的不相关与独立是等价的。例5 若其中设 则（1）其中（2）其中（3）记 则其中顺便指出，多元分析中的很多统计方法，大都假定数据来自多元正态总体。但是要判断已有的一批数据是否来自多元正态总体，并不是一件简易的事。可是反过来要肯定数据不是来自多元正态总体，倒是有一些简易方法，其依据是：如果服从p元正态分布，则它的每个分量必服从一元正态分布，因此把某个分量的n个样品值作成直方图，如果断定不呈正态分布，则就可以断定随机向量也不可能服从p元正态分布。附注：若一批多元数据不满足正态性时，一般要对数据进行变换，使变为“接近正态”数据。对非正态数据如何作近似正态化变换，在许多情况下常采用以下一些幂变换族（这里限定多元数据必为正值，如有某些负值，可把每个观测值都加上同一个常数使其为正）：或。前部分可使x的大值缩小，后部分可使x的大值增大，经过变换后的数据，接近正态性往往有所改进。但不管选用哪种幂变换，正态性改进多大，提醒读者，还应该对变换后数据的正态性作验证（如用Q-Q图或其它方法）一直到对变换后数据满足正态性为止，有关这方面的正态理论分析这里不做进一步叙述，详细内容可查看后面的参考书。2.3 多元正态分布的参数估计在实际应用中，多元正态分布中均值向量和协差阵通常是未知的，需由样本来估计，而参数的估计方法很多，这里用最常见的最大似然估计法给出其估计量，并借助一元统计中学过的估计量性质指出这里给出的估计量也满足通常要求的性质。1 多元样本的概念及表示法多元分析研究的总体是多元总体，从多元总体中随机抽取n个个体：，若相互独立且与总体同分布，则称为该总体的一个多元随机样本，简称为简单样本。每个称为一个样品，其中为第a个样品对第j个指标的观测值，显然每个样品都是p维向量，将n个样品对p项指标进行观测，将全部观测结果用一个np阶矩阵X表示： 由于每个样品对个指标的观测值是不能事先确定的，所以把每个样品看成随机向量，因此X就是一个随机矩阵，称X为观测矩阵或样本资料阵，一旦观测值取定就是一个数据矩阵，多元分析的很多方法都是运用各种手段从观测矩阵出发去提取有关信息。除上述简单随机样本之外，还有其它样本，特别是在社会经济领域中，有些样本资料的来源就不一定总满足随机性的要求。还有一种情况是，所观测的对象就是所研究的全体对象，例如考察全国30个省市自治区所有大型国营企业的p项经济指标，以便对企业的经济效益进行评估或排序，对于这样一些情况，需要采用有别于一般概率方法的其它处理方法，这些方法将在以后的有关章节中看到，但本章中所用的多元样本特别是涉及到有关定理和性质的数学证明都是指简单随机样本。值得注意的是：1. 多元样本中的每个样品，对p个指标的观测值往往是有相关关系的，但不同样品之间的观测值一定是相互独立的。2. 多元分析处理的多元样本观测数据一般都属于横截面数据，即在同一时间横截面上的数据，比如某一年的人口普查数据、工业普查数据，对某一年份，横向比较30个省市自治区工业的经济效益指标，或者分析某年城镇居民的消费结构等等，对这类指标的观测数据都属于横截面数据，它不考虑时间因素，即这些数据不是按时间顺序排列的。如果考虑的多元样本观测数据是按时间顺序排列的数据，如建国以来历年的国民生产总值、运输业国民收入、钢产量、粮食产量等，都是每年有一个对应的数据，这些数据是按时间顺序排列的，也就是说这些指标的观测值是随时间变化的，对这类数据的研究属于多元时间序列分析的范畴，不属于本书介绍的范围。2 多元样本的数字特征定义 设为来自p元总体的样本，其中。（1） 样本均值向量定义为：（2）样本离差阵定义为： （3）样本协差阵定义为（4）样本相关阵定义为：其中样本均值向量和离差阵也可用样本资料阵X直接表示如下：=3 和的最大似然估计及基本性质通过样本来估计总体的参数叫做参数估计，参数估计的原则和方法是很多的，这里用最常见的且具有很多优良性质的最大似然法给出和的估计量。设来自正态总体容量为n的样本，每个样品，样本资料阵为则用最大似然法求出和的估计量分别为：和的估计量有如下基本性质：（1），即是的无偏估计；即不是的无偏估计，而是的无偏估计；（2）分别是的有效估计；（3）分别是的一致估计（相合估计）。样本均值向量和样本离差阵在多元统计推断中具有十分重要的作用，并有如下结论：定理 设和S分别是正态总体的样本均值向量和离差阵，则（1）；（2）离差阵S可以写为：其中，独立同分布于；（3）与S相互独立；（4）S为正定阵的充要条件是。4 Wishart分布在实际应用中，常采用和来估计和，前面已指出，均值向量的分布仍为正态分布，而离差阵S的分布又是什么呢？为此给出维希特（Wishart）分布，并指出它是一元分布的推广，也是构成其它重要分布的基础。Wishart分布是Wishart在1928年推导出来的，为了纪念这位多元分析的先驱者而命名为Wishart分布。定义 设且相互独立，则由组成的随机矩阵：的分布称为非中心Wishart分布，记为，其中，非中心参数定义为；当时称为中心Wishart分布，记为，当，有密度存在，其表达式为：，显然，当时，就是的分布密度，此时有有因此，Wishart分布是分布在p维正态情况下的推广这里要说明一下什么是随机矩阵的分布。随机矩阵的分布有不同的定义，此处是利用已知向量分布的定义给出矩阵分布的定义。设随机矩阵将该矩阵的列向量（或行向量）一个接一个地连接起来，组成一个长的向量，即拉直向量：的分布定义为该阵的分布。若X为对称阵时，由于，