第二章_多元正态分布的参数估计ppt课件

第二章多元正态分布,2.1多元正态分布的定义2.2多元正态分布的性质2.3复相关系数和偏相关系数2.4极大似然估计及估计量的性质2.5和(n1)S的抽样分布,2.1多元正态分布的定义,一元正态分布N(,2)的概率密度函数为：若随机向量的概率密度函数为则称X服从p元正态分布，记作XNp(,)，其中，参数和分别为X的均值和协差阵。,例1（二元正态分布）,设XN2(,)，这里易见，是X1和X2的相关系数。当|0)作如下的剖分：,则子向量X1和X2相互独立，当且仅当12=0。该性质指出，对于多元正态变量而言，其子向量之间互不相关和相互独立是等价的。（7）设XNp(,),0，则例4设XN3(,)，其中则X2和X3不独立，X1和(X2,X3)独立。,（8）设XNp(,),0，作如下剖分则给定X2时X1的条件分布为，其中12和112分别是条件数学期望和条件协方差矩阵，112通常称为偏协方差矩阵。,这一性质表明，对于多元正态变量，其子向量的条件分布仍是（多元）正态的。例5设XN3(,)，其中试求给定X1+2X3时的条件分布。,2.3复相关系数和偏相关系数,一、复相关系数二、偏相关系数,一、复相关系数,相关系数度量了一个随机变量x1与另一个随机变量x2之间线性关系的强弱。复相关系数度量了一个随机变量X1与一组随机变量X2,Xp之间线性关系的强弱。将X,(0)剖分如下：,X1和X2的线性函数间的最大相关系数称为X1和X2间的复(或多重)相关系数(multiplecorrelationcoefficient)，记作12,p,它度量了一个变量X1与一组变量X2,Xp间的相关程度。可推导出例4随机变量X1,Xp的任一线性函数F=l1X1+lpXp与X1,Xp的复相关系数为1。证明:,二、偏相关系数,将X,(0)剖分如下：称为给定X2时X1的偏协方差矩阵。记，称为偏协方差，它是剔除了的（线性）影响之后，Xi和Xj之间的协方差。,给定X2时Xi和Xj的偏相关系数（partialcorrelationcoefficient）定义为:其中。ijk+1,p度量了剔除Xk+1,Xp的（线性）影响之后，Xi和Xj间相关关系的强弱。对于多元正态变量X，由于112也是条件协方差矩阵，故此时偏相关系数与条件相关系数是同一个值，从而ijk+1,p同时也度量了在Xk+1,Xp值给定的条件下Xi和Xj间相关关系的强弱。,2.4极大似然估计及估计量的性质,一、样本X1,X2,Xn的联合概率密度二、和的极大似然估计三、相关系数的极大似然估计四、估计量的性质,设XNp(,),0，X1,X2,Xn是从总体X中抽取的一个简单随机样本（今后简称为样本），即满足：X1,X2,Xn独立，且与总体分布相同。令称之为（样本）数据矩阵或观测值矩阵。,一、样本X1,X2,XN的联合概率密度,极大似然估计是通过似然函数来求得的，似然函数可以是样本联合概率密度f(x1,x2,xn)的任意正常数倍，我们不妨取成相等，记为L(,)。可具体表达为：,二、和的极大似然估计,一元正态情形：多元正态情形：其中称为样本均值向量（简称为样本均值），称为样本离差矩阵。,三、相关系数的极大似然估计,1.简单相关系数2.复相关系数3.偏相关系数,1.简单相关系数,相关系数ij的极大似然估计为:其中。称S为样本协方差矩阵、rij为样本相关系数、为样本相关矩阵。,2.复相关系数,将X,(0),S剖分如下：则复相关系数12,p的极大似然估计为r12,p,称之为样本复相关系数。其中,3.偏相关系数,将X,(0),S剖分如下：则偏相关系数ijk+1,p的极大似然估计为rijk+1,p，称之为样本偏相关系数，其中,3.5和(N1)S2的抽样分布,一、的抽样分布二、(n1)S的抽样分布,一、的抽样分布,1.正态总体设XNp(,),0，X1,X2,Xn是从总体X中抽取的一个样本，则2.非正态总体（中心极限定理）设X1,X2,Xn是来自总体X的一个样本，和存在，当n很大且n相对于p也很大时，上式近似地成立。,二、均值向量与协差阵的最大似然估计,三、估计量的性质,1.无偏性2.有效性3.一致性4.充分性,充分统计量,1充分性的概念,例1为研究某种产品的合格品率，我们对该产品进行检查，从该产品中随机抽取10件进行观测，发现除第三、六件产品不合格外，其余8件产品都是合格品。这样的观测结果包含了两种信息：,(1)10件产品有8件是合格品；,(2)2件不合格品分别是第三和第六件。,第二种信息对了解该产品合格品率是没有什么帮助的。一般地，设我们对该产品进行n次观测，得到x1,x2,xn，每个xj取值非0即1，合格为1，不合格为0。令T=x1+xn，T为观测到的合格品数。在这种场合仅仅记录使用T不会丢失任何与合格品率有关的信息，统计上将这种“样本加工不损失信息”称为“充分性”。,样本x=(x1,x2,xn)有一个样本分布F(x)，这个分布包含了样本中一切有关的信息。,统计量T=T(x1,x2,xn)也有一个抽样分布FT(t)，这个分布包含了统计量T中一切有关的信息.当我们期望用统计量T代替原始样本且不损失任何有关的信息时，也就是期望抽样分布FT(t)像F(x)一样概括了有关的一切信息.这即是说在统计量T取值为t的情况下样本x的条件分布F(x|T=t)已不含的信息，这正是统计量具有充分性的含义。,定义(充分统计量)设x1,x2,xn是来自某个总体的样本，总体分布函数为F(x;)，统计量T=T(x1,x2,xn)称为的充分统计量，如果在给定T的取值后，x1,x2,xn的条件分布与无关.,例2设总体为二点分布为样本,令则T是的充分统计量;若则S不是的充分统计量.,下面我们给出几个例子,根据定义来验证一个统计量是不是充分的.,在一般场合直接由定义出发验证一个统计量是充分统计量比较困难.奈曼(Neyman)给出了一个简单的判别方法-因子分解定理.,充分性原则：在充分统计量存在的场合，任何统计推断都可以基于充分统计量进行，这可以简化统计推断的程序,称该原则为充分性原则.,四、WISHART分布,通过上面的理论分析知道，多元正态总体均值向量和协差阵的最大似然估计分别是样本均值向量和样本协差阵。利用SPSS软件可以迅速地计算出多元分布的样本均值向量、样本离差阵和样本协差阵。下面通过一个实例来说明多元正态分布参数估计的SPSS实现过程。从沪深两市上市公司中随机抽取300家公司，取其三个反映收益情况的三个财务指标：每股收益率（eps）、净资产收益率（roe）和总资产收益率（roa）。现要求对这三个指标的均值和协差阵进行估计。,均值向量的估计,在SPSS中计算样本均值向量的步骤如下：1.选择菜单项AnalyzeDescriptiveStatisticsDescriptives，打开Descriptives对话框，如图2.1。将待估计的三个变量移入右边的Variables列表框中。,图2.1Descriptives对话框,2.单击Options按钮，打开Options子对话框，如图2.2所示。在对话框中选择Mean复选框，即计算样本均值向量。单击Continue按钮返回主对话框。,图2.2Options子对话框,3.单击OK按钮，执行操作。则在结果输出窗口中给出样本均值向量，如表2.2。即样本均值向量为（0.175，0.044，0.026）。,表2.2样本均值向量,协差阵的估计,在SPSS中计算样本协差阵的步骤如下：1.选择菜单项AnalyzeCorrelateBivariate，打开BivariateCorrelations对话框，如图2.3。将三个变量移入右边的Variables列表框中。,图2.3BivariateCorrelations对话框,2.单击Options按钮，打开Options子对话框，如图2.4。选择Cross-productdeviationsandcovariances复选框，即计算样本离差阵和样本协差阵。单击Continue按钮，返回主对话框。,图2.4Options子对话框,3.单击OK按钮，执行操作。则在结果输出窗口中给出相关分析表。表中PearsonCorrela