统计检验分析第三章第四章详解演示文稿

统计检验分析第三章第四章详解演示文稿当前第1页\共有61页\编于星期二\13点优选统计检验分析第三章第四章当前第2页\共有61页\编于星期二\13点标准差与标准误的区别标准差是表示个体间变异大小的指标,反映了整个样本对样本平均数的离散程度,是数据精密度的衡量指标。标准误反映样本平均数对总体平均数的变异程度,从而反映抽样误差的大小,是量度结果精密度的指标。样本数越大，样本标准差趋于总体标准差；标准误越来越小，即样本平均数越接近总体平均数。可以适当增加N，减少SEM。当前第3页\共有61页\编于星期二\13点第3章样本几何与随机抽样一、样本几何二、样本均值和协方差矩阵的期望值三、广义样本方差四、样本均值、协方差和相关系数的矩阵运算五、线性组合的样本均值和协方差当前第4页\共有61页\编于星期二\13点一、样本几何本章深入地研究描述性统计量：样本均值，样本协方差矩阵和样本相关矩阵的几何解释。P个变量（列）N个观测值（行）当前第5页\共有61页\编于星期二\13点数据矩阵X可以看成是：p维空间的n个点组成，或n维空间的p个向量组成当前第6页\共有61页\编于星期二\13点例如矩阵p维空间的n个点组成n维空间的p个向量组成当前第7页\共有61页\编于星期二\13点均值向量和偏差向量定义n维坐标的平均向量1’=[1,1,..1]，该向量与各个坐标轴等角，为其单位向量，设均值向量为：yi在单位1向量的投影为：偏差向量为：当前第8页\共有61页\编于星期二\13点例题3-1分解下面矩阵为均值向量和偏差向量。求解：均值向量：偏差向量：当前第9页\共有61页\编于星期二\13点不改变偏差向量的方向和长度，移动到从原点开始当前第10页\共有61页\编于星期二\13点偏差向量的长度和夹角偏差向量的长度的平方：长度与方差成正比两个偏差向量的夹角：夹角的余弦是样本相关系数当前第11页\共有61页\编于星期二\13点例题3-2计算样本协方差矩阵和相关矩阵。求解：样本协方差和相关矩阵：当前第12页\共有61页\编于星期二\13点二、样本均值和协方差矩阵的期望值随机样本的定义样本均值的估计样本协方差矩阵的估计当前第13页\共有61页\编于星期二\13点随机样本的定义设p个变量n次测量值都为随机变量；每一次的观察值Xi代表来自密度函数为f(x)的一个公共联合分布的独立观测值，所有的Xi构成了一个来自f(x)的随机样本。特点：单次观测中，p个变量的值常常是相关的； 不同次的观测中得到的结果是独立的； 当变量随着时间变化时，独立性可能不成立。当前第14页\共有61页\编于星期二\13点样本均值的估计设X1,…Xn是来自均值为μ，协方差矩阵为Σ的联合分布的一个随机样本；求该样本的均值的期望和协方差矩阵。解：样本的均值为：X=(X1+X2…+Xn)/n它的期望为：E(X)=(E(X1)+…E(Xn))/n=μ它的协方差矩阵为：Cov(X)=E(X-μ)(X-μ)’无偏估计当前第15页\共有61页\编于星期二\13点设X1,…Xn是来自均值为μ，协方差矩阵为Σ的联合分布的一个随机样本；求该样本的均值的期望和协方差矩阵。解：它的协方差矩阵为：Cov(X)由于Xj和Xl之间相互独立，所以交叉项都为零Cov(X)N无穷大时，方差为零，均值无偏，因此估计是是一致估计当前第16页\共有61页\编于星期二\13点样本协方差矩阵的估计设X1,…Xn是来自均值为μ，协方差矩阵为Σ的联合分布的一个随机样本；求该样本的协方差矩阵的期望。解：样本的协方差矩阵为：求其期望当前第17页\共有61页\编于星期二\13点求样本的协方差矩阵的期望有偏估计偏差为-Σ/n加权后是无偏估计当前第18页\共有61页\编于星期二\13点三、广义样本方差无偏的样本协方差矩阵元素如下：包含p个方差和p(p-1)/2个协方差。广义样本方差=|S|，即行列式，可以表示变异性总样本方差=s11+s22+…spp广义样本方差的几何意义广义方差为零的情况标准化的广义样本方差|R|当前第19页\共有61页\编于星期二\13点广义样本方差的几何意义两个偏差向量d1，d2构成的平面如图所示平行四边形的面积为：偏差向量的长度和夹角：所以平行四边形的面积为当前第20页\共有61页\编于星期二\13点数学归纳法可证：所以大的体积对应大的广义样本方差。当前第21页\共有61页\编于星期二\13点广义方差为零的情况偏差矩阵中任意一个偏差向量位于其它偏差向量生成的平面中，则广义方差为零，即下面矩阵中各列线性相关。（退化）当前第22页\共有61页\编于星期二\13点标准化的广义样本方差|R|改变所有偏差向量的比例，对每个观测值xjk用下式来替换计算出来的行列式称为标准化的广义方差|R||S|和|R|的关系：当前第23页\共有61页\编于星期二\13点四、样本均值、协方差和相关系数的矩阵运算已知观测矩阵X利用计算机计算样本统计量：第3章作业：证明上面三个等式。当前第24页\共有61页\编于星期二\13点五、线性组合的样本均值和协方差两个随机样本的线性组合如下：q个随机样本的线性组合AX，样本均值向量和样本协方差矩阵为当前第25页\共有61页\编于星期二\13点第4章多元正态分布一、多元正态密度及其性质二、从多元正态分布抽样与极大似然估计三、样本均值和样本协方差的抽样分布四、样本均值和样本协方差的大样本特性五、评估正态性假定六、搜寻离群值及“清洁”数据七、变换到接近正态性当前第26页\共有61页\编于星期二\13点一、多元正态密度及其性质由于中心极限效应，不论母总体的类型，许多多元统计的抽样分布是近似正态的。一元正态分布：其中红色部分表示从x到μ的统计距离的平方：推广到多元正态分布中表示x到μ的广义统计距离的平方（作用：标准化所有变量；消除相关的影响）当前第27页\共有61页\编于星期二\13点多元正态分布：例4-1，计算二元正态密度，其中计算得二维正态密度为：当前第28页\共有61页\编于星期二\13点二元正态分布图当前第29页\共有61页\编于星期二\13点轮廓线（Contour）：p维正态密度产生一个等高的x值的路线为椭球面，即在x到μ的广义距离的平方为常数的所有x值，这些路线称为轮廓线。例4-2，计算二元正态密度的轮廓线，其中求解：轴是由下面向量组成当前第30页\共有61页\编于星期二\13点x值的实心椭球满足下式的概率为1-α，是自由度为p的卡方分布概率为0.5和0.9的轮廓线如下：当前第31页\共有61页\编于星期二\13点多元正态分布的性质设X服从Np(μ,Σ)分布X的分量的线性组合还是正态分布 a）线性组合如下，它服从如下分布反之也成立b）q个线性组合它服从如下分布当前第32页\共有61页\编于星期二\13点多元正态分布的性质设X服从Np(μ,Σ)分布X的分量的所有子集是正态分布 例如把X分成两部分：当前第33页\共有61页\编于星期二\13点多元正态分布的性质零协方差意味着分量是独立分布的当前第34页\共有61页\编于星期二\13点多元正态分布的性质分量的条件分布是正态的则X1的条件分布是正态的，并且均值和协方差为（假定X2=x2）：当前第35页\共有61页\编于星期二\13点多元正态分布的性质相互独立的分量的线性组合服从正态分布V1，V2的联合多元正态分布的协方差为：如果b‘c=0则V1、V2相互独立当前第36页\共有61页\编于星期二\13点二、从多元正态分布抽样和极大似然估计多元正态似然：假定p*1向量X1，X2…Xn，是来自均值为μ，协方差矩阵为Σ的多元正态总体的随机样本，且相互独立，每个都服从Np(μ,Σ)分布，则它们的联合密度是边缘概率密度之积：对于观察值{x1，x2…xn}代入上式得到的函数称为似然函数，极大似然估计就是使得上式最大而估计的参数值。当前第37页\共有61页\编于星期二\13点利用迹（对角线元素之和）的性质，把似然函数化简如下，用L表示似然函数：需要估计的参数为μ和Σ。当前第38页\共有61页\编于星期二\13点μ和Σ的极大似然估计 假定p*1向量X1，X2…Xn，是来自均值为μ，协方差矩阵为Σ的多元正态总体的随机样本，μ和Σ的极大似然估计量为：观察值（抽样值）的称为μ和Σ的极大似然估计值估计出来的似然函数的极大值如下：当前第39页\共有61页\编于星期二\13点极大似然估计量具有不变性即h(θ)函数的极大似然估计是由估计出来的h值给定的充分统计量设X1，X2…Xn，是来自均值为μ，协方差矩阵为Σ的多元正态总体的随机样本，则即μ和Σ的信息都包含在S和中。当前第40页\共有61页\编于星期二\13点Example2当前第41页\共有61页\编于星期二\13点当前第42页\共有61页\编于星期二\13点叠加方法：当前第43页\共有61页\编于星期二\13点改进方法1当前第44页\共有61页\编于星期二\13点改进方法2傅里叶变换，得到：根据Ej(w)建立对数似然函数：当前第45页\共有61页\编于星期二\13点当前第46页\共有61页\编于星期二\13点当前第47页\共有61页\编于星期二\13点仿真结果当前第48页\共有61页\编于星期二\13点仿真结果当前第49页\共有61页\编于星期二\13点三、X和S的抽样分布一元情况下：设X1，X2…Xn，是来自一元正态总体（N(μ,σ2)）的随机样本，则多元情况下：设X1，X2…Xn，是来自多元正态总体（Np(μ,Σ)）的随机样本，则当前第50页\共有61页\编于星期二\13点样本协方差矩阵的抽样分布以其发现者命名为威沙特分布（独立的多元正态随机样本的乘积之和）：威沙特分布的性质（线性组合特性）：当前第51页\共有61页\编于星期二\13点四、X和S的大样本特性设X是由大量独立的原因V1,V2,..Vn确定，且Vi具有近似相同的变异性，设X=V1+V2,..+Vn，应用中心极限定理，无论Vi的母体分布如何，X的分布近似正态（n足够大）。大数定理：设X1,X2…Xn来自任何均值为μ与非奇异协方差Σ的总体的独立观察结果，在n趋于无穷时：中心极限定理：对大样本容量有当前第52页\共有61页\编于星期二\13点五、评估正态性假定观测结果Xj是否违背它们来自正态总体的假定？大部分实际工作中，对一维、二维的研究是多的，并且在低维为正态而高维为非正态的病态数据集并不多见。评估一元边缘分布的正态性评估二元正态性当前第53页\共有61页\编于星期二\13点评估一元边缘分布的正态性当前第54页\共有61页\编于星期二\13点评估一元边缘分布的正态性n较小时用点图，n>25时用直方图，有助于揭示分布的差异；当前第55页\共有61页\编于星期二\13点评估一元边缘分布的正态性Q-Q图：专门用来评估正态性假设的图形：任何单一特征Xj的n个观测值xi，按照大小排序后表示为位于x(j)左边的比例(概率p)为j/n，通常用(j-0.5)/n近似；标准正态分位数q(j)定义如下：当前第56页\共有61页\编于星期二\13点Q-Q图,成对数（q(j)x(j)）接近一条直线时，不拒绝这些数据服从正态分布的假设。即在正态假设下，它们的关系如下：Q-Q图的直线性可通过相关系数来检验：当前第57页\共有61页\编于星期二\13点例4-1：画出Q-Q图，并用相关系数检验是否拒绝正态假设。数据见表。当前第58页\共有61页\编于星期二\13点Q-Q图和相关系数查表，发现在显著性水平为0.1下，r>0.9351时就不能拒绝正态性假设。当前第59页\共有61页\编于星期二\13点评估二元正态分布由于常数密度轮廓线是椭圆，如果二维散布图接近椭圆的形状，则接近二元正态分布；二元观察