977第一章多元正态分布

1、第一章第一章 多元正态分布多元正态分布 n随机向量的有关概念随机向量的有关概念 n多元正态分布定义多元正态分布定义 n多元正态分布的性质多元正态分布的性质 n多元正态分布的参数估计多元正态分布的参数估计 ), b(bbr),(cccncxcprnxrp均有维常数向量，以及常数矩阵阶那么，对于任一若1 . 3 . 1性质性质:)(xbpbnxp 那那么么维维常常数数向向量量，为为，假假设设 ),(bbbn 1 . 3 . 1例例多元正态分布的边缘分布多元正态分布的边缘分布的相应子矩阵。子向量，协方差矩阵为的相应值为也服从正态分布，其均的任一子向量则若xxxnxp),( 1.3.2性质性质多元正态

2、分布的可加性多元正态分布的可加性 均有：均有：阶常数矩阵阶常数矩阵个个则对任何则对任何，相互独立，且相互独立，且，维随机向量维随机向量若若,),(, 2 , 121nrrprraaapmnnxnrxp nrrrrnrrrmnrrraaanxa111)(, 性质性质1.3.31.3.3 nrrrrnrrrmnrrraaanxa111)(, 独立与不相关之间的关系（续）独立与不相关之间的关系（续）：性质性质4 . 3 . 1rr等等价价。即即：独独立立性性与与不不相相关关性性，独独立立等等价价于于则则，srpxxnxxx 0,0),(1221222112112121 rsss等等价价。即即：独独立

3、立性性与与不不相相关关性性，独独立立等等价价于于则则，srpxxnxxx 0,0),(1221222112112121 的一个随机样本，则：总体是来自于多元正态设),(,21pnnxxx;)1(的无偏估计的无偏估计和总体协方差矩阵和总体协方差矩阵总体均值总体均值分别是分别是和样本协方差矩阵和样本协方差矩阵样本均值样本均值 sx;)2(相互独立相互独立和和 sx，)1,()3( nnxp ), 1() 1(nwvsnp1 . 4 . 1定理的一个随机样本，则：总体是来自于多元正态设),(,21pnnxxx的的极极大大似似然然估估计计。协协方方差差矩矩阵阵和和总总体体分分别别是是总总体体均均值值和

4、和 snnx)1(2 . 4 . 1定理第二章第二章 多元正态分布参数的检验多元正态分布参数的检验n2.1 2.1 单个正态总体均值的检验单个正态总体均值的检验及置信区间及置信区间n2.2 2.2 两个正态总体均值的成组比较两个正态总体均值的成组比较n2.3 2.3 两个正态总体均值的成对比较两个正态总体均值的成对比较n应用实例应用实例未知的随机样本，检验假设维正态总体为取自于设010021:,:),(,hhnpxxxpn 02010021,pp 其其中中：未知时未知时 )2()()(0102 xnsxt检验统计量检验统计量.022htt拒拒绝绝原原假假设设时时，当当给给定定显显著著性性水水平

5、平 （样样本本协协方方差差）（样样本本均均值值）其其中中：)( )(11111 xxxxnsxnxiniinii),()1(2pnpfpnnpt 注注：02),()1(hpnpfftnppnf时时，拒拒绝绝当当或或检检验验统统计计量量 两个多元正态总体均值成组比较两个多元正态总体均值成组比较未知检验假设相互独立，的随机样本，且两样本和维正态总体自于分别取和设211210212121:,:),(),(,21hhnnpyyyxxxppnn两个多元正态总体均值的成对比较两个多元正态总体均值的成对比较0:,0:,21121021212211 hvshypyyyxpxxxyxyxyxnnnnn即即检检验

6、验：总总体体的的均均值值是是否否相相等等。，欲欲检检验验两两维维来来自自于于总总体体，维维总总体体来来自自于于其其中中对对观观测测数数据据设设有有n主成分分析的基本思想主成分分析的基本思想 n基于总体协方差矩阵的主成分求法基于总体协方差矩阵的主成分求法 n基于总体相关矩阵的主成分分析基于总体相关矩阵的主成分分析n基于样本数据的主成分分析基于样本数据的主成分分析 n实例分析实例分析 第三章第三章 主成分分析主成分分析主成分分析的基本思想主成分分析的基本思想n对于原先的对于原先的 个量个量 ， 需要找出需要找出 个新变量个新变量 来代替原始变量，要求：一方面，这来代替原始变量，要求：一方面，这 个

7、变量是两两不相关，另一方面，个变量是两两不相关，另一方面，在尽可能保持原有信息的基础上，使在尽可能保持原有信息的基础上，使得得 尽可能的小。尽可能的小。 )2( p)(pk pxxx,21kyyy,21kk。且即表达式的系数向量主成分个的第正交特征向量，则的标准是对应于其中，个顺序特征值为的设定理jjjjjjjjjppydxyayjxipjp)(,), 2 , 1(01 . 2 . 3211的累积贡献率。的累积贡献率。个主成分个主成分为前为前称称贡献率贡献率的的为主成分为主成分称称定义定义kpjjkjjjpjjjyyyky,1 . 2 . 321111 贡献率贡献率 2121iiijjjiii

8、jj 原始变量与主成分的相关系数原始变量与主成分的相关系数 jijijiyvarxvaryxyx,cov),( jiip1iji2)y,x(因子负荷量因子负荷量的的贡贡献献率率。始始变变量量个个原原对对第第个个主主成成分分前前为为称称定定义义ikiikjijjixiyyyk,2 . 2 . 32112 主成分对单个原始变量的贡献率主成分对单个原始变量的贡献率的的解解释释能能力力。即即反反映映对对的的多多少少信信息息，个个原原始始变变量量了了第第提提取取个个主主成成分分说说明明前前iikixxiyyyk,21 n正交因子模型正交因子模型n因子模型的参数估计因子模型的参数估计n因子旋转因子旋转n因

9、子得分因子得分n应用实例应用实例第四章第四章 因子分析因子分析有关记号有关记号n令： pxxx1 p 1 kfff1 p 1 kpij 公共因子公共因子特殊因子特殊因子因子载荷矩阵因子载荷矩阵正交因子模型正交因子模型 fx 221, 0)(e0,co0ppkkdiagfvifdfe的协方差阵基于相关矩阵的因子载荷基于相关矩阵的因子载荷表表4.24.2的的特特征征值值和和特特征征向向量量）（或或分分别别是是和和，中中表表rjjijjij 2 . 4第五章第五章 多元线性回归多元线性回归n多元线性回归模型多元线性回归模型n多元线性回归模型的参数估计多元线性回归模型的参数估计n多元线性回归模型的假设

10、检验多元线性回归模型的假设检验n模型的预测和回归系数的置信区间模型的预测和回归系数的置信区间nbetabeta系数，偏系数，偏f f检验，偏相关系数检验，偏相关系数n三种筛选变量的方法三种筛选变量的方法n实例分析实例分析一、多元线性回归模型的一般形式一、多元线性回归模型的一般形式差差）随随机机干干扰扰项项（随随机机误误解解释释变变量量（自自变变量量），）被被解解释释变变量量（因因变变量量回回归归系系数数 ppppxxxyxxxy2121022110, 差）差）随机干扰项（随机误随机干扰项（随机误解释变量（自变量）解释变量（自变量），）被解释变量（因变量被解释变量（因变量回归系数回归系数 ppp

11、pxxxyxxxy2121022110, 差）差）随机干扰项（随机误随机干扰项（随机误解释变量（自变量）解释变量（自变量），）被解释变量（因变量被解释变量（因变量回归系数回归系数 ppppxxxyxxxy2121022110, 差）差）随机干扰项（随机误随机干扰项（随机误解释变量（自变量）解释变量（自变量），）被解释变量（因变量被解释变量（因变量回归系数回归系数 ppppxxxyxxxy2121022110, 二、多元线性回归模型的基本假定二、多元线性回归模型的基本假定解解nivari, 2 , 1)(2 同方差性，即：同方差性，即：释变量释变量pxxx,21是确定性变是确定性变量，不是随机变

12、量；而且解释变量，不是随机变量；而且解释变量之间互不相关；量之间互不相关； njijicovji,2 , 1,0),( nini, 2 , 1), 0(2 正态性，即：正态性，即：随机误差项与解释变量之间不相关随机误差项与解释变量之间不相关序列不相关性，即：序列不相关性，即： 最小二乘法的矩阵表示（续）最小二乘法的矩阵表示（续）yxxx 1)( 的的最最小小二二乘乘估估计计为为于于是是12pnee另外，n拟合优度检验拟合优度检验n方程显著性检验（方程显著性检验（f检验）检验）n变量显著性检验（变量显著性检验（t检验）检验）第四节第四节 多元线性回归模型的假设检验多元线性回归模型的假设检验决定系

13、数（判定系数）决定系数（判定系数）r210122 rsstssesstssrr好。好。越大，说明拟合程度越越大，说明拟合程度越2r的线性关系的大小。的线性关系的大小。与与整体的整体的为一个为一个为复相关系数，衡量作为复相关系数，衡量作称称yxxxrp,212)1()1(122 nsstpnsserra进进行行调调整整。因因此此，需需要要对对二、方程显著性检验（二、方程显著性检验（f f检验）检验）等价于等价于回回归归方方程程线线性性显显著著回回归归方方程程线线性性不不显显著著，:10hh0,:0:111110中中至至少少有有一一个个不不等等于于pphh 回归方程的回归方程的f f检验检验变差来

14、源变差来源平方和平方和自由度自由度均方和均方和f值值p值值回归回归ssrp残差残差ssen-p-1总离差总离差sstn-1pssrmsr 1 pnssemsemsemsr三、变量显著性的检验三、变量显著性的检验(t(t检验检验) )的线性影响显著的线性影响显著对对解释变量解释变量的线性影响不显著的线性影响不显著对对解释变量解释变量yxhyxhjj:100:0:10 jjhh ，等价于等价于)1(20 pntcthjjj 成立的情况下，成立的情况下，在原假设在原假设的的线线性性影影响响显显著著。对对即即认认为为时时，拒拒绝绝当当，给给定定显显著著性性水水平平yxhpnttj,)1(02 t t检

15、验检验）为为标标准准化化回回归归系系数数（称称njj, 2 , 1* niuxxyiippii, 2 , 15 . 6 . 5*1*1* ）写为）写为将（将（ nllnljljjjnljljjijijnlliinlliiyyxxxxxxxyyyyyyyeu1212*12*12*12*)()(,)()(,)( 其中：其中：beta系数的作用系数的作用beta系数是比较自变量对因变量系数是比较自变量对因变量y影响程影响程度的一种较为理想的参考指标。度的一种较为理想的参考指标。由于受自变量之间的相关程度大小由于受自变量之间的相关程度大小beta系数只能作为一种有价值的参考指标，系数只能作为一种有价值

16、的参考指标，而不能完全依据而不能完全依据beta系数大小来评价自系数大小来评价自变量的重要性。变量的重要性。第六章第六章 判别分析判别分析n距离判别距离判别n费歇（费歇（fisherfisher）判别）判别n贝叶斯（贝叶斯（bayesbayes）判别）判别n应用实例应用实例 什么是判别分析？什么是判别分析？基于距离线性判别函数的判别法则基于距离线性判别函数的判别法则 时时当当待待判判时时当当时时当当0)(0)(0)(21xwxwgxxwgxfisher判别法的基本思想判别法的基本思想 两总体的两总体的fisher判别法则判别法则 时时当当待待判判时时当当时时当当yyyyygxygx 21如何根

17、据判别函数进行判别（续）如何根据判别函数进行判别（续）n方法二：方法二：正态总体情形下的判别（续）正态总体情形下的判别（续）n线性判别得分：线性判别得分：iiiiiqxxdln21)(11 n若线性判别得分若线性判别得分)(,),(),()(21xdxdxdmaxxdki 。判判入入总总体体则则将将igx第七章第七章 聚类分析聚类分析n聚类分析的基本概念聚类分析的基本概念 n相似性度量相似性度量n类和类的特征类和类的特征 n系统聚类法系统聚类法n动态聚类法动态聚类法n有序样品的聚类有序样品的聚类n应用实例应用实例 第一节第一节 聚类分析的基本概念聚类分析的基本概念n首先，我们所研究的样本或指标

18、（变量）之间首先，我们所研究的样本或指标（变量）之间存在着程度不同的相似性。于是根据一批样品存在着程度不同的相似性。于是根据一批样品的多个观测指标，具体找出一些能够度量样品的多个观测指标，具体找出一些能够度量样品或指标（变量）之间相似程度的统计量，以这或指标（变量）之间相似程度的统计量，以这些统计量为划分类型的依据，把一些相似程度些统计量为划分类型的依据，把一些相似程度较大的样品（或指标）聚合为一类，把另外一较大的样品（或指标）聚合为一类，把另外一些彼此之间相似程度较大的样品（或指标）聚些彼此之间相似程度较大的样品（或指标）聚合为另一类合为另一类,直到把所有的样品都聚合完毕。直到把所有的样品都聚合完毕。（