正态性假定：经典正态.ppt

第4章经典正态线性回归模型本章继续讨论双变量的经典线性回归模型，但是，比前几章增加了一个假定，那就是假定总体干扰是正态分布的。这样的模型叫双变量经典正态线性回归模型(CNLRM：classicalnormallinearregressionmodel)。,尽信书，不如无书。-孟子闻道，问道，悟道，开道,贵州财经大学经济研究所白万平教授,4.1干扰ui的概率分布前面讲OLS法时，对ui所作的假定仅仅是：它们的期望为零，它们是不相关的，并且有一个不变的方差。我们的目标不仅是参数估计，而且包括假设检验（hypothesistesting），因此，就有必要规定ui的概率分布。OLS估计量和都是ui的线性函数，ui是随机的，所以，和的概率分布将依赖于ui的假定的概率分布。可以由下式说明：,贵州财经大学经济研究所白万平教授,贵州财经大学经济研究所白万平教授,贵州财经大学经济研究所白万平教授,如果两个随机变量在统计上独立，则两者的相关系数为零。但逆命题不一定成立，即，零相关并不意味着统计独立性。然而，当两个变量都是正态分布的时候，则零相关必然意味着统计独立性。于是，可以写为：这里，NID表示正态且独立分布（normallyandindependentlydistributed）。为什么要做正态性假定？理由有四条：1Ui的正态性由中心极限定理作保证。在回归模型中，ui代表许多被忽略的自变量的总影响。,贵州财经大学经济研究所白万平教授,中心极限定理（centrallimittheorem）说明，如果存在大量独立且相同分布的随机变量，那么，除了少数例外情形，随着这些变量的个数无限地增大，它们的总和将趋向正态分布。中心极限定理为ui的正态性假定提供了理论基础。大数定理：在大量随机现象中，无论个别随机现象的结果如何，或者它们在进行过程中的个别特征如何，大量随机现象的平均结果实际上与每一个个别随机现象的特征无关，并且几乎不再是随机的了。切贝谢夫定理：（以确切的数学形式表达了大数定律的内容）设是相互独立的随机变量，它们各有数学期望及方差并对所有i=1,2,有，其中L是与无关的常数，则任给，有：,贵州财经大学经济研究所白万平教授,贵州财经大学经济研究所白万平教授,有期望及方差，若每个对总和影响不大，令，则：定理的实际意义：如果一个随机现象由众多的随机因素所引起的，每一因素在总的变化里起着不显著的作用，就可以推断，描述这个随机现象的变量近似地服从正态分布。2.大数定律和中心极限定理说明，即使变量个数并不是很大，或者这些变量还不是严格独立的，它们的总和仍然可视同正态分布。,贵州财经大学经济研究所白万平教授,贵州财经大学经济研究所白万平教授,4是正态分布的均值：（4.3.1）方差：（4.3.2）即：如果定义：（4.3.3）则变量服从标准正态分布（standardizednormaldistribution），5也是正态分布的均值：（4.3.4）,贵州财经大学经济研究所白万平教授,方差：:即：若令（4.3.5）则6服从个自由度的分布（证明从略）7的分布独立于。（证明从略）8在整个无偏估计类中，无论是线性或非线性估计，都有最小方差。,贵州财经大学经济研究所白万平教授,4.5t分布、分布和F分布t分布、分布和F分布都是与正态分布有密切相关的分布。我们可以将它们同正态分布的关系以定理形式交给大家：定理4.1设为正态且独立分布的随机变量：。则对于不全为零的常数，总和也是正态分布的，且其均值为，方差为，即。定理4.2若为正态分布但非独立的，则总和（其中为不全为零的常数）也是正态分布的。其均值为，方差为：,贵州财经大学经济研究所白万平教授,定理4.3设为正态且独立分布的随机变量：对每个i均有，即均为标准化正态变量，那么，服从自由度为n的分布（卡方分布）（followschi-squaredistribution）:，n代表自由度。定理4.4若为独立分布的随机变量，各遵循自由度为的分布，则总和也遵循自由度为的分布。这个性质被称为分布的再生性（reproductiveproperty）。定理4.5如果Z1是标准正态变量（），而另一变量Z2遵循自由度为k的分布且独立于Z1，则,贵州财经大学经济研究所白万平教授,（4.5.1）遵循自由度为k的学生氏t分布（studentstdistribution），k代表自由度。随着自由度k的增大，学生氏t分布会接近标准化正态分布。定理4.6若Z1和Z2分别是自由度为k1和k2的独立分布的方变量，则变量：（4.5.2）服从自由度为k1和k2的F分布。其中k1为分子自由度，k2为分母自由度。定理4.7自由度为k的t变量的平方是一个分子自由度为k1=1，分母自由度为k2=k的F变量。即需要注意的是，这里F变量的分子自由度必须是1。,贵州财经大学经济研究所白万平教授,4.6最大似然估计(MLE),最大似然估计(MaximumLikelihoodEstimator,简称MLE)，也称最大或然估计，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的估计方法的基础。基本原理：当从总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从总体中抽取该n组样本观测值的概率最大。,贵州财经大学经济研究所白万平教授,在满足基本假设条件下，对一元线性回归模型：,随机抽取n组样本观测值（Xi,Yi）（i=1,2,n）。,那么Yi服从如下的正态分布：,于是，Y的概率函数为,（i=1,2,n）,假如模型的参数估计量已经求得，为,贵州财经大学经济研究所白万平教授,因为Yi是相互独立的，所以，所有样本观测值的联合概率，也即似然函数(likelihoodfunction)为：,将该或然函数极大化，即可求得到模型参数的极大似然估计量。,贵州财经大学经济研究所白万平教授,由于似然函数的极大化与似然函数的对数的极大化是等价的，所以，取对数似然函数如下：,贵州财经大学经济研究所白万平教授,解得模型的参数估计量为：,可见，在满足一系列基本假设的情况下，模型结构参数的最大似然估计量与普通最