正态性假定：经典正态.ppt

第4章 经典正态线性回归模型 本章继续讨论双变量的经典线性回归模型，但是，比前几章增加了一个假定，那就是假定总体干扰是正态分布的。这样的模型叫双变量经典正态线性回归模型(CNLRM：classical normal linear regression model)。,尽信书，不如无书。 -孟子 闻道，问道，悟道，开道,贵州财经大学经济研究所 白万平教授,4.1 干扰ui的概率分布 前面讲OLS法时，对ui所作的假定仅仅是：它们的期望为零，它们是不相关的，并且有一个不变的方差。 我们的目标不仅是参数估计，而且包括假设检验（hypothesis testing），因此，就有必要规定ui的概率分布。OLS估计量 和 都是ui的线性函数，ui是随机的，所以， 和 的概率分布将依赖于ui的假定的概率分布。可以由下式说明：,贵州财经大学经济研究所 白万平教授,贵州财经大学经济研究所 白万平教授,贵州财经大学经济研究所 白万平教授,如果两个随机变量在统计上独立，则两者的相关系数为零。但逆命题不一定成立，即，零相关并不意味着统计独立性。然而，当两个变量都是正态分布的时候，则零相关必然意味着统计独立性。 于是， ，可以写为： 这里，NID表示正态且独立分布（normally and independently distributed）。 为什么要做正态性假定？理由有四条： 1 Ui 的正态性由中心极限定理作保证。 在回归模型中，ui 代表许多被忽略的自变量的总影响。,贵州财经大学经济研究所 白万平教授,中心极限定理（central limit theorem）说明，如果存在大量独立且相同分布的随机变量，那么，除了少数例外情形，随着这些变量的个数无限地增大，它们的总和将趋向正态分布。 中心极限定理为ui 的正态性假定提供了理论基础。 大数定理：在大量随机现象中，无论个别随机现象的结果如何，或者它们在进行过程中的个别特征如何，大量随机现象的平均结果实际上与每一个个别随机现象的特征无关，并且几乎不再是随机的了。 切贝谢夫定理：（以确切的数学形式表达了大数定律的内容） 设 是相互独立的随机变量，它们各有数学期望 及方差 并对所有i=1,2, 有 ，其中L是与 无关的常数，则任给 ，有：,贵州财经大学经济研究所 白万平教授,贵州财经大学经济研究所 白万平教授,有期望 及方差 ，若每个 对总和 影响不大，令 ， 则： 定理的实际意义：如果一个随机现象由众多的随机因素所引起的，每一因素在总的变化里起着不显著的作用，就可以推断，描述这个随机现象的变量近似地服从正态分布。 2.大数定律和中心极限定理说明，即使变量个数并不是很大，或者这些变量还不是严格独立的，它们的总和仍然可视同正态分布。,贵州财经大学经济研究所 白万平教授,贵州财经大学经济研究所 白万平教授,4 是正态分布的 均值： （4.3.1） 方差： ： （4.3.2） 即： 如果定义： （4.3.3） 则变量 服从标准正态分布（standardized normal distribution）， 5 也是正态分布的 均值： （4.3.4）,贵州财经大学经济研究所 白万平教授,方差： : 即： 若令 （4.3.5） 则 6 服从 个自由度的 分布 （证明从略） 7 的分布独立于 。（证明从略） 8 在整个无偏估计类中，无论是线性或非线性估计，都有最小方差。,贵州财经大学经济研究所 白万平教授,4.5 t 分布、 分布和F分布 t分布、 分布和F分布都是与正态分布有密切相关的分布。我们可以将它们同正态分布的关系以定理形式交给大家： 定理4.1 设 为正态且独立分布的随机变量： 。则对于不全为零的常数 ， 总和 也是正态分布的，且其均值为 ，方差为 ，即 。 定理4.2 若 为正态分布但非独立的，则总和 （其中 为不全为零的常数）也是正态分布的。其均值为 ，方差为：,贵州财经大学经济研究所 白万平教授,定理4.3 设 为正态且独立分布的随机变量：对每个i 均有 ，即均为标准化正态变量，那么， 服从自由度为n的 分布（卡方分布）（follows chi-square distribution）: ， n代表自由度。 定理4.4 若 为独立分布的随机变量，各遵循自由度为 的 分布，则总和 也遵循自由度为 的 分布。 这个性质被称为 分布的再生性（reproductive property）。 定理4.5 如果Z1是标准正态变量（ ）， 而另一变量Z2遵循自由度为k 的 分布且独立于Z1，则,贵州财经大学经济研究所 白万平教授,（4.5.1） 遵循自由度为k的学生氏t分布（students t distribution），k代表自由度。 随着自由度k的增大，学生氏t分布会接近标准化正态分布。 定理4.6 若Z1和Z2分别是自由度为k1和k2的独立分布的 方变量，则变量： （4.5.2） 服从自由度为k1和k2的F 分布。其中k1为分子自由度，k2为分母自由度。 定理4.7 自由度为k的t 变量的平方是一个分子自由度为k1=1，分母自由度为k2=k的F 变量。即 需要注意的是，这里F 变量的分子自由度必须是1。,贵州财经大学经济研究所 白万平教授,4.6 最大似然估计(MLE),最大似然估计(Maximum Likelihood Estimator ,简称MLE)，也称最大或然估计，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的估计方法的基础。 基本原理： 当从总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从总体中抽取该n组样本观测值的概率最大。,贵州财经大学经济研究所 白万平教授,在满足基本假设条件下，对一元线性回归模型：,随机抽取n组样本观测值（Xi, Yi）（i=1,2,n）。,那么Yi服从如下的正态分布：,于是，Y的概率函数为,（i=1,2,n）,假如模型的参数估计量已经求得，为,贵州财经大学经济研究所 白万平教授,因为Yi是相互独立的，所以，所有样本观测值的联合概率，也即似然函数(likelihood function)为：,将该或然函数极大化，即可求得到模型参数的极大似然估计量。,贵州财经大学经济研究所 白万平教授,由于似然函数的极大化与似然函数的对数的极大化是等价的，所以，取对数似然函数如下：,贵州财经大学经济研究所 白万平教授,解得模型的参数估计量为：,可见，在满足一系列基本假设的情况下，模型结构参数的最大似然估计量与普通最小二