正态性假定：经典正态.ppt

第4章 经典正态线性回归模型 本章继续讨论双变量的经典线性回归模型，但是 ，比前几章增加了一个假定，那就是假定总体干扰 是正态分布的。这样的模型叫双变量经典正态线性 回归模型(CNLRM：classical normal linear regression model)。 尽信书，不如无书。 -孟子 闻道，问道，悟道，开道 贵州财经大学经济研究所 白万平教授 4.1 干扰ui的概率分布 前面讲OLS法时，对ui所作的假定仅仅是：它们的期 望为零，它们是不相关的，并且有一个不变的方差。 我们的目标不仅是参数估计，而且包括假设检验（ hypothesis testing），因此，就有必要规定ui的概率分布。 OLS估计量 和 都是ui的线性函数，ui是随机的，所以， 和 的概率分布将依赖于ui的假定的概率分布。可以由下式 说明： 贵州财经大学经济研究所 白万平教授 4.2 正态性假定 经典正态线性回归（the classical normal linear regression）（CNLR）假定每个ui都是正态分布的，有： 均值： （4.2.1） 方差： （4.2.2） 协方差： ： （4.2.3） 这些假定可以归结为： （4.2.4） N代表正态分布（normal distribution） 对于两个正态分布变量来说，零协方差和零相关就意味 着两个变量互相独立。 贵州财经大学经济研究所 白万平教授 问：什么是相关？什么是独立？ 向量相关： 是向量，存在不全为零的ki使得： ，则 相关。 变量相关：X与Y相关： ，则X与Y无关。 独立：A、B是两个随机变量， ， 或 ，则A与B独立。 说明，ui和uj不仅不相关，而且是相互独 立地分布的。 贵州财经大学经济研究所 白万平教授 如果两个随机变量在统计上独立，则两者的相关 系数为零。但逆命题不一定成立，即，零相关并不意味 着统计独立性。然而，当两个变量都是正态分布的时候 ，则零相关必然意味着统计独立性。 于是， ，可以写为： 这里，NID表示正态且独立分布（normally and independently distributed）。 为什么要做正态性假定？理由有四条： 1 Ui 的正态性由中心极限定理作保证。 在回归模型中，ui 代表许多被忽略的自变量的总影响。 贵州财经大学经济研究所 白万平教授 中心极限定理（central limit theorem）说明，如果存 在大量独立且相同分布的随机变量，那么，除了少数例 外情形，随着这些变量的个数无限地增大，它们的总和 将趋向正态分布。 中心极限定理为ui 的正态性假定提供了理论基础。 大数定理：在大量随机现象中，无论个别随机现象 的结果如何，或者它们在进行过程中的个别特征如何， 大量随机现象的平均结果实际上与每一个个别随机现象 的特征无关，并且几乎不再是随机的了。 切贝谢夫定理：（以确切的数学形式表达了大数定 律的内容） 设 是相互独立的随机变量，它们各有 数学期望 及方差 并对所有i=1,2, 有 ，其中L是与 无关的常数 ，则任给 ，有：贵州财经大学经济研究所 白万平教授 意思是：在定理的条件下，当n充分大时，n个独立 随机变量的平均数这一随机变量的离散程度是很小的。 即，经过算术平均以后得到的随机变量 ，将比较 密集地聚集在它的数学期望 的附近，它与数学 期望之差，当 时，依概率收敛到0。 中心极限定理：如果每一项偶然因素对总和的影响 是均匀的、微小的，即没有一项起特别突出的作用，那 么就可以断定这些大量独立的偶然因素的总和是近似地 服从正态分布的。 李雅普诺夫定理（Liapunov theorem）：（提供了中 心极限定理的数学形式）。设 是相互 独立的随机变量，贵州财经大学经济研究所 白万平教授 有期望 及方差 ，若 每个 对总和 影响不大，令 ， 则： 定理的实际意义：如果一个随机现象由众多的随机 因素所引起的，每一因素在总的变化里起着不显著的作 用，就可以推断，描述这个随机现象的变量近似地服从 正态分布。 2.大数定律和中心极限定理说明，即使变量个数并 不是很大，或者这些变量还不是严格独立的，它们的总 和仍然可视同正态分布。 贵州财经大学经济研究所 白万平教授 3. 正态分布的一个性质是，正态分布变量的任何线性 函数都是正态分布的。因此，在ui 的正态假定下，OLS 估计量 和 也都是正态分布的。 4. 正态分布是一个比较简单的、仅涉及两个参数（均 值和方差）的分布，它有良好的统计性质。 4.3 在正态性假定下OLS估计量的性质 1它们是无偏的。（已证） 2它们有最小方差。（已证） 既是无偏的，又有最小方差的估计量称为最小方差无偏 的（minimum-variance unbiased）,也称为有效估计量（ efficient estimators）。 3它们满足一致性（consistency）。即随着样本容量 的增大，估计量会收敛到它们的真值， 。 贵州财经大学经济研究所 白万平教授 4 是正态分布的 均值： （4.3.1） 方差： ： （4.3.2） 即： 如果定义： （4.3.3） 则变量 服从标准正态分布（standardized normal distribution）， 5 也是正态分布的 均值： （4.3.4） 贵州财经大学经济研究所 白万平教授 方差： : 即： 若令 （4.3.5） 则 6 服从 个自由度的 分布 （证明从 略） 7 的分布独立于 。（证明从略） 8 在整个无偏估计类中，无论是线性或非线性 估计，都有最小方差。 贵州财经大学经济研究所 白万平教授 4.5 t 分布、 分布和F分布 t分布、 分布和F分布都是与正态分布有密切相关的 分布。我们可以将它们同正态分布的关系以定理形式交给 大家： 定理4.1 设 为正态且独立分布的随机变量 ： 。则对于不全为零的常数 ， 总和 也是正态分布的，且其均值为 ， 方差为 ，即 。 定理4.2 若 为正态分布但非独立的，则 总和 （其中 为不全为零的常数）也是正态分 布的。其均值为 ，方差为： 贵州财经大学经济研究所 白万平教授 定理4.3 设 为正态且独立分布的随机变量： 对每个i 均有 ，即均为标准化正态变量，那么， 服从自由度为n的 分布（卡方分 布）（follows chi-square distribution）: ， n代 表自由度。 定理4.4 若 为独立分布的随机变量，各遵循 自由度为 的 分布，则总和 也遵循自由度为 的 分布。 这个性质被称为 分布的再生性（reproductive property）。 定理4.5 如果Z1是标准正态变量（ ）， 而另一变 量Z2遵循自由度为k 的 分布且独立于Z1，则 贵州财经大学经济研究所 白万平教授 （4.5.1） 遵循自由度为k的学生氏t分布（students t distribution） ，k代表自由度。 随着自由度k的增大，学生氏t分布会接近标准化正态分 布。 定理4.6 若Z1和Z2分别是自由度为k1和k2的独立分布的 方变量，则变量： （4.5.2） 服从自由度为k1和k2的F 分布。其中k1为分子自由度， k2为分母自由度。 定理4.7 自由度为k的t 变量的平方是一个分子自由度为 k1=1，分母自由度为k2=k的F 变量。即 需要注意的是，这里F 变量的分子自由度必须是1。 贵州财经大学经济研究所 白万平教授 4.6 最大似然估计(MLE) 最大似然估计(Maximum Likelihood Estimator ,简称MLE)，也称最大或然估计，是 不同于最小二乘法的另一种参数估计方法，是从 最大或然原理出发发展起来的估计方法的基础。 基本原理： 当从总体随机抽取n组样本观测值后，最合理 的参数估计量应该使得从总体中抽取该n组样本 观测值的概率最大。 贵州财经大学经济研究所 白万平教授 在满足基本假设条件下，对一元线性回归模型： 随机抽取n组样本观测值（Xi, Yi）（i=1,2,n）。 那么Yi服从如下的正态分布： 于是，Y的概率函数为 （i=1,2,n） 假如模型的参数估计量已经求得，为 贵州财经大学经济研究所 白万平教授 因为Yi是相互独立的，所以，所有样本观测值的 联合概率，也即似然函数(likelihood function)为： 将该或然函数极大化，即可求得到模型参 数的极大似然估计量。 贵州财经大学经济研究所 白万平教授 由于似然函数的极大化与似然函数的对数的 极大化是等价的，所以，取对数似然函数如下： 贵州财经大学经济研究所 白万平教授 解得模型的