计量经济学的2.2 一元线性回归模型的参数估计

1 概念 在给定解释变量Xi条件下被解释变量Yi的期望轨迹相应的函数称为总体回归函数 PRF 基于样本数据 所得到的总体回归函数的一个估计函数称为样本回归函数 回顾 问题 当我们设定总体回归模型的函数形式后 如何通过样本数据得到总体回归函数的一个估计 即样本回归函数 参数估计问题 2 2 2一元线性回归模型的参数估计 一 一元线性回归模型的基本假设二 参数的普通最小二乘估计 OLS 三 参数估计的最大或然法 ML 四 最小二乘估计量的性质五 参数估计量的概率分布及随机干扰项方差的估计 3 单方程计量经济学模型分为两大类 线性模型和非线性模型 线性模型中 变量之间的关系呈线性关系非线性模型中 变量之间的关系呈非线性关系 一元线性回归模型 只有一个解释变量 i 1 2 n Y为被解释变量 X为解释变量 0与 1为待估参数 为随机干扰项 一元线性回归模型的定义 4 回归分析的主要目的是要通过样本回归函数 模型 SRF尽可能准确地估计总体回归函数 模型 PRF 5 普通最小二乘法 OrdinaryLeastSquares OLS 德国数学家高斯提出 简单 应用广泛 2 最大似然法 MaximumLikelihood 在线性模型上估计值与OLS法相同 为保证参数估计量具有良好的性质 通常对模型提出若干基本假设 注 实际这些假设与所采用的估计方法紧密相关 两种参数估计方法 6 普通最小二乘法 OLS 原理 构造SRF的原则 回归线尽可能好地拟合样本观测值 7 参数的普通最小二乘估计 OLS 普通最小二乘法 Ordinaryleastsquares OLS 给出的判断标准是 样本观测值与样本回归函数值二者之差的平方和 最小 8 方程组 称为正规方程组 normalequations 参数的普通最小二乘估计 OLS 9 记 参数的普通最小二乘估计的离差形式 为X和Y的样本均值 和 为Xi和Yi对均值的离差 和 可得 10 进而 参数估计量可以写成 参数的普通最小二乘估计的离差形式 why 故 可表示为 称为OLS估计量的离差形式 deviationform 由于参数的估计结果是通过最小二乘法得到的 故称为普通最小二乘估计量 ordinaryleastsquaresestimators why 11 若记 则有 可得 式也称为样本回归函数的离差形式 注意 在计量经济学中 往往以小写字母表示对均值的离差 样本回归函数的离差形式 或 why 12 将最后一个等式两边对样本值求和并同除以样本大小n 即得 1 OLS回归线通过Y和X的样本均值 即 OLS回归线的性质 1 根据正规方程 可得 2 估计的Y 均值等于实测的Y均值 13 3 残差的均值为0 OLS回归线的性质 2 根据正规方程 并对上式两端求和有 即 或 14 4 残差和预测的Yi值不相关 即 OLS回归线的性质 3 5 残差和Xi值不相关即 why why 15 经典线性回归模型的基本假设的引入 在回归分析中我们的目的不仅仅是获得参数的估计值 而且要对参数估计值作出推断 例如 和离它们相应的真实值有多远 与其期望值E Yi Xi 多接近 由PRF 可知 Yi依赖于Xi和ui 除非我们明确Xi和ui的产生方式 否则我们将无法对Yi作任何推断 同时 为了使得使用OLS方法的估计量具有良好的性质 我们作出如下假设 16 线性回归模型的基本假设 1 假设1 解释变量X是确定性变量 不是随机变量 即在重复样本中 X的值被认为是固定的 例如 把收人值X固定在80美元的水平上 我们随机地抽取一个家庭 并观测到它的每周家庭消费支出Y 比方说为60美元 仍然把X固定在80美元 而随机地另抽取一个家庭并观测到它的Y值是75美元 在每次抽取 即重复抽样 中 X值都固定在80关元二我们可以对表中的全部X值重复这一过程 17 线性回归模型的基本假设 2 1 假设2 随机误差项 具有零均值 同方差和不自相关性 2 1 零均值 E i Xi 0i 1 2 n意为 对给定的X值 随机干扰项ui的均值 条件期望 为0 几何意义见下图 18 这一假定无非是说 凡是模型不含的因而归属于ui的因素 对Y的均值都没有系统的影响 因此正的ui值就抵消了负的ui值 以致它们对Y的平均影响为零 19 线性回归模型的基本假设 2 2 假设2 随机误差项 具有零均值 同方差和不自相关性 2 2 同方差Var i Xi 2i 1 2 n意为 对给定的X值 随机干扰项ui的条件方差是恒定的 几何意义见下图 20 同方差性 21 异方差性 22 如异方差图所表明 var u X1 var u X2 var u X3 var u Xi 因此 很有可能 来自X X1时的Y总体的观测值比来自X2 X3等等时的Y总体的观测值会更靠近PRF 简言之 并不是对应于不同X的所有Y值都是同样可靠的 可以根据Y值多么靠近或多么远离其均值 也就是PRF上的点 分布以判断其可靠程度 因此 我们可以认为那些离均值较近的Y总体的样本比远为分散的Y总体的样本更为可取 同方差假设表明 对应于不同X值的全部Y值具有同样的重要性 23 线性回归模型的基本假设 2 3 假设2 随机误差项 具有零均值 同方差和不自相关性 不序列相关 2 3 不自相关 Cov i j Xi Xj 0i ji j 1 2 n或记为Cov i j 0i ji j 1 2 n意为 相关系数为0 i j非线性相关 几何意义如下 24 给定Xi值 任意两个Y值对它们的均值的离差都不会表现出如图 a 和 b 的模式 该假设是说 我们只考虑Xt对Yt的系统性影响和是否有影响 而不去担心由于u之间的可能的交互相关而造成的其他可能作用于Y的影响 25 线性回归模型的基本假设 3 假设3 随机误差项 与解释变量X之间不相关 Cov Xi i 0i 1 2 n 作此假设的理由 当我们把PRF表述为时 我们假定了X和u 后者代表所有被省略的变量的影响 对Y有各自的 并且可加的 影响 但若X和u是相关的 就不可能评估它们各自对Y的影响 Xi确定 26 线性回归模型的基本假设 4 假设4 服从零均值 同方差 零协方差的正态分布 i N 0 2 i 1 2 n意为 ui服从正态分布且相互独立 因为对两个正态分布的变量来说 零协方差或零相关意为这两个变量独立 作该假设的理由 i代表回归模型中末明显引进的许多解释变量的总影响 利用统计学中著名的中心极限定理 如果存在大量独立且相同分布的随机变量 那么 随着这些变量的个数无限地增大 它们的总和将趋向正态分布 注意 在古扎拉蒂教材中 该假设是作为经典正态线性回归模型的假设 并非经典线性回归模型的假设 27 1 如果假设1 2满足 则假设3也满足 2 如果假设4满足 则假设2也满足 注意 以上假设也称为线性回归模型的经典假设或高斯 Gauss 假设 满足该假设的线性回归模型 也称为经典线性回归模型 ClassicalLinearRegressionModel CLRM 28 线性回归模型的基本假设 5 假设5 var X 必须是一个有限的正数 教材的假设5 意为 在一个给定的样本中 X值不可以全是相同的如果全部X值都相同 则 方程的分母就变为零 从而无法估计 也就无法估计 又如 家庭消费支出例子 如果家庭收入很少变动 我们就不能解释消费支出的变化 读者应该记住 要把回归分析作为一种研究工具来使用 Y和X两者均有变化是最为重要的 简言之 变量必须在变 29 线性回归模型的基本假设 6 1 假设6 回归模型是正确设定的 模型的正确设定表现为以下几个方面 1 模型应包括哪些变量 2 模型的函数形式如何 线性 非线性 3 对进入模型的变量要做些什么概率上的假定 Xi Yi ui 30 线性回归模型的基本假设 6 2 实际上人们很少知道模型应包括的正确变量 模型的正确函数形式或关于进人模型变量的正确的概率假定是什么 因为 关于某一具体研究的基础理论未必牢靠或扎实到足以回答所有这些问题 因此 在实践中 计量经济学家在选择进入模型的变量个数 模型的函数形式以及关于模型所含变量的概率性质的假定时 必须做出一些自己的判断 为做经验分析而选择 正确 模型在一定程度上涉及一些尝试与纠错过程 计量经济的模型建造 与其说是一种科学 毋宁说是一种艺术 31 线性回归模型的基本假设 7 补充三个假设假设7 回归模型是线性模型 对参数而言为线性 假设8 没有完全的多重共线性 即解释变量之间没有完全的线性关系 假设9 观测次数大于待估计参数个数 32 习题 1 P53 4 33 最小二乘估计量的性质 当模型参数估计出后 需考虑参数估计值的精度 即是否能代表总体参数的真值 或者说需考察参数估计量的统计性质 一个用于考察总体的估计量 可从如下几个方面考察其优劣性 1 线性性 即它是否是样本观测值的线性函数 2 无偏性 即它的均值或期望值是否等于总体的真实值 3 有效性 即它是否在所有线性无偏估计量中具有最小方差 34 4 渐近无偏性 即样本容量趋于无穷大时 是否它的均值序列趋于总体真值 5 一致性 即样本容量趋于无穷大时 它是否依概率收敛于总体的真值 6 渐近有效性 即样本容量趋于无穷大时 是否它在所有的一致估计量中具有最小的渐近方差 这三个准则也称作估计量的小样本性质 拥有这类性质的估计量称为最佳线性无偏估计量 bestlinerunbiasedestimator BLUE 当不满足小样本性质时 需进一步考察估计量的大样本或渐近性质 35 高斯 马尔可夫定理 Gauss Markovtheorem 在给定经典线性回归的假定下 最小二乘估计量是具有最小方差的线性无偏估计量 why 36 证 易知 故 同样地 容易得出 why 37 38 2 证明最小方差性 其中 ci ki di di为不全为零的常数则可证明 普通最小二乘估计量 ordinaryleastSquaresEstimators 称为最优线性无偏估计量 bestlinearunbiasedestimator BLUE why 教材没有 请补充 练习 39 由于最小二乘估计量拥有一个 好 的估计量所应具备的小样本特性 它自然也拥有大样本特性 why 40 1 满足线性性 无偏性 有效性三个小样本性质的参数估计量称为最佳线性无偏估计量 bestlinearunbiasedestimator BLUE 2 满足小样本性质的参数估计量自然也满足大样本性质 3 在小样本性质不满足的情况下 应扩大样本容量 考察大样本性质 4 在满足基本假设情况下 一元线性回归模型的普通最小二乘参数估计量是最佳线性无偏估计量 why 几点说明 41 变量及参数估计量的概率分布 前提 i N 0 2 1 变量Yi满足正态分布 其中 因此 42 变量及参数估计量的概率分布 前提 i N 0 2 1 估计量和满足正态分布 43 44 最小二乘估计量精度 标准差 最小二乘估计是样本数据的函数 但因数据会从一个样本变到另一个样本 估计值也必定随之改变 因此需要有关于估计量的 可靠性 或精密度的某种度量 在统计学中 一个估计量的精密度由它的标准误 差 来衡量 故求估计量的方差是有意义的 45 随机误差项 的方差 2的估计 1 由于随机项 i不可观测 只能从 i的估计 残差ei出发 对总体方差进行估计 2又称为总体方差 可以证明 2的最小二乘估计量为 该估计量是否具有无偏性 why 46 随机误差项 的方差 2的估计 2 而 或根据后面的结论有 因此 有 或 进而 有 47 48 三 参数估计的最大似然法 ML 最大似然法 MaximumLikelihood 简称ML 也称最大或然法 是不同于最小二乘法的另一种参数估计方法 是从最大似然原理出发发展起来的其它估计方法的基础 基本原理 对于最大或然法 当从模型总体随机抽取n组样本观测值后 最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大 49 在满足基本假设条件下 对一元线性回归模型 随机抽取n组样本观测值 Xi Yi i 1 2 n 则Yi服从如下的正态分布 于是 Y的概率函数为 i 1 2 n 50 因为Yi是相互独立的 所以的所有样本观测值的联合概率 也即似然函数 likelihoodfunction 为 将该似然函数极大化 即可求得到模型参数的极大似然估计量 51 由于似然函数的极大化与其对数的极大化是等价的 所以 取对数似然函数如下 52 53 可得 1 2 3 化简 1 2 式可得 这与最小二乘参数估计中的正规方程相同 54 解得模型的参数估计量为 可见 在满足一系列基本假设的情况下 模型结构参数的最大或然估计量与普通最小二乘估计量是相同的 55 将ML估计量代入 3 式可得 3 显然 ML估计量与OLS估计量不同 是否具备无偏性 56 显然 ML估计量不具备无偏性 但当样本增多 n趋向无穷大时 故是渐进无偏的 根据求估计量时所得结论 57 举例 求 需要知道由样本先求出哪些量 例2 2 1 P24 在家庭可支配收入 消费支出例中 对于所抽出的以下一组样本 请求出用OLS法估计的参数 58 所用公式 59 60 因此 由该样本估计的回归方程为 思考 估计的参数有何意义 61 要点与结论 1 回归分析的基本构架是CLRM2 CLRM是以一组假定为基础的3 基于这些假定 最小二乘估计量便具有一些可