一元线性回归模型及参数估计ppt课件.ppt

一元线性回归模型及其参数估计 一 一元线性回归模型的参数估计二 最小二乘参数估计量的统计性质三 最小二乘参数估计量的概率分布 1 一 一元线性回归模型的参数估计 2 一元线性回归模型的一般形式 3 模型参数估计的任务 模型参数估计的任务为两项 4 1 普通最小二乘法 OrdinaryLeastSquare OLS 给定一组样本观测值 Xi Yi i 1 2 n 假如模型参数估计量已经求得 并且是最合理的参数估计量 那么样本回归函数应该能够最好地拟合样本数据 即样本回归线上的点与真实观测点的 总体误差 应该尽可能地小 最小二乘法给出的判断标准是 二者之差的平方和最小 即 5 6 解得 7 最小二乘参数估计量的离差形式 deviationform 注 在计量经济学中 往往以大写字母表示原始数据 观测值 而以小写字母表示对均值的离差 deviation 8 随机误差项方差的估计量 9 1 用原始数据 观测值 Xi Yi计算 简捷公式为 2 用离差形式的数据xi yi计算 其中 简捷公式为 10 2 最大似然法 MaximumLikelihood ML 最大或然法 也称最大似然法 是不同于最小二乘法的另一种参数估计方法 是从最大或然原理出发发展起来的其它估计方法的基础 基本原理 对于最大或然法 当从模型总体随机抽取n组样本观测值后 最合理的参数估计量应该使得从模型总体中抽取该n组样本观测值的联合概率最大 11 12 将该或然函数极大化 即可求得到模型参数的极大或然估计量 13 由于或然函数的极大化与或然函数的对数的极大化是等价的 所以 取对数或然函数如下 14 可见 在满足一系列基本假设的情况下 模型结构参数的最大或然估计量与普通最小二乘估计量是相同的 15 但是 随机误差项的方差的估计量是不同的 16 3 样本回归线的数值性质 numericalproperties 样本回归线通过Y和X的样本均值 Y估计值的均值等于观测值的均值 残差的均值为0 17 二 最小二乘参数估计量的统计性质高斯 马尔可夫定理 18 当模型参数估计完成后 需考虑参数估计值的精度 即是否能代表总体参数的真值 或者说需考察参数估计量的统计性质 高斯 马尔可夫定理 Gauss Markovtheorem 在给定经典线性回归的假定下 最小二乘参数估计量是具有最小方差的线性无偏估计量 19 1 线性性 最小二乘参数估计量是Y的线性函数 20 2 无偏性 最小二乘参数估计量的均值等于总体回归参数真值 21 22 3 有效性 在所有线性无偏估计量中 最小二乘参数估计量具有最小方差 23 24 2 证明最小方差性 25 26 27 4 结论普通最小二乘参数估计量具有线性性 无偏性 最小方差性等优良性质 具有这些优良性质的估计量又称为最佳线性无偏估计量 即BLUE估计量 theBestLinearUnbiasedEstimators 显然这些优良的性质依赖于对模型的基本假设 28 三 最小二乘参数估计量的概率分布 29 30 31 可以证明 随机误差项方差的无偏估计量为