双变量回归模型：估计问题.ppt

第三讲 双变量回归模型 估计问题 主要内容 普通最小二乘法高斯 马尔可夫定理拟合优度 3 1普通最小二乘法 回归分析的主要目的 根据样本回归函数 估计总体回归函数 样本回归线如何确定 如何去估计样本回归线 估计的方法 普通最小二乘法 OLS 简单方便参数估计量在一定的假设下具有其他方法所没有的良好统计性质 给定一组样本观测值如何使尽可能好地拟合这组值 即我们希望样本回归模型的估计值尽可能地靠近观测值 为达到此目的 我们选择使 残差平方和 3 1 尽可能地小 其中是残差的平方 换句话说 我们期望能确定出 使得残差平方和最小 即求出 使成立根据微积分知识 3 2 3 3 3 4 3 5 解得 3 6 3 7 假定4 解释变量的样本有变异在样本中 解释变量的取值不为相同的常数 有意义或有解 写成离差形式 3 8 3 9 上面得到的估计量 是从最小二乘原理演算而得的 因此 称其为最小二乘估计量 估计量的数值性质 数值性质 指运用最小二乘估计法而成立的那些性质 而不管数据如何产生 1 2 3 3 2高斯 马尔可夫定理 最小二乘估计量有何优良的统计性质呢 假定5 同方差性 高斯 马尔可夫定理 在假定1 假定5下 OLS估计量是最优线性无偏估计量 BLUE 它是线性的它是无偏的它是有效估计量 1 线性性令 则有 这说明是的一个线性函数 它是以为权的一个加权平均数 从而它是一个线性估计量 同理 也是一个线性估计量 2 无偏性就是说 虽然由不同的样本得到的 可能大于或小于它们的真实值 但平均起来等于它们的真实值 因为 所以 3 有效估计量 具有最小方差估计量的精度 可靠性 2 证明最小方差性 其中 为不全为零的常数则容易证明 普通最小二乘估计量 ordinaryleastSquaresEstimators 称为最佳线性无偏估计量 bestlinearunbiasedestimator BLUE 3 3拟合优度 样本回归直线对数据拟合得有多好呢样本在多大程度上能够解释被解释变量的变异程度判定系数 拟合优度度量 计算R2的步骤如下 据样本回归模型可得 3 10 3 11 两式相减 可得 3 12 总平方和 TSS 解释平方和 ESS 残差平方和 RSS 对 3 12 两边取平方求和 3 13 式 3 13 可表示为 TSS ESS RSS 3 14 这说明的观测值围绕其均值的总变异可分解为两部分 一部分来自回归线 而另一部分则来自扰动项 总离差 来自回归 来自残差 用TSS除式 3 14 的两边 得 3 15 定义R2为 3 16 上述定义的称为判定系数 它是对回归线拟合优度的度量 就是说 测度了在的总变异中由回归模型解释的那个部分所占的比例或百分比 据判定系数的定义可知 等于1的R2意味着一个完美的拟合 即对每个都有 另一方面 等于0的R2意味着被解释变量与解释变量之间无任何关系 即 这时 就是说 对任一Y值的最优预测值都是它的均值 从而回归线平行于X轴 与R2关系紧密但概念上与R2差异较大的一个参数是相关系数 它测度了两个变量之间的关联度 也可据R的定义计算 3 17 从定义可以看出 在回归分析中 R2是一个比R更有意义的度量 因为R2告诉我们在被解释变量的变异中 由