第三章 双变量回归模型：估计问题.ppt

第三章双变量回归模型 双变量线性回归模型的一般形式是 一 估计方法初探 怎样估计样本回归直线呢 显然综合起来看 这条直线处于样本数据的中心位置最合理 1 用 残差和最小 作为确定直线位置的标准 但很快发现计算 残差和 存在相互抵消的问题 不能用于实际计算 2 用 残差绝对值的和最小 确定直线位置也是一个途径 但绝对值的计算比较麻烦 应进一步寻找更好的估计方法 二 最小二乘估计法的原理 最小二乘法 OLS 的估计原理是以 残差平方和 最小 为原则确定直线位置 这种估计方法的特点是对远离回归直线的观测点给予更大的关注 三 最小二乘估计的计算 将观察值在直角坐标系中绘制出来 设样本回归方程为 实际值与拟合值的离差 离差平方和 最小二乘法的基本思想 原则 寻找实际值与拟合值的离差平方和为最小的回归直线 OLS法是以Q取最小值为条件确定回归直线 即确定和的值 当样本已知时 上式中的是已知量 和是未知量 把Q看作二者的函数 这是一个二元函数求极值问题 解法是求Q对和的偏导数并令其为零 根据微积分中求极值的原理 得正规方程如下 由于参数的估计结果是通过最小二乘法得到的 故称为普通最小二乘估计量 ordinaryleastsquaresestimators 对OLS估计量的说明 OLS估计量可由观测值计算 OLS估计量是点估计量 一旦从样本数据得到OLS估计值 就可画出样本回归线 样本回归函数的表现形式 证明 例讨论家庭收入X对家庭消费支出Y的影响问题 如果通过调查得到一组数据 百元 四 样本回归线的性质 残差和为零 自变量与残差不相关 平均数相等 拟合值与残差不相关 回归直线过点 2经典线性回归模型的基本假定 一 基本假定假定1 线性回归模型 即回归模型对参数而言是线性的 假定2 在重复抽样中X值是固定的 即假设X是非随机的 假定3 随机误差项的均值为零 两个假定是等价的 这一假定说明 凡是模型不含的因而属于ui的因素 对Y的均值都没有系统的影响 假定3随机误差项的均值为零 假定4 同方差性或ui的方差相等 即ui的条件方差是恒定的 假定5 各个随机误差项之间无自相关 利用假定5 就是说 我们将只考虑X对Y的系统性影响和是否有影响 而不去担心由于u之间的可能的交互相关而造成的其他可能作用于Y的影响 假定6 ui与Xi的协方差为零 假定7 观测次数n不小于待估计的参数个数 换言之 观测次数n必须大于解释变量的个数 假定8 X值要具有变异性 假定9 正确地设定了回归模型 即在经验分析中所用的模型没有设定偏差 假定10 没有完全的多重共线性 即解释变量之间没有完全的线性关系 二 最小二乘估计的精度或标准差 由于总体方差 2通常未知 需要利用下式估算 估计标准误差则为 三 高斯 马尔可夫定理 最小二乘估计量的性质 三 最小方差性在所有这样的线性无偏估计量中 最小二乘估计量具有最小方差 有最小方差的估计量称为有效估计量 高斯 马尔可夫定理 在给定经典线性回归模型的假定下 最小二乘估计量在无偏线性估计量一类中具有最小方差 即为最佳线性无偏估计或叫最小方差线性无偏估计 BestLinearUnbiasedEstimator BLUE BLUE估计量的图形表示 附 3拟合优度检验 统计检验之一 问 样本回归线对数据拟合得有多好 如果全部观测点都落在样本回归线上 则得到的是一个 完美 的拟合 一般情形 总有一些正的残差或负的残差 我们希望这些围绕着回归线的残差尽可能小 判定系数就是用来做拟合优度检验的 维恩图 Y的变异完全由X的变异所解释 拟合优度检验的几何含义 一 平方和公式 平方和公式中各项的解释 总平方和 TSS 是实测的Y值围绕其均值的总变异 解释平方和 ESS 是估计的Y值围绕其均值的变异 残差平方和 RSS 是未被解释的围绕回归线的Y的变异 平方和公式的几何表示 来自残差 来自回归 总离差 SRF TSS ESS RSS 二 r2公式 r2测度了在Y的总变异中由回归模型解释的那个部分所占的比例或百分比 称之为 样本 判定系数 r2的两个性质 它是一个非负值 取值范围 0 r2 1 问 r2 0意味着什么 r2 1意味着什么 r2 1 r2 0 三 判定系数与样本相关系数r 相关系数r的一些性质 可正可负区间为 1 1 是对称的与原点和尺度无关 若Xi aXi b Yi cYi d a 0 c 0 则r Xi Yi r Xi Yi 若X与Y独立 则相关系数为0 反之不然是线性关联 不能用于描述非线性关系未必有因果关系 只是线性关联 四 相关样式的图形表示 四 相关样式的图形表示 续1 四 相关样式的图形表示 续2 四 相关样式的图形表示 续3 一个数值例子 支出与收入 1 0 51 24 5 一个数值例子 斜率项0 51 在80到260美元的X的样本极差 最大值减最小值 范围内 X每增加1美元 平均每周消费估计增加51美分 截距项24 5 X样本中不含X 0的点 所以截距项没有什么意义 通常不用解释它 若要解释 需借助经济学常识 R2 0 9621表示约有96 的每周消费支出的变异 能由收入来说明 咖啡的例子 斜率项0 4795 咖啡价