第7章--复回归分析：估计问题.ppt

第7章复回归分析 估计问题 复回归分析 也就是多元线性回归分析 讨论应变量或回归子Y 依赖于两个或更多个解释变量或回归元的模型 本章主要讨论有两个解释变量的情形 7 1三变量模型 符号与假定三变量的PRF为 7 1 1 其中是截距项 表示所有未包含到模型中来的变量对Y的平均影响 和被称为偏回归系数 partialregressioncoefficients 在经典线性回归模型 CLRM 的框架下 我们对 7 1 1 作如下假定 ui的均值为零 即 对每一个i 7 1 2 无序列相关 7 1 3 同方差性 7 1 4 ui与每一个X变量之间都有零协方差 7 1 5 其实 只要X2和X3是非随机的 并且有 7 1 2 成立 则这个假定就自动得到满足 无设定偏误 或 模型被正确地设定 7 1 6 X诸变量间无精确的共线性 或X2与X3之间无精确的线性关系 7 1 7 NoexactlinearrelationshipbetweenX2andX3 另外 还假定 复回归模型对参数而言是线性的 回归元的值在重复抽样中是被固定的 以及回归元的取值有足够的变异性 variability 7 1 7 式要求X2和X3之间无精确的线性关系 用专业术语讲就是无共线性 nocollinearity 或无多重共线性 nomulticollinearity 简单地说 就是没有一个解释变量可以写成其余解释变量的线性组合 从数学上看 无共线性的含义是 不存在一组不全为零的和 使得 7 1 8 如果这一关系式存在 则说明X2和X3是共线的 collinear 或线性相关的 linearlydependent 如果 7 1 8 式仅当时成立 则说X2和X3是线性独立的 如果 这会不会破坏无共线性的假定呢 不会 因为这里的两个变量的关系是非线性的 并不违背回归元之间没有精确线性关系的要求 在极端情形下 如果X2和X3存在准确的线性关系 比如 则独立的解释变量实际上只有一个 而不是两个了 7 2对复回归方程的解释把 7 1 1 的两边对Y求条件期望得 7 2 1 可见 复回归分析是以多个解释变量的固定值为条件的回归分析 我们所获得的 是各个自变量X值固定时 Y的平均值或Y的平均响应 meanresponse 7 3偏回归系数的含义偏回归系数的含义 度量着在保持X3不变的情况下 X2每变化1个单位时 Y的均值的变化 换一句话说 给出X2的单位变化对Y均值的 直接 或 净 影响 净在不染有X3的影响 则给出了X3的单位变化对Y均值的 直接 或 净 影响 净在不沾有X2的影响 如何分离出X2对Y的 真实 或净影响呢 第一步 Y仅对X3回归 7 3 1 其中是样本残差项 b13的下标1指变量Y 第二步 X2对X3回归 7 3 2 其中也是残差项 于是 7 3 3 7 3 4 其中和是分别从回归 7 3 1 和 7 3 2 得来的估计值 残差和的含义 表示去掉X3对Y的 线性 影响后的Yi值 表示除去X3对X2的 线性 影响后的X2i的值 这样以来 和就代表是 净化了的 purified Yi和X2i 即除去了X3的影响 沾染 的Yi和X2i 第三步 做对的回归 7 3 5 其中 是样本残差项 那么 就是X2对Y的 真实 或净影响的一个估计 或者说 是Y对X2的真实斜率的一个估计 7 4偏回归系数的OLS估计一 OLS估计量 7 1 1 式的PRF相对应的样本回归函数 SRF 为 7 4 1 其中是残差项 是总体随机扰动项ui的相对部分 OLS方法的实质就是 通过残差平方和 RSS 的一阶条件求未知参数的估计值 7 4 2 于是 得正规方程 从而 的OLS估计量为 7 4 6 7 4 7 7 4 8 如果 2和 3无关 会怎样 OLS估计量的特点 可以从方程 7 4 7 和 7 4 8 中的一个通过x2和x3的对调而得到另一个 所以 它们本质上是对称的 两个方程的分母完全相同 三变量情形是双变量情形的自然而然的推广 二 OLS估计量的方差和标准误我们计算出标准误主要有两个作用 建立置信区间 检验统计假设 公式如下 证明见第九章 7 4 9 7 4 10 7 4 11 或者 7 4 12 其中 r23是X2和X3的样本相关系数 7 4 13 7 4 14 或者 7 4 15 7 4 16 7 4 17 在上述公式中是总体干扰项ui的方差 的无偏估计量是 7 4 18 注 自由度为 n 3 这是因为在估计之前 必须先估计和 从而损失了3个自由度 四变量中自由度为 n 4 等 而 7 4 19 课堂作业 证明上式 三 OLS估计量的性质1 三变量回归面通过均值 和 因为 7 4 3 告诉我们 这个性质可以推广到一般情形 如在K变量回归中有 2 估计的 即 的均值等于真实的均值 由和得 7 4 22 将上式两边对所有样本值求和 再除以样本容量n得 从而有 由于 7 4 22 7 4 23 其中 因此 SRF 的离差形式表达为 7 4 24 3 在求解OLS估计量的过程中 曾经有 这就是4 残差与和都不相关 就是 这也是求解OLS估计量的副产品 即是所求 5 残差与不相关 即 7 4 23 6 由 7 4 12 和 7 4 15 可见 越大 越接近1 和越大 它们将很难估计和的真值 7 由 7 4 12 和 7 4 15 可见 与成反比 即X2的样本值变化越大 的方差越小 对的估计的精度越高 对的方差也如此 8 偏回归系数的OLS估计量是BLUE 最佳线性无偏估计 证明略 用矩阵证明更简单 见第9章 7 5复判定系数与复相关系数R TheMultiplecoefficientofDeterminationandtheMultiplecoefficientofCorrelationR 复判定系数 在三变量 或者更多变量 的模型中 衡量Y的变异由变量 等联合解释的比例 记作 在概念上 近似于 的推导 7 5 1 是从所拟合的回归线 SRF 估计的值 它是真实的一个估计量 7 5 1 可以变换为 7 5 2 上式两边平方 再对i求和 得 7 5 3 7 5 3 表明 总平方和 解释平方和 残差平方和即 TSS ESS RSS 7 4 19 表明 代入 7 5 3 有 整理得 7 5 4 于是 由定义有 7 5 5 越接近于1 我们说模型 拟合 得越好 复相关系数R 度量Y和所有解释变量在一起的关联程度 在一元回归中 r可正可负 但是 在多元回归中 R永远取正值 实际上 R没有太大的意思 用途不大 7 7从复回归的角度看简单回归 设定偏误初探 第三版 7 6 1 模型试图用失业率和预期通货膨胀率去解释真实通货膨胀率的变化 7 6 1 如果采用双变量模型去拟合的话 则为 7 7 1 既然 7 6 1 是 正确 的模型 那么 7 7 1 就必然是一个有偏误的模型 其偏误在于丢失了一个不应该省略的变量 如果 7 6 1 的是真实的一个无偏估计 即 那么 在一元回归中的简单回归系数将不会是的无偏估计量 事实上 有以下关系式 7 7 2 其中 是对回归中的斜率系数 即或者 有 证明 离差形式的三变量总体回归模型可以表述为 1 先乘以 再乘以 得到通常的正规方程 2 3 用除 2 的两边得 4 而 是固定量 方程 4 便可以写为 5 5 式两边取期望值 得 6 与 不相关 是常数 其实 不仅有偏误 的方差也很可能有偏误 这是因为 7 把 5 式和 6 式代入 7 式并化简得 8 由 7 4 12 式我们知道 7 4 12 可见 8 式和 7 4 12 不同 是一个有偏估计量 结论 简单回归系数不仅度量了对Y的 直接 或 净 影响 而且也度量了通过它对所忽略变量的影响而影响Y的间接或诱发 induced 影响 简单地说 度量着对Y的总影响 直接影响加间接影响 而仅度量了对Y的直接或净影响 结论 如果需要一个三变量回归 就不要尝试简单或双变量回归 或者说得更一般 如果你认定某个特殊的回归模型是 正确 模型 就不要从中略去一个或多个变量 而把它加以修改 如果你忽视这条原则 你就会得到有偏误的参数估计 不仅如此 你还可能低估了真实的方差并因而低估了回归系数的估计标准误 7 8与校正 andtheAdjusted 我们知道 其中 与模型中X变量的个数无关 但是 则与模型中的回归元个数相关 随着X变量个数的增加 很可能减小 至少不会增大 从而将会增大 因此 在比较具有相同的因变量但有着不同个数的X变量的两个回归模型时 选择有最高值的模型就必须小心 这时 较高的可能来自解释变量个数的增加 并不能说明模型更好 考虑有关的自由度数 采用方差而不用变异 对的表达式进行修正 可以导出校正 校正判定系数 校正可决系数 7 8 2 其中 k代表模型中包括截距项在内的参数个数 显然 在三变量回归 二元回归 中k 3 为校正 adjusted 校正 指的是 利用相应的自由度对 7 8 1 式中的平方和进行校正 有个自由度 而有个自由度 需要指出的是 回归分析的目的并不是要追求较高的之值 而是要取得总体回归系数的可信任的估计量 以便作出统计推断 因此 研究人员应当更多地从理论上探讨解释变量与因变量之间的关系 而不能单凭最高的之值来选择模型 换言之 某个解释变量是否应列入模型 在很大程度上取决于事前的理论分析 7 11偏相关系数一 简单与偏相关系数的释义对于三变量回归模型 有三个简单相关系数 Y与之间的相关系数 Y与之间的相关系数 与之间的相关系数 这些相关系数可称毛 gross 或简单 simple 相关系数 correlationcoefficients 或称零阶相关系数 correlationcoefficientsofzeroorder 在多变量的情况下 简单相关系数不可能表明两个变量之间的线性关系的真实程度 例如 上述并不能反映Y和之间的真实相关程度 因为Y还受到的影响 我们还需要一个不依赖于对和Y的影响的一种相关系数 这种系数就是偏相关系数 partialcorrelationcoefficient 它类似于偏回归系数 TheNobelPrizeinEconomicSciences20