第04章 多元回归分析1.ppt

多元线性回归分析 程建华2020年2月25日 安徽大学经济学院 计量经济学讲义 多元线性回归分析 包含多个解释变量的回归模型 称为多元回归 多元是指有多种因素对因变量的影响 多元回归模型需要回答一下问题 如何估计多元回归模型 多元回归模型的估计过程与一元回归模型有何不同 多元回归模型的假设检验与一元回归模型有何不同 多元回归模型有没有在一元回归模型中没有遇到的特殊问题 既然一个多元回归模型能够包含多个解释变量 那么如何决定解释变量的个数 4 1最简单的多元线性回归分析 总体多元线性回归方程 随机形式 其中 Y 因变量 X2 X3 解释变量 u 随机扰动项B1 截距 表示了当X2 X3为零时Y的平均值 B2 B3 偏回归系数 4 1 4 2 问题 消费与收入之间的线性回归模型C a b Y 其中回归系数a和b在 西方经济学 的含义 4 1最简单的多元线性回归分析 随机形式 任何一个Y值可以表示成为两部分之和 1 系统成分或确定性成分B1 B2X2 B3X3 即Y的均值 2 非系统成分或随机成分u 由X2 X3为以外的其他因素决定 4 1最简单的多元线性回归分析 随机形式 偏回归系数的含义 1 B2度量了在X3保持不变的情况下 X2变动引起Y均值E Y 的改变量 2 B3度量了在X2保持不变的情况下 X3变动引起Y均值E Y 的改变量 假定1回归模型参数是线性的 但不一定是变量线性的 回归模型形式如下 4 2多元线性回归模型的若干假定 假定2解释变量X2 X3与扰动误差项u不相关 如果X是非随机的 则该假定自然满足 假定3给定X 扰动误差项u的数学期望或均值为0 即E u 0 X Y 0 u u u u u u 4 2多元线性回归模型的若干假定 假定4误差扰动项u的方差为常数 即Var u 2 称之为同方差 homoscedasticity X Y 0 u u u u u u X Y 0 u u u u u u 同方差 homoscedasticity 异方差 heteroscedasticity 4 2多元线性回归模型的若干假定 假定5无自相关假定 即两个误差项之间不相关 Cov ui uj 0 ij 正相关 负相关 不相关 4 2多元线性回归模型的若干假定 假定6解释变量X2 X3之间不存在完全共线性 即两个解释变量之间无确切的线性关系 所谓的完全共线性是指一个变量可由另一个变量线性表示 如X2 3 4X3 不存在完全共线性 也即是两变量之间不能相互线性表示 4 2多元线性回归模型的若干假定 假定7在总体回归函数中 误差项u服从均值为0 方差为 2的正态分布 即u N 0 2 4 2多元线性回归模型的若干假定 要求OLS估计量 与PRF相应的样本回归函数SRF为 其中e为残差项 简称残差 b是总体系数B的估计量 b1是B1的估计量 b2是B2的估计量 b3是B3的估计量 4 3多元线性回归参数的确定 4 3 4 4 4 5 最小二乘法 基本数学要求 4 3多元线性回归参数的确定 4 6 求偏导数 得线性方程组 4 3多元线性回归参数的确定 其中小写字母表示变量与其均值离差 4 7 4 8 4 9 4 4OLS估计量的方差与标准误 计算标准误的目的 1 建立真实参数的置信区间 2 检验统计假设 4 10 4 11 4 4OLS估计量的方差与标准误 计算标准误的目的 1 建立真实参数的置信区间 2 检验统计假设 4 12 4 13 4 4OLS估计量的方差与标准误 计算标准误的目的 1 建立真实参数的置信区间 2 检验统计假设 4 14 4 15 4 4OLS估计量的方差与标准误 在所有上述这些表达式中 2表示总体误差项u的方差 这个未知方差的OLS估计量是 4 16 4 5估计多元回归的拟合优度 多元判定系数R2 在一元回归模型中 判定系数r2度量了样本回归直线SRL的拟合优度 即r2给出了单个解释变量X对因变量Y变动的解释比例或解释百分比 同理 在多元回归模型中 用多元判定系数度量X2和X3对因变量Y变动的联合解释比例 用R2表示 在含义上与r2类似 TSS ESS RSS 4 17 其中 TSS 因变量Y的总平方和 ESS 回归平方和 RSS 残差平方和 4 5估计多元回归的拟合优度 多元判定系数R2 与一元线性回归模型类似 定义下式 4 18 即R2是解释平方和与总平方和的比值 与一元回归模型唯一不同的是 现在的ESS与多个解释变量相关 可以证明 4 19 4 20 4 21 4 6多元回归的假设检验 虽然R2度量了估计回归直线的拟合优度 但是R2本身却不能判定估计的回归系数是否是统计显著的 即是否显著不为零 有的回归系数可能是显著的 有些可能不是 如何判断呢 与一元回归模型相同 如果用真实的但不可观察的 2的无偏估计量代替 2 则OLS估计量服从自由度为n 3的t分布 而不是正态分布 4 22 4 23 4 24 4 6多元回归的假设检验 4 1 4 25 4 7多元回归对偏回归系数进行假设检验 对上述回归模型 4 1 假定做如下假设 在上述零假设下 服从自由度为n 3的t分布 4 7 1置信区间法 假定显著性水平为 查表得对应于自由度为n 3的t值为t0 1 置信区间法 检验H0 B2 0 H1 B20 在给定显著性水平下 检验B2的置信区间是否包含0 若没有拒绝原假设 否则接受原假设 4 26 2 显著性检验法 检验H0 B2 0 H1 B20 计算t值 比较给定显著性水平下对应自由度n 3的t检验的临界值 绝对值大于临界值拒绝原假设 否则接受原假设 4 7 2显著性检验法 4 27 4 8检验联合假设 B2 B3 0或R2 0 现考虑零假设 H0 B2 B3 0 4 28 这个零假设称为联合假设 即B2 B3联合同时或同时为0 这个假设表明两个解释变量联合对因变量Y无影响 等同于 H0 R2 0 4 29 即两个解释变量对因变量变化的解释比例为零 假设 4 28 和假设 4 29 等价 称为多元回归的总体显著检验 即Y是否与X2与X3线性相关 4 8检验联合假设 B2 B3 0或R2 0 现考虑零假设 H0 B2 B3 0 4 28 对式 4 28 的假设进行检验的思路 既然B2 B3各自均显著不为0 那么它们也一定联合或集体显著不为0 即拒绝 4 28 这个零假设 在多元回归模型中 一个或多个解释变量各自对因变量没有影响 但联合却有影响 这表示前面讨论的t检验虽然对于检验单个回归系数的统计检验式有效的 但对于联合整体假设却是无效的 4 8检验联合假设 B2 B3 0或R2 0 联合假设检验的方差分析 ANOVA TSS ESS RSS 4 30 式 4 30 将TSS分解为两个部分 一部分ESS由回归模型解释 另一部分不能由回归模型解释 对TSS各个组成部分进行研究称为方差分析 即ANOVA 4 8检验联合假设 B2 B3 0或R2 0 三变量回归模型的方差分析表 注 MSS 平方和的均值 4 8检验联合假设 B2 B3 0或R2 0 如果满足古典线性回归模型基本假定以及误差项同方差假定 在零假设下 H0 B2 B3 0 可以证明变量 服从分子自由度为2 分母自由度为n 3的F分布 如果回归模型有k个解释变量 包括截距 则F值的分子自由度为k 1 分母自由度为n k 4 31 4 8检验联合假设 B2 B3 0或R2 0 利用给出的F值检验X2和X3对Y有没有影响 从 4 31 可以看到 如果 4 31 中的分子比分母大 即如果Y由回归解释的部分比未被回归解释的部分大 则F值将大于1 因此 随着解释变量对因变量Y变异的解释比例逐渐增大 F值也将逐渐增大 因此 F值越大 则拒绝零假设的理由越充分 两个 或多个 解释变量对因变量Y无影响 4 8检验联合假设 B2 B3 0或R2 0 根据式 4 31 计算F值 并在所选显著水平 犯第一类错误的概率 将其与临界F值 分子自由度为2 分母自由度为n 3 进行比较 如果计算的F值超过临界F值 则拒绝零假设 即所有解释变量不能同时为零 如果F值不超过临界F值 则不能拒绝零假设 即解释变量对因变量无任何影响 4 31 4 8检验联合假设 F与R2之间的关系 判定系数R2与方差分析中用到的F值之间有如下重要关系 4 32 其中n为观察值的个数 k为包含截距在内的解释变量的个数 式 4 32 表明了F与R2之间的关系 当R2 0 因变量与解释变量无关 时 F 0 R2值越大 F值越大 当R2取其极限值1时 F值趋于无穷大 4 8检验联合假设 F与R2之间的关系 前面讨论过的F检验 用于度量总体回归直线的显著性 也可用于检验R2的显著性 即R2是否显著不为零 即式 4 28 与式 4 32 是等价的 用R2的形式进行F检验的一个优点是便于计算 仅需知道R2值即可 4 32 H0 B2 B3 0 4 28 4 8检验联合假设 R2形式的方差分析表 R2形式的方差分析表 注 MSS 平方和的均值 4 9从多元回归模型到一元回归模型 设定误差 如果从多元模型中删除个变量 会导致模型的设定偏差 specificationbias 或设定误差 specificationerror 更具体的说 导致了模型中遗漏相关变量的设定误差 注意 在研究的模型中 尽可能考虑合理的因素 不可轻易简化模型 4 10比较两个R2值 校正的判定系数 从例4 1看到一元回归模型的R2值比多元回归模型的R2值小 是偶然还是必然 回答是 判定系数R2的一个重要性质就是模型中解释变量的个数越多 R2值就越大看来要用更大的比例解释因变量的变异 仅仅需要不断增加解释变量的个数就可以了 但是 在R2 ESS TSS并没有考虑到自由度 在有k个变量的模型中 包括截距 ESS自由度为 k 1 因此 如果模型中有5个解释变量 则ESS自由度为4 4 10比较两个R2值 修正的判定系数 为此 需要调整拟合优度的度量指标 它应能根据模型中解释变量的个数进行调整 修正的判定系数R2以符号表示 4 33 修正的判定系数有如下性质 如果k 1 则 即随着模型中解释变量个数增加 修正判定系数越来越小于未修正判定系数R2 这似乎是对增加解释变量的 惩罚 虽然未修正判定系数R2总为正 但修正判定系数可能为负 4 11如何修正模型 在实际工作中 为了解释某个现象 往往面临着在若干解释变量间进行取舍的问题 通常的做法是 只要修正的判定系数增加 就可以增加新的解释变量 但是什么时候值开始增加呢 可以证明 如果增加变量系数的 t 值大于1 就会增加 这里的t值是在零假设 总体系数为零下计算得到的 4 11如何修正模型 PRICE 807 9501 54 57 BIDDERse 231 09 23 266 t 3 4962 2 3456 R2 0 15497p 0 0015 0 0258 当做拍卖价格对常数项和竞标人数回归时 竞标人数的t值为2 3456 如果把这个t值平方 得 2 3456 2 5 501由于t值大于1 且R2与其修正判定系数都增加了 计算得t值也是显著的 表明竞标人数应该纳入模型 总结 从逻辑基础上看 多元回归模型是一元回归模型的推广 理论基础与研究问题的方法基本相同 但多元回归与一元回归还是有很大差别 相同点 1 回归系数都是用OLS方法计算 2 在扰动项服从均值为0 方差为 2的正态分布假定下 每个估计系数都服从正态分布 3 每个多元回归系数服从自由度为n k的t分布 可用t分布进行检验 不同点 1 联合假设检验需要用F检验 2 利用t检验和F检验决定什么时候在模型中增加新变量 问题 钟表年限与竞标人数对价格的影响 事实是 钟表年数越久越值钱竞标人越多价格越高 竞标人数与价格的散点图 钟表年限与价格的散点图 1 价格对年限的回归 PRICE 191 6662 10 4856 AGEse 264 44 1 794 t 0 725 5 846 R2 0 5325p 0 4722 0 000 2 价格对竞标人的回归 PRICE 807 9501 54 57 BIDDERse 231 09 23 266 t 3 4962 2 3456 R2 0 15497p 0 0015 0 0258 3 钟表年限与竞标人对拍卖价格的影响 4关于价格 年限以及竞标人数的多元回归方程 PRICE 1336 049 12 7413 Age 85 764 BIDDERse 175 2725 0 9123 8 8019 t 7 6226 13 9653 9 7437 p 0 0000 0 0000 0 00000 R2 0 8906F 118 0585 5关于多元回归方程的联合检验 PRICE 1336 049 12 7413 Age 85 764 BIDDERse 175 2725 0 9123 8 8019 t 7 6226 13 9653 9 7437 p 0 0000 0 0000 0 00000 R2 0 8906F 118 0585 6钟表拍卖价格多元回归方程的输出结果 例4 2税收政策如何影响公司资本结构 为了解释哪种税收政策导致了美国制造业中不断增加的债务 产权资本比率 即用债务资本替代产权资本 即杠杆利率 Pozdenna估计了下面的回归方程 Yt B1 B2 X2t B3 X3t B4 X4t B5 X5t B6 X6t ut 4 44 其中 Y 杠杆利率 债务 债权 X2 公司税率 X3 个人税率 X4 资本所得税 X5 非债务避税 X6 通货膨