第9章多元线性回归

作者 贾俊平 统计学统统 计计 学学(第三版第三版 )20089 - 2统计学STATISTICS(第三版 )2008年 8月上好的模型选择可遵循一个称为奥克姆剃刀 (Occams Razor)的基本原理：最好的科学模型往往最简单，且能解释所观察到的事实。 William Navidi统计名言统计名言第 9 章 多元线性回归9.1 多元线性回归模型多元线性回归模型 9.2 拟合优度和显著性检验拟合优度和显著性检验9.3 多重共线性及其处理多重共线性及其处理9.4 利用回归方程进行预测利用回归方程进行预测9.5 虚拟自变量的回归虚拟自变量的回归9 - 4统计学STATISTICS(第三版 )2008年 8月学习目标l 多元线性回归模型、回归方程与估计的回归方程l 回归方程的拟合优度与显著性检验l 多重共线性问题及其处理l 利用回归方程进行预测l 虚拟自变量的回归l 用 Excel和 SPSS进行回归分析9 - 5统计学STATISTICS(第三版 )2008年 8月身高受那些因素影响？ 决定身高的因素是什么？父母遗传、生活环境、体育锻炼，还是以上各因素的共同作用 2004年 12月，中国人民大学国民经济管理系 02级的两位学生，对人大在校生进行了问卷调查。问卷采取随机发放、当面提问当场收回 调查的样本量为 98人，男性 55人，女性 43人。调查内容包括被调查者的身高 (单位： cm)、性别、其父母身高、是否经常参加体育锻炼、家庭所在地是在南方还是在北方等等。部分数据如教材中的表所示 (1代表男性， 0代表女性 ) 父亲身高、母亲身高、性别是不是影响子女身高的主要因素呢？如果是，子女身高与这些因素之间能否建立一个线性关系方程，并根据这一方程对身高做出预测？ 这就是本章将要讨论的多元线性回归问题 9.1 多元线性回归模型多元线性回归模型9.1.1 回归模型与回归方程回归模型与回归方程9.1.2 参数的最小二乘估计参数的最小二乘估计第第 9 章章 多元线性回归多元线性回归9.1.1 回归模型与回归方程9.1 多元线性回归模型多元线性回归模型9 - 8统计学STATISTICS(第三版 )2008年 8月多元回归模型(multiple linear regression model)1. 一个因变量与两个及两个以上自变量的回归2. 描述因 变量 y 如何依赖于自变量 x1 ， x2 ， ， xk 和误差项 的方程，称为多元回归模型3. 涉 及 k 个自变量的多元线性回归模型可表示为 0 ， 1， ， ， k是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量 y 是是 x1,， x2 ， ， xk 的线性函数加上误差项的线性函数加上误差项 包含在包含在 y里面但不能被里面但不能被 k个自变量的线性关系个自变量的线性关系所解释的变异性所解释的变异性9 - 9统计学STATISTICS(第三版 )2008年 8月多元回归模型(基本假定 ) 1. 正态性。误 差项 是一个服从正态分布的随机变量，且期望值为 0，即 N(0,2)2. 方差 齐性。 对于 自变量 x1， x2， ， xk的所有值， 的方差 2都相同3. 独立 性。 对于自变量 x1， x2， ， xk的 一组特定值，它所对应的 与任意一组其他值所对应的不相关9 - 10统计学STATISTICS(第三版 )2008年 8月多元线性回归方程(multiple linear regression equation)1. 描 述因变量 y 的平均值或期望值如何依赖于自变量 x1， x2 ， ， xk的方程2. 多 元线性回归方程的形式为E( y ) = 0+ 1 x1 + 2 x2 + + k xk 1， ， ， k称为偏回归系数称为偏回归系数 i 表示假定其他变量不变，当表示假定其他变量不变，当 xi 每每变动一个单位时，变动一个单位时， y 的平均变动值的平均变动值9 - 11统计学STATISTICS(第三版 )2008年 8月估计的多元线性回归的方程(estimated multiple linear regression equation) 是是 估计值估计值 是是 y 的估计值的估计值1. 用样本统计量 估计回归方程中的 参数 时得到的方程2. 由最小二乘法求得3. 一般形式为9.1.2 参数的最小二乘估计9.1 多元线性回归模型多元线性回归模型9 - 13统计学STATISTICS(第三版 )2008年 8月参数的最小二乘估计2. 求求 解解 各回归参数的标准方程如下各回归参数的标准方程如下1. 使使 因变量的观察值与估计值之间的离差平方和因变量的观察值与估计值之间的离差平方和达到最小来求得达到最小来求得 。即。即9 - 14统计学STATISTICS(第三版 )2008年 8月参数的最小二乘法(例题分析 )【 例例 】 一家大型商业银行在多个地区设有分行一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该，为弄清楚不良贷款形成的原因，抽取了该银行所属的银行所属的 25家分行家分行 2002年的有关业务数年的有关业务数据。试建立不良贷款据。试建立不良贷款 y与贷款余额与贷款余额 x1、累计应、累计应收贷款收贷款 x2、贷款项目个数、贷款项目个数 x3和固定资产投资和固定资产投资额额 x4的线性回归方程，并解释各回归系数的的线性回归方程，并解释各回归系数的含义含义 用用 Excel进行回归进行回归9 - 15统计学STATISTICS(第三版 )2008年 8月参数的最小二乘估计(例题分析 )F检验检验t 检验检验偏回归系数偏回归系数9.2 拟合优度和显著性检验拟合优度和显著性检验9.2.1 回归方程的拟合优度回归方程的拟合优度9.2.2 显著性检验显著性检验第第 9 章章 多元线性回归多元线性回归9.2.1 回归方程的拟合优度9.2 拟合优度和显著性检验拟合优度和显著性检验9 - 18统计学STATISTICS(第三版 )2008年 8月多重判定系数(multiple coefficient of determination) 1. 回归平方和占总平方和的比例2. 计算公式为3. 因变量取值的变差中，能被估计的多元回归方程所解释的比例 9 - 19统计学STATISTICS(第三版 )2008年 8月修正多重判定系数(adjusted multiple coefficient of determination) 1. 用样本量 n和自变量的个数 k去修正 R2得到 2. 计算公式为3. 避免增加自变量而高估 R24. 意义与 R2类似5. 数值小于 R2用用 Excel进行回归进行回归9 - 20统计学STATISTICS(第三版 )2008年 8月多重相关系数(multiple correlation coefficient) 1. 多重判定系数的平方根 R2. 反映因变量 y与 k个自变量之间的相关程度3. 实际上 R度量的是因变量的观测值 与由多元回归方程得到的预测值 之间的关系强度，即多重相关系数 R等于因变量的观测值 与估计值 之间的简单相关系数即 (一元相关系数 r也是如此，即 。读者自己去验证 )9 - 21统计学STATISTICS(第三版 )2008年 8月估计标准误差 Se1. 对误差项 的标准差 的 一个估计值2. 衡量多元回归方程的拟合优度3. 计算公式为用用 Excel进行回归进行回归9.2.2 显著性检验9.2 拟合优度和显著性检验拟合优度和显著性检验9 - 23统计学STATISTICS(第三版 )2008年 8月线性关系检验1. 检验因变量与所有自变量之间的线性关系是否显著2. 也被称为 总体的显著性 检验3. 检验方法是将回归均方 (MSR)同残差均方(MSE)加以比较， 应用 F 检验 来分析二者之间的差别是否显著n 如果是显著的，因变量与自变量之间存在线性关系n 如果不显著，因变量与自变量之间不存在线性关系9 - 24统计学STATISTICS(第三版 )2008年 8月线性关系检验1. 提出 假设n H0： 12 k=0 线性关系不显著n H1： 1， 2， k至少有一个不等于 02. 计算计算 检验统计量检验统计量 F3. 确定确定 显著性水平显著性水平 和分子自由度和分子自由度 k、分母自由度、分母自由度 n-k-1找出临界值找出临界值 F 4. 作出作出 决策：若决策：若 FF ，拒绝，拒绝 H0用用 Excel进行回归进行回归9 - 25统计学STATISTICS(第三版 )2008年 8月回归系数的检验1. 线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验2. 究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定3. 对回归系数检验的个数进行限制，以避免犯过多的第 类错误 (弃真错误 ) 4. 对每一个自变量都要单独进行检验5. 应用 t 检验统计量9 - 26统计学STATISTICS(第三版 )2008年 8月回归系数的检验(步骤 )1. 提出假设n H0： i = 0 (自变量 xi 与 因变量 y 没有线性关系 ) n H1： i 0 (自变量 xi 与 因变量 y有线性关系 ) 2. 计算检验的统计量 t3. 确定显著性水平确定显著性水平 ，并进行决策，并进行决策 tt，拒绝，拒绝 H0； tt，不拒绝，不拒绝 H0用用 Excel 进行回归进行回归9 - 27统计学STATISTICS(第三版 )2008年 8月回归系数的推断(置信区间 )回归系数在 (1-)%置信水平下的置信区间为回归系数的回归系数的抽样标准差抽样标准差用用 Excel进行回归进行回归9.3 多重共线性及其处理多重共线性及其处理9.3.1 多重共线性及其识别多重共线性及其识别9.3.2 变量选择与逐步回归变量选择与逐步回归第第 9 章章 多元线性回归多元线性回归9.