第11章_多元线性回归

11 - 1统计 学STATISTICS(第二版 )世界上所有的模型都只是对现实世界的某种近似。没有完美的模型。所有的模型都命中注定要被修正、改进以至于被替代。吴喜之 11 - 2统计 学STATISTICS(第二版 )第 11 章 多元线性回归作者：中国人民大学 统计 学院贾 俊平统计学11 - 3统计 学STATISTICS(第二版 )统计应用预测大学足球比赛的获胜得分差额 为检验一场大学足球比赛中 “争球码数 ”、 “传球码数 ”、 “回传次数 ”、 “控球时间 ”以及 “主场优势 ”等变量对比赛最后得分的影响，分析人员建立了一个多元回归模型。该模型的因变量是 “比赛获胜得分的差值 ”，它等于胜方的最后得分减去负方的最后得分从高校体育协会前 20名球队的比赛中随机抽取了 90场，收集到自变量和因变量的数据，并进行多元回归分析，得到的回归结果如表预测变 量 系数 t值截距 3.22 2.06争球 码 数差 0.11 12.50传 球 码 数差 0.09 10.19回 传 次数差 -2.80 -5.75控球 时间 差 -0.01 -3.94主 场优势变 量 3.04 1.68因 变 量： 获胜 得分差修正的 R2=0.7211 - 4统计 学STATISTICS(第二版 )第 11 章 多元线性回归11.1 多元线性回归模型 11.2 回归方程的拟合优度11.3 显著性检验11.4 多重共线性11.5 利用回归方程进行估计和预测11.6 变量选择与逐步回归11.7 虚拟自变量的回归11.8 非线性回归11 - 5统计 学STATISTICS(第二版 )学习目标1. 回归模型、回归方程、估计的回归方程2. 回归方程的拟合优度 回归方程的显著性检验 多重共线性问题及其处理 利用回归方程进行估计和预测 虚拟自变量的回归问题 非线性回归 用 Excel 进行回归分析11 - 6统计 学STATISTICS(第二版 )11.1 多元线性回归模型11.1.1 多元回归模型与回归方程11.1.2 估计的多元回归方程11.1.3 参数的最小二乘估计11 - 7统计 学STATISTICS(第二版 )多元回归模型与回归方程11 - 8统计 学STATISTICS(第二版 )多元回归模型(multiple regression model) 一个因变量与两个及两个以上自变量的回归 描述因 变量 y 如何依赖于自变量 x1 ， x2 ， ， xk 和误差项 的方程，称为多元回归模型 涉 及 k 个自变量的多元回归模型可表示为 0 ， 1， ， ， k是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量 y 是是 x1,， x2 ， ， xk 的线性函数加上误差的线性函数加上误差项项 包含在包含在 y里面但不能被里面但不能被 k个自变量的线性关个自变量的线性关系系 所解释的变异性所解释的变异性11 - 9统计 学STATISTICS(第二版 )多元回归模型(基本假定 ) 误 差项 是一个期望值为 0的随机变量 ， 即E()=0 对于 自变量 x1， x2， ， xk的所有值， 的方差 2都相同 误 差项 是一个服从正态分布的随机变量，即 N(0,2)， 且相互独立11 - 10统计 学STATISTICS(第二版 )多元回归方程(multiple regression equation) 描 述因变量 y 的平均值或期望值如何依赖于自变量 x1， x2 ， ， xk的方程 多 元线性回归方程的形式为E( y ) = 0+ 1 x1 + 2 x2 + k xk 1， ， ， k称为偏回归系数称为偏回归系数 i 表示假定其他变量不变，当表示假定其他变量不变，当 xi 每变动每变动一个单位时，一个单位时， y 的平均变动值的平均变动值11 - 11统计 学STATISTICS(第二版 )二元回归方程的直观解释二元二元 线性回归模型线性回归模型(观察到的观察到的 y)回归面回归面0 ix1yx2(x1,x2)11 - 12统计 学STATISTICS(第二版 )估计的多元回归方程11 - 13统计 学STATISTICS(第二版 )估计的多元回的方程(estimated multiple regression equation) 是是 估计值估计值 是是 y 的估计值的估计值 用样本统计量 估计回归方程中的 参数 时得到的方程 由最小二乘法求得 一般形式为11 - 14统计 学STATISTICS(第二版 )参数的最小二乘估计11 - 15统计 学STATISTICS(第二版 )参数的最小二乘法2. 求求 解解 各回归参数的标准方程如下各回归参数的标准方程如下1. 使使 因变量的观察值与估计值之间的离差平方和因变量的观察值与估计值之间的离差平方和达到最小来求得达到最小来求得 。 即即11 - 16统计 学STATISTICS(第二版 )参数的最小二乘法(例题分析 )【例】【例】 一家大型商业银行在多个地区设有分一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取行，为弄清楚不良贷款形成的原因，抽取了该银行所属的了该银行所属的 25家分行家分行 2002年的有关业年的有关业务数据。试建立不良贷款务数据。试建立不良贷款 y与贷款余额与贷款余额 x1、累计应收贷款累计应收贷款 x2、 贷款项目个数贷款项目个数 x3和固定资和固定资产投资额产投资额 x4的线性回归方程，并解释各回的线性回归方程，并解释各回归系数的含义归系数的含义 用用 Excel进行回归进行回归11 - 17统计 学STATISTICS(第二版 )11.2 回归方程的拟合优度11.2.1 多重判定系数11.2.2 估计标准误差11 - 18统计 学STATISTICS(第二版 )多重判定系数11 - 19统计 学STATISTICS(第二版 )多重判定系数(multiple coefficient of determination) 回归平方和占总平方和的比例 计算公式为 因变量取值的变差中，能被估计的多元回归方程所解释的比例 11 - 20统计 学STATISTICS(第二版 )修正多重判定系数(adjusted multiple coefficient of determination) 用样本量 n和自变量的个数 k去修正 R2得到 计算公式为 避免增加自变量而高估 R2 意义与 R2类似 数值小于 R2 Excel 输出结果的分析输出结果的分析11 - 21统计 学STATISTICS(第二版 )估计标准误差 Sy 对误差项 的标准差 的 一个估计值 衡量多元回归方程的拟合优度 计算公式为 Excel 输出结果的分析输出结果的分析11 - 22统计 学STATISTICS(第二版 )11.3 显著性检验11.3.1 线性关系检验11.3.2 回归系数检验和推断11 - 23统计 学STATISTICS(第二版 )线性关系检验11 - 24统计 学STATISTICS(第二版 )线性关系检验 检验因变量与所有自变量之间的线性关系是否显著 也被称为 总体的显著性 检验 检验方法是将回归均方 (MSR)同残差均方(MSE)加以比较， 应用 F 检验 来分析二者之间的差别是否显著n 如果是显著的，因变量与自变量之间存在线性关系n 如果不显著，因变量与自变量之间不存在线性关系11 - 25统计 学STATISTICS(第二版 )线性关系检验 提出 假设n H0： 12k=0 线性关系不显著n H1： 1， 2， k至少有一个不等于 02. 计算计算 检验统计量检验统计量 F3. 确定确定 显著性水平显著性水平 和分子自由度和分子自由度 k、 分母自由分母自由度度 n-k-1找出临界值找出临界值 F 4. 作出作出 决策：若决策：若 FF ， 拒绝拒绝 H0 Excel 输输出结果的分析出结果的分析11 - 26统计 学STATISTICS(第二版 )回归系数检验和推断11 - 27统计 学STATISTICS(第二版 )回归系数的检验 线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验 究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定 对回归系数检验的个数进行限制，以避免犯过多的第 类错误 (弃真错误 ) 对每一个自变量都要单独进行检验 应用 t 检验统计量11 - 28统计 学STATISTICS(第二版 )回归系数的检验(步骤 ) 提出假设n H0： i = 0 (自变量 xi 与 因变量 y 没有线性关系 ) n H1： i 0 (自变量 xi 与 因变量 y有线性关系 ) 计算检验的统计 量 t3. 确定显著性水平确定显著性水平 ，并进行决策，并进行决策 tt， 拒绝拒绝 H0； tt， 不拒绝不拒绝 H0 Excel 输输出结果的分析出结果的