第11章 多元线性回归PPT课件

1、统计应用预测大学足球比赛的获胜得分差额 为检验一场大学足球比赛中“争球码数”、“传球码数”、“回传次数”、“控球时间”以及“主场优势”等变量对比赛最后得分的影响，分析人员建立了一个多元回归模型。该模型的因变量是“比赛获胜得分的差值”，它等于胜方的最后得分减去负方的最后得分从高校体育协会前20名球队的比赛中随机抽取了90场，收集到自变量和因变量的数据，并进行多元回归分析，得到的回归结果如表预测变量预测变量系数系数t值值第1页/共76页第 11 章 多元线性回归11.1 多元线性回归模型 11.2 回归方程的拟合优度11.3 显著性检验11.4 多重共线性11.5 利用回归方程进行估计和预测11.

2、6 变量选择与逐步回归11.7 虚拟自变量的回归11.8 非线性回归第2页/共76页学习目标1. 回归模型、回归方程、估计的回归方程2. 回归方程的拟合优度3.回归方程的显著性检验4.多重共线性问题及其处理5.利用回归方程进行估计和预测6.虚拟自变量的回归问题7.非线性回归8.用 Excel 进行回归分析第3页/共76页第4页/共76页多元回归模型与回归方程第5页/共76页多元回归模型 (multiple regression model)1.一个因变量与两个及两个以上自变量的回归2.描述因变量 y 如何依赖于自变量 x1 ， x2 ， xk 和误差项 的方程，称为多元回归模型3.涉及 k 个

3、自变量的多元回归模型可表示为第6页/共76页多元回归模型(基本假定) 1.误差项是一个期望值为0的随机变量，即E()=02.对于自变量x1，x2，xk的所有值，的方差 2都相同3.误差项是一个服从正态分布的随机变量，即N(0, 2)，且相互独立第7页/共76页多元回归方程 (multiple regression equation)1.描述因变量 y 的平均值或期望值如何依赖于自变量 x1， x2 ，xk的方程2.多元线性回归方程的形式为 E( y ) = 0+ 1 x1 + 2 x2 + k xk第8页/共76页二元回归方程的直观解释第9页/共76页估计的多元回归方程第10页/共76页估计的

4、多元回的方程(estimated multiple regression equation)1.用样本统计量 估计回归方程中的 参数 时得到的方程2.由最小二乘法求得3.一般形式为第11页/共76页参数的最小二乘估计第12页/共76页参数的最小二乘法第13页/共76页参数的最小二乘法(例题分析)第14页/共76页第15页/共76页多重判定系数第16页/共76页多重判定系数(multiple coefficient of determination) 1.回归平方和占总平方和的比例2.计算公式为3.因变量取值的变差中，能被估计的多元回归方程所解释的比例 第17页/共76页修正多重判定系数(adj

5、usted multiple coefficient of determination) 1. 用样本量n和自变量的个数k去修正R2得到 2. 计算公式为3. 避免增加自变量而高估 R24. 意义与 R2类似5. 数值小于R2第18页/共76页估计标准误差 Sy1. 对误差项的标准差 的一个估计值2. 衡量多元回归方程的拟合优度3. 计算公式为第19页/共76页第20页/共76页线性关系检验第21页/共76页线性关系检验1. 检验因变量与所有自变量之间的线性关系是否显著2. 也被称为总体的显著性检验3. 检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用 F 检验来分析二者之间的

6、差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系第22页/共76页线性关系检验1.提出假设H0：12k=0 线性关系不显著H1：1，2， k至少有一个不等于0第23页/共76页回归系数检验和推断第24页/共76页回归系数的检验1.线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验2.究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定3.对回归系数检验的个数进行限制，以避免犯过多的第类错误(弃真错误) 4.对每一个自变量都要单独进行检验5.应用 t 检验统计量第25页/共76页回归系数的检验(步骤)1. 提出假设H0： i

7、 = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： i 0 (自变量 xi 与 因变量 y有线性关系) 2. 计算检验的统计量 t第26页/共76页回归系数的推断 (置信区间)回归系数在1-置信水平下的置信区间为 第27页/共76页第28页/共76页多重共线性及其产生的问题第29页/共76页多重共线性(multicollinearity)1.回归模型中两个或两个以上的自变量彼此相关2.多重共线性带来的问题有 可能会使回归的结果造成混乱，甚至会把分析引入歧途 可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同预期的正负号相反 第30页/共76页多重共线性的识别第31

8、页/共76页多重共线性的识别1.检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性2.如果出现下列情况，暗示存在多重共线性模型中各对自变量之间显著相关当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著 回归系数的正负号与预期的相反第32页/共76页多重共线性(例题分析)【例】判别各自变量之间是否存在多重共线性第33页/共76页多重共线性(例题分析)【例】判别各自变量之间是否存在多重共线性第34页/共76页多重共线性(例题分析)1. t (25-2)=

9、2.069，所有统计量t t (25-2)=2.069，所以均拒绝原假设，说明这4个自变量两两之间都有显著的相关关系2.由表Excel输出的结果可知，回归模型的线性关系显著(Significance-F1.03539E-06=0.05) 。这也暗示了模型中存在多重共线性3.固定资产投资额的回归系数为负号(-0.029193) ，与预期的不一致第35页/共76页多重共线性问题的处理第36页/共76页多重共线性(问题的处理)1.将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关2.如果要在模型中保留所有的自变量，则应避免根据 t 统计量对单个参数进行检验对因变量值的推断(估计或预测)

10、限定在自变量样本值的范围内第37页/共76页提示1.在建立多元线性回归模型时，不要试图引入更多的自变量，除非确实有必要2.在社会科学的研究中，由于所使用的大多数数据都是非试验性质的，因此，在某些情况下，得到的结果往往并不令人满意，但这不一定是选择的模型不合适，而是数据的质量不好，或者是由于引入的自变量不合适 第38页/共76页第39页/共76页置信区间估计(例题分析)STATISTICA输出的不良贷款的置信区间第40页/共76页预测区间估计(例题分析)STATISTICA输出的不良贷款的预测区间第41页/共76页第42页/共76页变量选择过程1.在建立回归模型时，对自变量进行筛选2.选择自变量

11、的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量3.变量选择的方法主要有：向前选择、向后剔除、逐步回归、最优子集等 第43页/共76页向前选择 (forward selection)1.从模型中没有自变量开始2.对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后

12、找出F统计量的值最高的模型及其自变量，并将其首先引入模型 3.分别拟合引入模型外的k-1个自变量的线性回归模型 4.如此反复进行，直至模型外的自变量均无统计显著性为止第44页/共76页向后剔除 (backward elimination)1. 先对因变量拟合包括所有k个自变量的回归模型。然后考察p(pk)个去掉一个自变量的模型(这些模型中每一个都有k-1个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除2. 考察个再去掉一个自变量的模型(这些模型中每一个都有k-2个的自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除3. 如此反复进行，一直将自变量从模型中剔除

13、，直至剔除一个自变量不会使SSE显著减小为止第45页/共76页逐步回归 (stepwise regression)1.将向前选择和向后剔除两种方法结合起来筛选自变量2.在增加了一个自变量后，它会对模型中所有的变量进行考察，看看有没有可能剔除某个自变量。如果在增加了一个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除3.按照以上方法不停地增加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致SSE显著减少4.在前面步骤中增加的自变量在后面的步骤中有可能被剔除，而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中第46页/共76页逐步回归 (例题分析S

14、PSS输出结果)Variable Entered/Removed a modelVariable EnteredVariable Removedmethod1各项贷款余额各项贷款余额x1Stepwise(Criteria:Probability-of-F-to-enter=.050,Probability-of-F-to-remove=.100.2固定资产投资额固定资产投资额x4Stepwise(Criteria:Probability-of-F-to-enter=.050,Probability-of-F-to-remove=.100.a Dependent variable:不良贷款y第4

15、7页/共76页逐步回归 (例题分析SPSS输出结果)Model summarymodelRR-SquareAdjusted R-SquareStd.Error of the Estimate1.844a.712.6991.97992.872b.761.7391.8428a Predictors:(Constant),各项贷款余额x1b Predictors:(Constant),各项贷款余额x1,固定资产投资额x4第48页/共76页逐步回归 (例题分析SPSS输出结果)ANOVA cmodelSum of SquaresdfMean SquareFSig.1 Regress ResidualT

16、otal222.48690.164312.65012324222.4863.92056.754 .000a2 Regress Residual Total237.94174.709312.65022224118.9713.39635.034.000ba Predictors:(Constant),各项贷款余额x1b Predictors:(Constant),各项贷款余额x1,固定资产投资额x4c Dependent variable:不良贷款y第49页/共76页逐步回归 (例题分析SPSS输出结果)ModelUnstandardizedCoefficientsUnstandardizedCo

17、efficientstSig.BStd.ErrorBeta1 (Constant) 贷款余额x1 -.830.038.723.0050844-1.1477.534.263.0002 (Constant) 贷款余额x1 固定资产投资x4-.443.050-.032.697.007.0151.120-.355-.6366.732-2.133.531.000.044a Dependent variable:不良贷款yCoefficients a第50页/共76页第51页/共76页含有一个虚拟自变量的回归第52页/共76页虚拟自变量(dummy variable)1. 用数字代码表示的定性自变量2.

18、虚拟自变量可有不同的水平只有两个水平的虚拟自变量比如，性别(男，女) 有两个以上水平的虚拟自变量贷款企业的类型(家电，医药，其他) 3. 虚拟变量的取值为0，1第53页/共76页虚拟自变量的回归1.回归模型中使用虚拟自变量时，称为虚拟自变量的回归2.当虚拟自变量只有两个水平时，可在回归中引入一个虚拟变量比如，性别(男，女) 3.一般而言，如果定性自变量有k个水平，需要在回归模型中引进k-1个虚拟变量第54页/共76页虚拟自变量的回归(例题分析)第55页/共76页虚拟自变量的回归(考试成绩与性别的散点图)考试成绩与性别的散点图考试成绩与性别的散点图255075100性别考试成绩男 女第56页/共

19、76页虚拟自变量的回归(成绩与性别的Mean/SD/1.96*SD箱线图)1.96*Std. Dev.1.00*Std. Dev.MeanBox & Whisker Plot30405060708090100110男女第57页/共76页虚拟自变量的回归 (例题分析)引进虚拟变量时，回归方程表示为E(y) =0+ 1x男( x=0)：E(y) =0男学生考试成绩的期望值女(x=1)：E(y) =0+ 11女学生考试成绩的期望值注意：当指定虚拟变量0，1时0总是代表与虚拟变量值0所对应的那个分类变量水平的平均值1总是代表与虚拟变量值1所对应的那个分类变量水平的平均响应与虚拟变量值0所对应的

20、那个分类变量水平的平均值的差值，即 平均值的差值 =(0+ 1) - 0= 1第58页/共76页虚拟自变量的回归(例题分析)第59页/共76页虚拟自变量的回归 (例题分析)引进虚拟变量时，回归方程写为 E(y) =0+ 1x1+ 2x2女( x2=0)：E(y|女性) =0 +1x1男(x2=1)：E(y|男性) =(0 + 2 ) +1x1 0表示：女性职工的期望月工资收入 ( 0+ 2)表示：男性职工的期望月工资收入 1表示：工作年限每增加1年，男性或女性工资的平均增加值 2表示：男性职工的期望月工资收入与女性职工的期望月工资收入之间的差值 (0+ 2) - 0= 2第60页/共76页用虚

21、拟自变量回归解决方差分析问题第61页/共76页方差分析的回归方法 (例题分析)引进虚拟变量建立回归方程：E(Y)=0+ 1x1+ 2x2+3x3用Excel进行回归 0家电制造业投诉次数的平均值 ( 0+ 1)零售业投诉次数的平均值 ( 0+ 2)旅游业投诉次数的平均值 ( 0+ 3)航空公司投诉次数的平均值 第62页/共76页第63页/共76页非线性回归1. 因变量 y 与 x 之间不是线性关系2. 可通过变量代换转换成线性关系3.用最小二乘法求出参数的估计值4.并非所有的非线性模型都可以化为线性模型第64页/共76页双曲线1. 基本形式：2. 线性化方法令：y = 1/y，x= 1/x, 则有y = + x3. 图像第65页/共76页幂函数曲线1. 基本形式：2. 线性化方法两端取对数得：lg y =