统计学-第10章-多元线性回归课件

数据分析

(方法与案例)

作者贾俊平统计学统

计

学

Statistics*数据分析

(方法与案例)

作者贾俊平统计学统计好的模型选择可遵循一个称为奥克姆剃刀(Occam’sRazor)的基本原理：最好的科学模型往往最简单，且能解释所观察到的事实。——WilliamNavidi统计名言*好的模型选择可遵循一个称为奥克姆剃刀(Occam’sRaz第10章多元线性回归10.1多元线性回归模型10.2拟合优度和显著性检验10.3多重共线性及其处理10.4利用回归方程进行预测10.5哑变量回归regressionanalysis*第10章多元线性回归10.1多元线性回归模型学习目标多元线性回归模型、回归方程与估计的回归方程回归方程的拟合优度与显著性检验多重共线性问题及其处理利用回归方程进行预测哑变量的回归用Excel和SPSS进行回归分析*学习目标多元线性回归模型、回归方程与估计的回归方程*身高受那些因素影响？决定身高的因素是什么？父母遗传、生活环境、体育锻炼，还是以上各因素的共同作用2004年12月，中国人民大学国民经济管理系02级的两位学生，对人大在校生进行了问卷调查。问卷采取随机发放、当面提问当场收回调查的样本量为98人，男性55人，女性43人。调查内容包括被调查者的身高(单位：cm)、性别、其父母身高、是否经常参加体育锻炼、家庭所在地是在南方还是在北方等等。部分数据如教材中的表所示(1代表男性，0代表女性)父亲身高、母亲身高、性别是不是影响子女身高的主要因素呢？如果是，子女身高与这些因素之间能否建立一个线性关系方程，并根据这一方程对身高做出预测？这就是本章将要讨论的多元线性回归问题*身高受那些因素影响？决定身高的因素是什么？父母遗传、生活环10.1多元线性回归模型10.1.1回归模型与回归方程10.1.2参数的最小二乘估计第10章多元线性回归*10.1多元线性回归模型第10章多元线性回归10.1.1回归模型与回归方程10.1多元线性回归模型*10.1.1回归模型与回归方程10.1多元线性回多元回归模型

(multiplelinearregressionmodel)一个因变量与两个及两个以上自变量的回归描述因变量y如何依赖于自变量x1，x2，…，xk

和误差项

的方程，称为多元回归模型涉及k个自变量的多元线性回归模型可表示为

b0

，b1，b2

，，bk是参数

是被称为误差项的随机变量y是x1,，x2

，，xk

的线性函数加上误差项

包含在y里面但不能被k个自变量的线性关系所解释的变异性*多元回归模型

(multiplelinearregre多元回归模型

(基本假定)

正态性。误差项ε是一个服从正态分布的随机变量，且期望值为0，即ε~N(0,2)方差齐性。对于自变量x1，x2，…，xk的所有值，的方差2都相同独立性。对于自变量x1，x2，…，xk的一组特定值，它所对应的与任意一组其他值所对应的不相关*多元回归模型

(基本假定)正态性。误差项ε是一个服从正态分多元线性回归方程

(multiplelinearregressionequation)描述因变量y的平均值或期望值如何依赖于自变量x1，x2

，…，xk的方程多元线性回归方程的形式为

E(y)=0+1x1

+2x2

+…+

k

xkb1，b2，，bk称为偏回归系数

bi

表示假定其他变量不变，当xi

每变动一个单位时，y的平均变动值*多元线性回归方程

(multiplelinearreg二元回归方程的直观解释二元线性回归模型(观察到的y)回归面0ix1yx2(x1,x2)}*二元回归方程的直观解释二元线性回归模型(观察到的y)回归面估计的多元线性回归的方程

(estimatedmultiplelinearregressionequation)

是

估计值是y的估计值用样本统计量估计回归方程中的参数

时得到的方程由最小二乘法求得一般形式为*估计的多元线性回归的方程

(estimatedmultip10.1.2参数的最小二乘估计10.1多元线性回归模型*10.1.2参数的最小二乘估计10.1多元线性回参数的最小二乘估计求解各回归参数的标准方程如下使因变量的观察值与估计值之间的离差平方和达到最小来求得

。即*参数的最小二乘估计求解各回归参数的标准方程如下使因变量的观察参数的最小二乘法

(例题分析)【例10-1】一家商业银行在多个地区设有分行，其业务主要是进行基础设施建设、国家重点项目建设、固定资产投资等项目的贷款。近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的提高，这给银行业务的发展带来较大压力。为弄清楚不良贷款形成的原因，希望利用银行业务的有关数据做些定量分析，以便找出控制不良贷款的办法。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并解释各回归系数的含义

进行回归Excel进行回归SPSS*参数的最小二乘法

(例题分析)【例10-1】一家商业银行在多参数的最小二乘估计

(Excel输出结果)F检验t检验偏回归系数*参数的最小二乘估计

(Excel输出结果)F检验t检验偏回参数的最小二乘估计

(SPSS输出结果)*参数的最小二乘估计

(SPSS输出结果)*

10.2拟合优度和显著性检验10.2.1回归方程的拟合优度10.2.2显著性检验第10章多元线性回归*10.2拟合优度和显著性检验第10章多元线10.2.1回归方程的拟合优度10.2拟合优度和显著性检验*10.2.1回归方程的拟合优度10.2拟合优度和多重判定系数

(multiplecoefficientofdetermination)

回归平方和占总平方和的比例计算公式为因变量取值的变差中，能被估计的多元回归方程所解释的比例*多重判定系数

(multiplecoefficiento修正多重判定系数

(adjustedmultiplecoefficientofdetermination)

用样本量n和自变量的个数k去修正R2得到计算公式为避免增加自变量而高估R2意义与R2类似数值小于R2输出结果SPSS*修正多重判定系数

(adjustedmultipleco多重相关系数

(multiplecorrelationcoefficient)

多重判定系数的平方根R反映因变量y与k个自变量之间的相关程度实际上R度量的是因变量的观测值与由多元回归方程得到的预测值之间的关系强度，即多重相关系数R等于因变量的观测值与估计值之间的简单相关系数即(一元相关系数r也是如此，即。读者自己去验证)*多重相关系数

(multiplecorrelationc估计标准误差Se对误差项的标准差的一个估计值衡量多元回归方程的拟合优度计算公式为输出结果SPSS*估计标准误差Se对误差项的标准差的一个估计值输出结果10.2.2显著性检验10.2拟合优度和显著性检验*10.2.2显著性检验10.2拟合优度和显著性检线性关系检验检验因变量与所有自变量之间的线性关系是否显著也被称为总体的显著性检验检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系*线性关系检验检验因变量与所有自变量之间的线性关系是否显著*线性关系检验提出假设H0：12k=0线性关系不显著H1：1，2，k至少有一个不等于02.计算检验统计量F确定显著性水平和分子自由度k、分母自由度n-k-1找出临界值F

4.作出决策：若F>F

，拒绝H0输出结果SPSS*线性关系检验提出假设2.计算检验统计量F确定显著性水平回归系数的检验线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定对回归系数检验的个数进行限制，以避免犯过多的第Ⅰ类错误(弃真错误)对每一个自变量都要单独进行检验应用t检验统计量*回归系数的检验线性关系检验通过后，对各个回归系数有选择地进行回归系数的检验

(步骤)提出假设H0：bi=0(自变量xi

与

因变量y没有线性关系)H1：bi

0(自变量xi

与

因变量y有线性关系)计算检验的统计量t确定显著性水平，并进行决策t>t，拒绝H0；t<t，不拒绝H0输出结果SPSS*回归系数的检验

(步骤)提出假设确定显著性水平，并进行决回归系数的推断

(置信区间)回归系数在(1-)%置信水平下的置信区间为

回归系数的抽样标准差输出结果SPSS*回归系数的推断

(置信区间)回归系数在(1-)%置信水

10.3多重共线性及其处理10.3.1多重共线性及其识别10.3.2变量选择与逐步回归第10章多元线性回归*10.3多重共线性及其处理第10章多元线性10.3.1多重共线性及其识别10.3多重共线性及其处理*10.3.1多重共线性及其识别10.3多重共线性多重共线性

(multicollinearity)回归模型中两个或两个以上的自变量彼此相关多重共线性带来的问题有可能会使回归的结果造成混乱，甚至会把分析引入歧途可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同预期的正负号相反输出结果SPSS*多重共线性

(multicollinearity)回归模型中多重共线性的识别检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性如果出现下列情况，暗示存在多重共线性模型中各对自变量之间显著相关当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著回归系数的正负号与预期的相反输出结果SPSS*多重共线性的识别检测多重共线性的最简单的一种办法是计算模型中相关矩阵及其检验

(SPSS)

SPSS*相关矩阵及其检验

(SPSS)SPSS*多重共线性的处理将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关如果要在模型中保留所有的自变量，则应避免根据t统计量对单个参数进行检验对因变量值的推断(估计或预测)的限定在自变量样本值的范围内输出结果SPSS*多重共线性的处理将一个或多个相关的自变量从模型中剔除，使保留10.3.2变量选择与逐步回归10.3多重共线性及其处理*10.3.2变量选择与逐步回归10.3多重共线性变量选择过程在建立回归模型时，对自变量进行筛选选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著地减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量变量选择的方法主要有：向前选择、向后剔除、逐步回归、最优子集等*变量选择过程在建立回归模型时，对自变量进行筛选*向前选择

(forwardselection)从模型中没有自变量开始对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量(P值最小的)，并将其首先引入模型分别拟合引入模型外的k-1个自变量的二元线性回归模型如此反复进行，直至模型外的自变量均无统计显著性为止*向前选择

(forwardselection)从模型中没向后剔除

(backwardelimination)先对因变量拟合包括所有k个自变量的回归模型。然后考察p(p<k)个去掉一个自变量的模型(这些模型中在每一个都有k-1个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除考察p-1个再去掉一个自变量的模型(这些模型中每一个都有k-2个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止*向后剔除

(backwardelimination)先对逐步回归

(stepwiseregression)将向前选择和向后剔除两种方法结合起来筛选自变量在增加了一个自变量后，它会对模型中所有的变量进行考察，看看有没有可能剔除某个自变量。如果在增加了一个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除按照方法不停地增加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致SSE显著减少在前面步骤中增加的自变量在后面的步骤中有可能被剔除，而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中*逐步回归

(stepwiseregression)将向前参数的最小二乘估计

(逐步回归)【例10-4】根据例10-1的数据，用逐步回归方法建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并求出不良贷款的置信区间和预测区间

*参数的最小二乘估计

(逐步回归)【例10-4】根据例10-1用SPSS进行逐步回归

(stepwiseregression)第1步：选择【Analyze】下拉菜单，并选择【Regression-linear】选项进入主对话框第2步：在主对话框中将因变量选入【Dependent】，将所有自变量选入【Independent(s)】，并在【Method】下选择【Stepwise】第3步：点击【Options】，并在【SteppingMethodCriteria】下选中【UseProbabilityofF】，并在【Entry】框中输入增加变量所要求的显著性水平(隐含值为0.05，一般不用改变)；在【Removal】输入剔除变量所要求的显著性水平(隐含值为0.10，一般不用改变)。点击【Continue】回到主对话框*用SPSS进行逐步回归

(stepwiseregress用SPSS进行逐步回归

(stepwiseregression)第4步：(需要预测时)点击【Save】：在【PredictedValues】下选中【Unstandardized】(输出点预测值)在【Predictioninterval】下选中【Mean】和【Individual】(输出置信区间和预测区间)在【ConfidenceInterval】中选择所要求的置信水平(隐含值为95%，一般不用改变)(需要残差分析时)在【Residuals】下选中所需的残差，点击【Continue】回到主对话框。点击【OK】进行回归SPSS*用SPSS进行逐步回归

(stepwiseregress逐步回归

(例题分析—SPSS输出结果)变量的进入和移出标准*逐步回归

(例题分析—SPSS输出结果)变量的进入和移出标逐步回归

(例题分析—SPSS输出结果)两个模型的主要统计量*逐步回归

(例题分析—SPSS输出结果)两个模型的主要统计逐步回归

(例题分析—SPSS输出结果)两个模型的方差分析表*逐步回归

(例题分析—SPSS输出结果)两个模型的方差分析逐步回归

(例题分析—SPSS输出结果)两个模型的参数估计和检验

*逐步回归

(例题分析—SPSS输出结果)两个模型的参数估计

10.4利用回归方程进行预测第10章多元线性回归*10.4利用回归方程进行预测第10章多元线置信区间和预测区间

(例题分析)*置信区间和预测区间

(例题分析)*用SPSS做回归面图

第1步：点击【Graphs】【Interactive-Scatterplot】第2步：点击【3DCoordine】，将各坐标轴变量拖入相应坐标轴第3步：点击【Fit】，在【method】下选择【Regression】，在【PredictionLines】下选择【Mean】和【Individual】。点击【确定】做回归面SPSS*用SPSS做回归面图第1步：点击【Graphs】【Int置信区间和预测区间

(例题分析)不良贷款的置信面和预测面二元回归面置信面预测面*置信区间和预测区间

(例题分析)不良贷款的置信面和预测面二元第10章多元线性回归

10.5哑变量回归10.5.1在模型中引进哑变量10.5.2含有一个哑变量的回归*第10章多元线性回归10.5哑变量回归*10.5.1在模型中引进哑变量10.5哑变量回归*10.5.1在模型中引进哑变量10.5哑变量回归哑变量

(dummyvariable)也称虚拟变量。用数字代码表示的定性自变量哑变量可有不同的水平只有两个水平的哑变量比如，性别(男，女)有两个以上水平的哑变量贷款企业的类型(家电，医药，其他)哑变量的取值为0，1*哑变量

(dummyvariable)也称虚拟变量。用数字在回归中引进哑变量回归模型中使用哑变量时，称为哑变量回归当定性变量只有两个水平时，可在回归中引入一个哑变量比如，性别(男，女)一般而言，如果定性自变量有k个水平，需要在回归中模型中引进k-1个哑变量*在回归中引进哑变量回归模型中使用哑变量时，称为哑变量回归*在回归中引进哑变量

(例题分析)【例10-6】为研究考试成绩与性别之间的关系，从某大学商学院随机抽取男女学生各8名，得到他们的市场营销学课程的考试成绩如右表*在回归中引进哑变量

(例题分析)【例10-6】为研究考试成绩10.5.2含有一个哑变量的回归10.5哑变量回归*10.5.2含有一个哑变量的回归10.5哑变量在回归中引进哑变量

(例题分析)【例10-7】建立考试分数与性别之间的线性回归方程，并解释回归系数的含义进行回归Excel*在回归中引进哑变量

(例题分析)【例10-7】建立考试分数与哑变量回归

(例题分析)引进哑变量时，回归方程表示为E(y)=0+1x男(x=0)：E(y)=0—男学生考试成绩的期望值女(x=1)：E(y)=0+1—女学生考试成绩的期望值注意：当指定哑变量0，1时0总是代表与哑变量值0所对应的那个分类变量水平的平均值1总是代表与哑变量值1所对应的那个分类变量水平的平均响应与哑变量值0所对应的那个分类变量水平的平均值的差值，即平均值的差值=(0+1)-0=1*哑变量回归

(例题分析)引进哑变量时，回归方程表示为E(y哑变量回归

(例题分析)考试成绩与性别的回归男学生考试分数的平均值女学生与男学生平均考试分数的差值*哑变量回归

(例题分析)考试成绩与性别的回归男学生用SPSS进行哑变量回归

(有一个哑变量和有一个数值变量)第1步：选择【Analyze】，并选择【GeneralLinearModel-Univaiate】进入主对话框第2步：将因变量(考试成绩)选入【DependentVariable】，将自变量(性别)选入【FixedFactor(s)】(模型中还含有一个数值自变量时，将数值自变量选入【Covariate(s)】)第3步：点击【Model】，并点击【Custom】；将性别[F]选入【Model】(若模型中还含有工作年限自变量时，将工作年限[C]也选入【Model】；在【BuildTerm(s)】下选择【Maineffects】。点击【Continue】回到主对话框。点击【Options】，在【Display】下选中【Parameterestimates】(估计模型中的参数)。点击【Continue】回到主对话框。点击【OK】哑变量回归SPSS*用SPSS进行哑变量回归

(有一个哑变量和有一个数值变量)第哑变量回归

(例题分析—只含一个哑变量)SPSS的输出结果方差分析表：F=5.326，Sig.=0.037，回归模型显著男=1，女=0。女学生考试成绩的期望值=81.75分；男学生比女学生平均低14.875分*哑变量回归

(例题分析—只含一个哑变量)SPSS的输出结果哑变量回归

(例题分析)【例10-8】为研究工资水平与工作年限和性别之间的关系，在某行业中随机抽取10名职工，所得数据如右表进行回归Excel*哑变量回归

(例题分析)【例10-8】为研究工资水平与工作年哑变量回归

(例题分析—Excel)Excel输出的结果*哑变量回归

(例题分析—Excel)Exc哑变量回归

(例题分析—SPSS)

哑变量回归SPSS*哑变量回归

(例题分析—SPSS)哑变量回归S哑变量回归

(例题分析—SPSS)

哑变量回归SPSS用工作年限和性别预测的月工资水平及其残差

*哑变量回归

(例题分析—SPSS)哑变量回归S哑变量回归

(例题分析—SPSS)

哑变量回归均

值

图SPSS*哑变量回归

(例题分析—SPSS)哑变量回归均哑变量回归

(例题分析)引进哑变量时，回归方程写为

E(y)=0+1x1+2x2女(

x2=0)：E(y|女性)=0+1x1男(x2=1)：E(y|男性)=(0+2)+1x10的含义表示：女性职工的期望月工资收入(0+2)的含义表示：男性职工的期望月工资收入1含义表示：工作年限每增加1年，男性或女性工资的平均增加值2含义表示：男性职工的期望月工资收入与女性职工的期望月工资收入之间的差值(0+2)-0=2*哑变量回归

(例题分析)引进哑变量时，回归方程写为*本章小结多元线性回归模型、回归方程与估计的回归方程回归方程的拟合优度与显著性检验多重共线性问题及其处理利用回归方程进行预测哑变量回归用Excel和SPSS进行回归分析*本章小结多元线性回归模型、回归方程与估计的回归方程*结束THANKS*结束THANKS*数据分析

(方法与案例)

作者贾俊平统计学统

计

学

Statistics*数据分析

(方法与案例)

作者贾俊平统计学统计好的模型选择可遵循一个称为奥克姆剃刀(Occam’sRazor)的基本原理：最好的科学模型往往最简单，且能解释所观察到的事实。——WilliamNavidi统计名言*好的模型选择可遵循一个称为奥克姆剃刀(Occam’sRaz第10章多元线性回归10.1多元线性回归模型10.2拟合优度和显著性检验10.3多重共线性及其处理10.4利用回归方程进行预测10.5哑变量回归regressionanalysis*第10章多元线性回归10.1多元线性回归模型学习目标多元线性回归模型、回归方程与估计的回归方程回归方程的拟合优度与显著性检验多重共线性问题及其处理利用回归方程进行预测哑变量的回归用Excel和SPSS进行回归分析*学习目标多元线性回归模型、回归方程与估计的回归方程*身高受那些因素影响？决定身高的因素是什么？父母遗传、生活环境、体育锻炼，还是以上各因素的共同作用2004年12月，中国人民大学国民经济管理系02级的两位学生，对人大在校生进行了问卷调查。问卷采取随机发放、当面提问当场收回调查的样本量为98人，男性55人，女性43人。调查内容包括被调查者的身高(单位：cm)、性别、其父母身高、是否经常参加体育锻炼、家庭所在地是在南方还是在北方等等。部分数据如教材中的表所示(1代表男性，0代表女性)父亲身高、母亲身高、性别是不是影响子女身高的主要因素呢？如果是，子女身高与这些因素之间能否建立一个线性关系方程，并根据这一方程对身高做出预测？这就是本章将要讨论的多元线性回归问题*身高受那些因素影响？决定身高的因素是什么？父母遗传、生活环10.1多元线性回归模型10.1.1回归模型与回归方程10.1.2参数的最小二乘估计第10章多元线性回归*10.1多元线性回归模型第10章多元线性回归10.1.1回归模型与回归方程10.1多元线性回归模型*10.1.1回归模型与回归方程10.1多元线性回多元回归模型

(multiplelinearregressionmodel)一个因变量与两个及两个以上自变量的回归描述因变量y如何依赖于自变量x1，x2，…，xk

和误差项

的方程，称为多元回归模型涉及k个自变量的多元线性回归模型可表示为

b0

，b1，b2

，，bk是参数

是被称为误差项的随机变量y是x1,，x2

，，xk

的线性函数加上误差项

包含在y里面但不能被k个自变量的线性关系所解释的变异性*多元回归模型

(multiplelinearregre多元回归模型

(基本假定)

正态性。误差项ε是一个服从正态分布的随机变量，且期望值为0，即ε~N(0,2)方差齐性。对于自变量x1，x2，…，xk的所有值，的方差2都相同独立性。对于自变量x1，x2，…，xk的一组特定值，它所对应的与任意一组其他值所对应的不相关*多元回归模型

(基本假定)正态性。误差项ε是一个服从正态分多元线性回归方程

(multiplelinearregressionequation)描述因变量y的平均值或期望值如何依赖于自变量x1，x2

，…，xk的方程多元线性回归方程的形式为

E(y)=0+1x1

+2x2

+…+

k

xkb1，b2，，bk称为偏回归系数

bi

表示假定其他变量不变，当xi

每变动一个单位时，y的平均变动值*多元线性回归方程

(multiplelinearreg二元回归方程的直观解释二元线性回归模型(观察到的y)回归面0ix1yx2(x1,x2)}*二元回归方程的直观解释二元线性回归模型(观察到的y)回归面估计的多元线性回归的方程

(estimatedmultiplelinearregressionequation)

是

估计值是y的估计值用样本统计量估计回归方程中的参数

时得到的方程由最小二乘法求得一般形式为*估计的多元线性回归的方程

(estimatedmultip10.1.2参数的最小二乘估计10.1多元线性回归模型*10.1.2参数的最小二乘估计10.1多元线性回参数的最小二乘估计求解各回归参数的标准方程如下使因变量的观察值与估计值之间的离差平方和达到最小来求得

。即*参数的最小二乘估计求解各回归参数的标准方程如下使因变量的观察参数的最小二乘法

(例题分析)【例10-1】一家商业银行在多个地区设有分行，其业务主要是进行基础设施建设、国家重点项目建设、固定资产投资等项目的贷款。近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的提高，这给银行业务的发展带来较大压力。为弄清楚不良贷款形成的原因，希望利用银行业务的有关数据做些定量分析，以便找出控制不良贷款的办法。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并解释各回归系数的含义

进行回归Excel进行回归SPSS*参数的最小二乘法

(例题分析)【例10-1】一家商业银行在多参数的最小二乘估计

(Excel输出结果)F检验t检验偏回归系数*参数的最小二乘估计

(Excel输出结果)F检验t检验偏回参数的最小二乘估计

(SPSS输出结果)*参数的最小二乘估计

(SPSS输出结果)*

10.2拟合优度和显著性检验10.2.1回归方程的拟合优度10.2.2显著性检验第10章多元线性回归*10.2拟合优度和显著性检验第10章多元线10.2.1回归方程的拟合优度10.2拟合优度和显著性检验*10.2.1回归方程的拟合优度10.2拟合优度和多重判定系数

(multiplecoefficientofdetermination)

回归平方和占总平方和的比例计算公式为因变量取值的变差中，能被估计的多元回归方程所解释的比例*多重判定系数

(multiplecoefficiento修正多重判定系数

(adjustedmultiplecoefficientofdetermination)

用样本量n和自变量的个数k去修正R2得到计算公式为避免增加自变量而高估R2意义与R2类似数值小于R2输出结果SPSS*修正多重判定系数

(adjustedmultipleco多重相关系数

(multiplecorrelationcoefficient)

多重判定系数的平方根R反映因变量y与k个自变量之间的相关程度实际上R度量的是因变量的观测值与由多元回归方程得到的预测值之间的关系强度，即多重相关系数R等于因变量的观测值与估计值之间的简单相关系数即(一元相关系数r也是如此，即。读者自己去验证)*多重相关系数

(multiplecorrelationc估计标准误差Se对误差项的标准差的一个估计值衡量多元回归方程的拟合优度计算公式为输出结果SPSS*估计标准误差Se对误差项的标准差的一个估计值输出结果10.2.2显著性检验10.2拟合优度和显著性检验*10.2.2显著性检验10.2拟合优度和显著性检线性关系检验检验因变量与所有自变量之间的线性关系是否显著也被称为总体的显著性检验检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系*线性关系检验检验因变量与所有自变量之间的线性关系是否显著*线性关系检验提出假设H0：12k=0线性关系不显著H1：1，2，k至少有一个不等于02.计算检验统计量F确定显著性水平和分子自由度k、分母自由度n-k-1找出临界值F

4.作出决策：若F>F

，拒绝H0输出结果SPSS*线性关系检验提出假设2.计算检验统计量F确定显著性水平回归系数的检验线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定对回归系数检验的个数进行限制，以避免犯过多的第Ⅰ类错误(弃真错误)对每一个自变量都要单独进行检验应用t检验统计量*回归系数的检验线性关系检验通过后，对各个回归系数有选择地进行回归系数的检验

(步骤)提出假设H0：bi=0(自变量xi

与

因变量y没有线性关系)H1：bi

0(自变量xi

与

因变量y有线性关系)计算检验的统计量t确定显著性水平，并进行决策t>t，拒绝H0；t<t，不拒绝H0输出结果SPSS*回归系数的检验

(步骤)提出假设确定显著性水平，并进行决回归系数的推断

(置信区间)回归系数在(1-)%置信水平下的置信区间为

回归系数的抽样标准差输出结果SPSS*回归系数的推断

(置信区间)回归系数在(1-)%置信水

10.3多重共线性及其处理10.3.1多重共线性及其识别10.3.2变量选择与逐步回归第10章多元线性回归*10.3多重共线性及其处理第10章多元线性10.3.1多重共线性及其识别10.3多重共线性及其处理*10.3.1多重共线性及其识别10.3多重共线性多重共线性

(multicollinearity)回归模型中两个或两个以上的自变量彼此相关多重共线性带来的问题有可能会使回归的结果造成混乱，甚至会把分析引入歧途可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同预期的正负号相反输出结果SPSS*多重共线性

(multicollinearity)回归模型中多重共线性的识别检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性如果出现下列情况，暗示存在多重共线性模型中各对自变量之间显著相关当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著回归系数的正负号与预期的相反输出结果SPSS*多重共线性的识别检测多重共线性的最简单的一种办法是计算模型中相关矩阵及其检验

(SPSS)

SPSS*相关矩阵及其检验

(SPSS)SPSS*多重共线性的处理将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关如果要在模型中保留所有的自变量，则应避免根据t统计量对单个参数进行检验对因变量值的推断(估计或预测)的限定在自变量样本值的范围内输出结果SPSS*多重共线性的处理将一个或多个相关的自变量从模型中剔除，使保留10.3.2变量选择与逐步回归10.3多重共线性及其处理*10.3.2变量选择与逐步回归10.3多重共线性变量选择过程在建立回归模型时，对自变量进行筛选选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著地减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量变量选择的方法主要有：向前选择、向后剔除、逐步回归、最优子集等*变量选择过程在建立回归模型时，对自变量进行筛选*向前选择

(forwardselection)从模型中没有自变量开始对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量(P值最小的)，并将其首先引入模型分别拟合引入模型外的k-1个自变量的二元线性回归模型如此反复进行，直至模型外的自变量均无统计显著性为止*向前选择

(forwardselection)从模型中没向后剔除

(backwardelimination)先对因变量拟合包括所有k个自变量的回归模型。然后考察p(p<k)个去掉一个自变量的模型(这些模型中在每一个都有k-1个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除考察p-1个再去掉一个自变量的模型(这些模型中每一个都有k-2个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止*向后剔除

(backwardelimination)先对逐步回归

(stepwiseregression)将向前选择和向后剔除两种方法结合起来筛选自变量在增加了一个自变量后，它会对模型中所有的变量进行考察，看看有没有可能剔除某个自变量。如果在增加了一个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除按照方法不停地增加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致SSE显著减少在前面步骤中增加的自变量在后面的步骤中有可能被剔除，而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中*逐步回归

(stepwiseregression)将向前参数的最小二乘估计

(逐步回归)【例10-4】根据例10-1的数据，用逐步回归方法建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并求出不良贷款的置信区间和预测区间

*参数的最小二乘估计

(逐步回归)【例10-4】根据例10-1用SPSS进行逐步回归

(stepwiseregression)第1步：选择【Analyze】下拉菜单，并选择【Regression-linear】选项进入主对话框第2步：在主对话框中将因变量选入【Dependent】，将所有自变量选入【Independent(s)】，并在【Method】下选择【Stepwise】第3步：点击【Options】，并在【SteppingMethodCriteria】下选中【UseProbabilityofF】，并在【Entry】框中输入增加变量所要求的显著性水平(隐含值为0.05，一般不用改变)；在【Removal】输入剔除变量所要求的显著性水平(隐含值为0.10，一般不用改变)。点击【Continue】回到主对话框*用SPSS进行逐步回归

(stepwiseregress用SPSS进行逐步回归

(stepwiseregression)第4步：(需要预测时)点击【Save】：在【PredictedValues】下选中【Unstandardized】(输出点预测值)在【Predictioninterval】下选中【Mean】和【Individual】(输出置信区间和预测区间)在【ConfidenceInterval】中选择所要求的置信水平(隐含值为95%，一般不用改变)(需要残差分析时)在【Residuals】下选中所需的残差，点击【Continue】回到主对话框。点击【OK】进行回归SPSS*用SPSS进行逐步回归

(stepwiseregress逐步回归

(例题分析—SPSS输出结果)变量的进入和移出标准*逐步回归

(例题分析—SPSS输出结果)变量的进入和移出标逐步回归

(例题分析—SPSS输出结果)两个模型的主要统计量*逐步回归

(例题分析—SPSS输出结果)两个模型的主要统计逐步回归

(例题分析—SPSS输出结果)两个模型的方差分析表*逐步回归

(例题分析—SPSS输出结果)两个模型的方差分析逐步回归

(例题分析—SPSS输出结果)两个模型的参数估计和检验

*逐步回归

(例题分析—SPSS输出结果)两个模型的参数估计

10.4利用回归方程进行预测第10章多元线性回归*10.4利用回归方程进行预测第10章多元线置信区间和预测区间

(例题分析)*置信区间和预测区间

(例题分析)*用SPSS做回归面图

第1步：点击【Graphs】【Interactive-Scatterplot】第2步：点击【3DCoordine】，将各坐标轴变量拖入相应坐标轴第3步：点击【Fit】，在【method】下选择【Regression】，在【PredictionLines】下选择【Mean】和【Individual】。点击【确定】做回归面SPSS*用SPSS做回归面图第1步：点击【Graphs】【Int置信区间和预测区间

(例题分析)不良贷款的置信面和预测面二元回归面置信面预测面*置信区间和预测区间

(例题分析)不良贷款的置信面和预测面二元第10章多元线性回归

10.5哑变量回归10.5.1在模型中引进哑变量10.5.2含有一个哑变量的回归*第10章多元线性回归10.5哑变量回归*10.5.1在模型中引进哑变量10.5哑变量回归*10.5.1在模型中引进哑变量10.5哑变量回归哑变量

(dummyvariable)也称虚拟变量。用数字代码表示的定性自变量哑变量可有不同的水平只有两个水平的哑变量比如，性别(男，女)有两个以上水平的哑变量贷款企业的类型(家电，医药，其他)哑变量的取值为0，1*哑变量

(dummyvariable)也称虚拟变量。用数字在回归中引进哑变量回归模型中使用哑变量时，称为哑变量回归当定性变量只有两个水平时，可在回归中引入一个哑变量比如，性别(男，女)一般而言，如果定性自变量有k个水平，需要在回归中模型中引进k-1个哑变量*在回归中引进哑变量回归模型中使用哑变量时，称为哑变量回归*在回归中引进哑变量

(例题分析)【例10-6】为研究考试成绩