多元相关与回归分析

多元相关与回归分析第1页，课件共58页，创作于2023年2月学习目标1. 回归模型、回归方程、估计的回归方程2. 回归方程的拟合优度回归方程的显著性检验利用回归方程进行估计和预测非线性回归用SPSS进行回归分析第2页，课件共58页，创作于2023年2月9.1多元线性回归模型9.1.1多元回归模型与回归方程9.1.2估计的多元回归方程9.1.3参数的最小二乘估计第3页，课件共58页，创作于2023年2月多元回归模型与回归方程第4页，课件共58页，创作于2023年2月多元回归模型

(multipleregressionmodel)一个因变量与两个及两个以上自变量的回归描述因变量y如何依赖于自变量x1

，x2

，…，

xp

和误差项μ

的方程，称为多元回归模型涉及p个自变量的多元回归模型可表示为

b0

，b1，b2

，，bp是参数μ

是被称为误差项的随机变量y是x1,，x2

，，xp

的线性函数加上误差项μ

μ包含在y里面但不能被p个自变量的线性关系所解释的变异性第5页，课件共58页，创作于2023年2月多元回归模型

(基本假定)误差项μ是一个期望值为0的随机变量，即E(μ)=0对于自变量x1，x2，…，xp的所有值，μ的方差2都相同误差项μ是一个服从正态分布的随机变量，即μ-N(0,2)，且相互独立第6页，课件共58页，创作于2023年2月多元回归方程

(multipleregressionequation)描述因变量y的平均值或期望值如何依赖于自变量x1，x2

，…，xp的方程多元线性回归方程的形式为

E(y)=0+1x1

+2x2

+…+

p

xpb1，b2，，bp称为偏回归系数

bi

表示假定其他变量不变，当xi

每变动一个单位时，y的平均变动值第7页，课件共58页，创作于2023年2月估计的多元回归方程第8页，课件共58页，创作于2023年2月估计的多元回归的方程

(estimatedmultipleregressionequation)用样本统计量估计回归方程中的参数

时得到的方程由最小二乘法求得是估计值是y的估计值第9页，课件共58页，创作于2023年2月参数的最小二乘估计第10页，课件共58页，创作于2023年2月参数的最小二乘法求解各回归参数的标准方程如下使因变量的观察值与估计值之间的离差平方和达到最小来求得

。即第11页，课件共58页，创作于2023年2月参数的最小二乘法

(例题分析)【例】一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并解释各回归系数的含义第12页，课件共58页，创作于2023年2月9.2回归方程的拟合优度9.2.1多重判定系数9.2.2估计标准误差第13页，课件共58页，创作于2023年2月多重判定系数第14页，课件共58页，创作于2023年2月多重判定系数

(multiplecoefficientofdetermination)回归平方和占总平方和的比例计算公式为因变量取值的变差中，能被估计的多元回归方程所解释的比例第15页，课件共58页，创作于2023年2月在样本容量一定的条件下，不断向模型中增加自变量，即使新增的变量与Y不相关，模型的R2也可能上升，至少不会下降。在实际应用中，研究人员更欢迎简单的模型，这样的模型更简单和易于解释。如果根据R2来选择模型，显然会倾向于复杂的模型。更常用的指标是“修正后的Ra2”。修正的判定系数第16页，课件共58页，创作于2023年2月修正多重判定系数

(adjustedmultiplecoefficientofdetermination)用样本容量n和自变量的个数p去修正R2得到计算公式为避免增加自变量而高估R2意义与R2类似数值小于R2第17页，课件共58页，创作于2023年2月估计标准误差Sy对误差项μ的标准差的一个估计值衡量多元回归方程的拟合优度计算公式为第18页，课件共58页，创作于2023年2月9.3显著性检验9.3.1线性关系检验9.3.2回归系数检验和推断第19页，课件共58页，创作于2023年2月线性关系检验第20页，课件共58页，创作于2023年2月线性关系检验检验因变量与所有自变量之间的线性关系是否显著，也被称为总体的显著性检验检验方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系第21页，课件共58页，创作于2023年2月线性关系检验提出假设H0：12p=0线性关系不显著H1：1，2，，p至少有一个不等于02.计算检验统计量F确定显著性水平和分子自由度p、分母自由度n-p-1找出临界值F

4.作出决策：若F>F

，拒绝H0第22页，课件共58页，创作于2023年2月回归系数检验和推断回归方程显著，并不意味着每个解释变量对因变量Y的影响都重要,因此需要进行检验：回归系数检验的必要性回归方程显著每个回归系数都显著第23页，课件共58页，创作于2023年2月回归系数的检验

(步骤)提出假设H0：bi=0(自变量xi

与

因变量y没有线性关系)H1：bi

0(自变量xi

与

因变量y有线性关系)计算检验的统计量t确定显著性水平，并进行决策t>t，拒绝H0；t<t，不能拒绝H0第24页，课件共58页，创作于2023年2月回归系数的推断

(置信区间)回归系数在1-

置信水平下的置信区间为

回归系数的抽样标准差第25页，课件共58页，创作于2023年2月9.4多重共线性9.4.1多重共线性及其所产生的问题9.4.2多重共线性的判别9.4.3多重共线性问题的处理第26页，课件共58页，创作于2023年2月多重共线性回归模型中两个或两个以上的自变量彼此相关多重共线性带来的问题有t检验值会减小、系数的显著性下降。对于一组存在高度多重共线性的自变量，很难对单个系数进行解释。有可能导致各回归系数的符号同我们的预期相反。Excel输出结果的分析第27页，课件共58页，创作于2023年2月多重共线性的识别第28页，课件共58页，创作于2023年2月多重共线性的识别检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性如果出现下列情况，暗示存在多重共线性模型中各对自变量之间显著相关。当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著回归系数的正负号与预期的相反。Excel输出结果的分析第29页，课件共58页，创作于2023年2月多重共线性

(例题分析)【例】判别各自变量之间是否存在多重共线性贷款余额、应收贷款、贷款项目、固定资产投资额之间的相关矩阵第30页，课件共58页，创作于2023年2月多重共线性

(例题分析)【例】判别各自变量之间是否存在多重共线性相关系数的检验统计量第31页，课件共58页，创作于2023年2月多重共线性

(例题分析)

t(25-2)=2.0687，所有统计量t>t(25-2)=2.0687，所以均拒绝原假设，说明这4个自变量两两之间都有显著的相关关系由表Excel输出的结果可知，回归模型的线性关系显著(Significance-F＝1.03539E-06<=0.05)。而回归系数检验时却有3个没有通过t检验(P-Value=0.074935，0.862853，0.067030>=0.05)。这也暗示了模型中存在多重共线性固定资产投资额的回归系数为负号(-0.029193)，与预期的不一致第32页，课件共58页，创作于2023年2月多重共线性问题的处理第33页，课件共58页，创作于2023年2月多重共线性

(问题的处理)将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关如果要在模型中保留所有的自变量，则应避免根据t统计量对单个参数进行检验对因变量值的推断(估计或预测)的限定在自变量样本值的范围内Excel输出结果的分析第34页，课件共58页，创作于2023年2月多元回归中的变量筛选在多元回归中，预先选定的自变量不一定都对Y有显著的影响。有一些统计方法可以帮助我们从众多可能的自变量中筛选出重要的自变量。SPSS软件提供了多种筛选自变量的方法：“向前引入法（Forward）”“向后剔除法（Backward）”“逐步引入—剔除法（Stepwise）”第35页，课件共58页，创作于2023年2月逐步回归的思想将变量逐一引入回归方程，先建立与y相关最密切的一元线性回归方程，然后再找出第二个变量，建立二元线性回归方程，…。在每一步中都要对引入变量的显著性作检验，仅当其显著时才引入，而每引入一个新变量后，对前面已引进的变量又要逐一检验，一旦发现某变量变得不显著了，就要将它剔除。这些步骤反复进行，直到引入的变量都是显著的而没有引入的变量都是不显著的时，就结束挑选变量的工作。可以设定引入和删除变量的条件。第36页，课件共58页，创作于2023年2月9.5非线性回归9.5.1双曲线9.5.2幂函数曲线9.5.3对数曲线第37页，课件共58页，创作于2023年2月非线性回归1. 因变量y与x之间不是线性关系2. 可通过变量代换转换成线性关系用最小二乘法求出参数的估计值并非所有的非线性模型都可以化为线性模型第38页，课件共58页，创作于2023年2月双曲线<0>0基本形式：线性化方法令：y'=1/y，x'=1/x,则有y'

=+x'图像第39页，课件共58页，创作于2023年2月幂函数曲线基本形式：线性化方法两端取对数得：lgy=lg+lgx令：y'=lgy，x'=lgx，则y'

=lg+x‘图像0<<11=1-1<<0<-1=-1第40页，课件共58页，创作于2023年2月对数曲线基本形式：线性化方法x'=lnx,则有y'

=+x‘图像0<0第41页，课件共58页，创作于2023年2月指数曲线基本形式：线性化方法两端取对数得：lny

=ln+x令：y'=lny，则有y'

=ln+x图像第42页，课件共58页，创作于2023年2月S型曲线基本形式：线性化方法令：y'=1/y，x'=e-x,则有y'

=+x图像第43页，课件共58页，创作于2023年2月非线性回归

(例题分析)【例】一种商品的需求量与其价格有一定的关系。现对一定时期内的商品价格x与需求量y进行观察，取得的样本数据如下表。试判断商品价格与需求量之间回归函数的类型，并求需求量对价格的回归方程废品率与生产率的关系价格

(元)x12345678910需求量(千克)y58504438343029262524第44页，课件共58页，创作于2023年2月非线性回归

(例题分析)价格与需求量的散点图第45页，课件共58页，创作于2023年2月非线性回归

(例题分析)用双曲线模型：按线性回归的方法求解和，得第46页，课件共58页，创作于2023年2月SPSS中可以进行的曲线回归包括：第47页，课件共58页，创