第九章SPSS的线性回归

1、第九章第九章 SPSSSPSS的线性回归分析的线性回归分析一、回归分析概述一、回归分析概述(一一)回归分析理解回归分析理解(1)“回归回归”的含义的含义nGalton研究研究父亲身高和儿子身高的关系时的独特发现。研究研究父亲身高和儿子身高的关系时的独特发现。 (2)回归线的获得方式一：局部平均回归线的获得方式一：局部平均 n回归曲线上的点给出了相应于每一个回归曲线上的点给出了相应于每一个x(父亲父亲)值的值的y(儿子儿子)平均数平均数的估计的估计 (3)回归线的获得方式二：拟和函数回归线的获得方式二：拟和函数n使数据拟和于某条曲线；使数据拟和于某条曲线；n通过若干参数描述该曲线；通过若干参数描

2、述该曲线；n利用已知数据在一定的统计准则下找出参数的估计值利用已知数据在一定的统计准则下找出参数的估计值(得到回归曲得到回归曲线的近似线的近似)；一、回归分析概述一、回归分析概述(二二)回归分析的回归分析的基本步骤基本步骤(1)确定自变量和因变量确定自变量和因变量(父亲身高关于儿子身高的父亲身高关于儿子身高的回归与儿子身高回归与儿子身高关于父亲身高的回归是不同的关于父亲身高的回归是不同的)。(2)从样本数据出发确定变量之间的数学关系式，并对从样本数据出发确定变量之间的数学关系式，并对回归方程的各个参数进行估计。回归方程的各个参数进行估计。(3)对回归方程进行各种统计检验。对回归方程进行各种统计

3、检验。(4)利用回归方程进行预测。利用回归方程进行预测。一、回归分析概述一、回归分析概述(三三)参数估计的准则参数估计的准则n目标：回归线上的观察值与预测值之间的距离总和达到最目标：回归线上的观察值与预测值之间的距离总和达到最小小n最小二乘法最小二乘法(利用最小二乘法拟和的回归直线与样本数据利用最小二乘法拟和的回归直线与样本数据点在垂直方向上的偏离程度最低点在垂直方向上的偏离程度最低)二、一元线性回归分析二、一元线性回归分析(一一)一元回归方程一元回归方程 n y=0+1xn0为常数项；为常数项；1为为y对对x回归系数，即：回归系数，即：x每变动一个单位所每变动一个单位所引起的引起的y的平均变

4、动的平均变动(二二)一元回归分析的步骤一元回归分析的步骤n利用样本数据建立回归方程利用样本数据建立回归方程n回归方程的拟和优度检验回归方程的拟和优度检验n回归方程的显著性检验回归方程的显著性检验(F检验和检验和t检验检验)n残差分析残差分析n预测预测Y=a+bX F检验检验T检验检验R2拟合优度如何，即拟合优度如何，即X对对Y的解释能力的解释能力线性关系是否显著线性关系是否显著系数是否显著不为零系数是否显著不为零=b三、一元线性回归方程的检验三、一元线性回归方程的检验(一一)拟和优度检验拟和优度检验 R2(1)目的：检验样本观察点聚集在回归直线周围的密集程度，评目的：检验样本观察点聚集在回归直

5、线周围的密集程度，评价回归方程对样本数据点的拟和程度。价回归方程对样本数据点的拟和程度。(2)思路：思路：因为：因为： 因变量取值的变化受两个因素的影响因变量取值的变化受两个因素的影响自变量不同取值的影响自变量不同取值的影响其他因素的影响其他因素的影响于是：于是： 因变量总变差因变量总变差=自变量引起的自变量引起的+其他因素引起的其他因素引起的即：即： 因变量总变差因变量总变差=回归方程可解释的回归方程可解释的+不可解释的不可解释的可证明：因变量总离差平方和可证明：因变量总离差平方和=回归平方和回归平方和+剩余平方和剩余平方和三、一元线性回归方程的检验三、一元线性回归方程的检验(一一)拟和优度

6、检验拟和优度检验 (3)统计量：判定系数统计量：判定系数nR2=SSR/SST=1-SSE/SST。nR2体现了回归方程所能解释的因变量变差的比例；体现了回归方程所能解释的因变量变差的比例；1-R2则体则体现了因变量总变差中，回归方程所无法解释的比例。现了因变量总变差中，回归方程所无法解释的比例。nR2越接近于越接近于1，则说明回归平方和占了因变量总变差平方和的，则说明回归平方和占了因变量总变差平方和的绝大部分比例，因变量的变差主要由自变量的不同取值造成，绝大部分比例，因变量的变差主要由自变量的不同取值造成，回归方程对样本数据点拟合得好回归方程对样本数据点拟合得好n在一元回归中在一元回归中R2

7、=r2； 因此，从这个意义上讲，判定系数能因此，从这个意义上讲，判定系数能够比较好地反映回归直线对样本数据的代表程度和线性相关性。够比较好地反映回归直线对样本数据的代表程度和线性相关性。niiniiniiniiyyyyyyyyR121212122)() (1)()(三、一元线性回归方程的检验三、一元线性回归方程的检验(二二)回归方程的显著性检验回归方程的显著性检验 F检验检验(1)目的：检验自变量与因变量之间的线性关系是否显著，是否可用线性目的：检验自变量与因变量之间的线性关系是否显著，是否可用线性模型来表示。模型来表示。(2)H0： =0 即：回归系数与即：回归系数与0无显著差异无显著差异(

8、3)利用利用F检验，构造检验，构造F统计量：统计量：nF=平均的回归平方和平均的回归平方和/平均的剩余平方和平均的剩余平方和F(1，n-1-1)n如果如果F值较大，则说明自变量造成的因变量的线性变动远大于随机因素值较大，则说明自变量造成的因变量的线性变动远大于随机因素对因变量的影响，自变量于因变量之间的线性关系较显著对因变量的影响，自变量于因变量之间的线性关系较显著(4)计算计算F统计量的值和统计量的值和相伴概率相伴概率p(5)判断判断npregression-linear(2)选择一个变量为因变量进入选择一个变量为因变量进入dependent框框(3)选择一个变量为自变量进入选择一个变量为自

9、变量进入independent框框(4)enter：所选变量全部进入回归方程：所选变量全部进入回归方程(默认方法默认方法)(5)对样本进行筛选对样本进行筛选(selection variable)n利用满足一定条件的样本数据进行回归分析利用满足一定条件的样本数据进行回归分析(6)指定作图时各数据点的标志变量指定作图时各数据点的标志变量(case labels)四、一元线性回归分析操作四、一元线性回归分析操作(二二) statistics选项选项(1)基本统计量输出基本统计量输出nEstimates：默认。：默认。显示回归系数相关统计量显示回归系数相关统计量。nconfidence interv

10、als：每个非标准化的回归系数每个非标准化的回归系数95%的置的置信区间信区间。nDescriptive：各变量均值、标准差和相关系数单侧检验概率各变量均值、标准差和相关系数单侧检验概率。nModel fit：默认。判定系数、估计标准误差、方差分析表、容：默认。判定系数、估计标准误差、方差分析表、容忍度忍度(2)Residual框中的残差分析框中的残差分析nDurbin-waston：D-W值值ncasewise diagnostic：异常值异常值(奇异值奇异值)检测检测 (输出预测值及输出预测值及残差和标准化残差残差和标准化残差)四、一元线性回归分析操作四、一元线性回归分析操作(三三)plo

11、t选项选项：图形分析：图形分析 oStandardize residual plots：绘制残差序列直方图和累计概率图，绘制残差序列直方图和累计概率图，检测残差的正态性检测残差的正态性o绘制指定序列的散点图，检测残差的随机性、异方差性绘制指定序列的散点图，检测残差的随机性、异方差性nZPRED：标准化预测值标准化预测值 nZRESID：标准标准化残差化残差nSRESID：学生学生化残差化残差nproduce all partial plot：绘制因变量和所有自变量之间的绘制因变量和所有自变量之间的散点图散点图五、线性回归方程的残差分析五、线性回归方程的残差分析(一一)残差序列的正态性检验残差序

12、列的正态性检验 n绘制标准化残差的直方图或累计概率图绘制标准化残差的直方图或累计概率图(二二)残差序列的随机性检验残差序列的随机性检验n绘制残差和预测值的散点图，应随机分布在经过零的一条直线绘制残差和预测值的散点图，应随机分布在经过零的一条直线上下上下 五、线性回归方程的残差分析五、线性回归方程的残差分析( (三三) )残差序列独立性检验残差序列独立性检验 残差序列是否存在后期值与前期值相关的现象，利用残差序列是否存在后期值与前期值相关的现象，利用D D。W(Durbin-Watson)W(Durbin-Watson)检验检验d-w=0d-w=0：残差残差序列存在完全正自相关；序列存在完全正自

13、相关；d-w=4d-w=4：残差残差序序列存在完全负自相关；列存在完全负自相关；00d-w2d-w2：残差残差序列存在某种序列存在某种程度的正自相关；程度的正自相关；22d-w4d-w4：残差残差序列存在某种程度序列存在某种程度的负自相关；的负自相关；d-w=2d-w=2：残差残差序列不存在自相关。序列不存在自相关。残差序列不存在自相关，可以认为回归方程基本概括残差序列不存在自相关，可以认为回归方程基本概括了因变量的变化；否则，认为可能一些与因变量相关了因变量的变化；否则，认为可能一些与因变量相关的因素没有引入回归方程或回归模型不合适或滞后性的因素没有引入回归方程或回归模型不合适或滞后性周期性

14、的影响。周期性的影响。 五、线性回归方程的残差分析五、线性回归方程的残差分析(四四)异常值异常值(casewise或或outliers)诊断诊断n利用标准化残差不仅可以知道观察值比预测值大或小，利用标准化残差不仅可以知道观察值比预测值大或小，并且还知道在绝对值上它比大多数残差是大还是小。一并且还知道在绝对值上它比大多数残差是大还是小。一般标准化残差的绝对值大于般标准化残差的绝对值大于3，则可认为对应的样本点，则可认为对应的样本点为为奇异值奇异值n异常值并不总表现出上述特征。当剔除某观察值后，回异常值并不总表现出上述特征。当剔除某观察值后，回归方程的标准差显著减小，也可以判定该观察值为异常归方程

15、的标准差显著减小，也可以判定该观察值为异常值值六、线性回归方程的预测六、线性回归方程的预测(一一)点估计点估计y0(二二)区间估计区间估计 x0为xi的均值时，预测区间最小，精度最高。x0越远离均值，预测区间越大，精度越低。普通职工数(x)18001600140012001000800600400200领导(管理)人数(y)3002001000七、多元线性回归分析七、多元线性回归分析(一一)多元线性回归方程多元线性回归方程多元回归方程：多元回归方程： y= 0 +1x1+2x2+。+kxk n1、2、k为偏回归系数。为偏回归系数。n1表示在其他自变量保持不变的情况下，自变量表示在其他自变量保持

16、不变的情况下，自变量x1变动一个变动一个单位所引起的因变量单位所引起的因变量y的平均变动的平均变动(二二)多元线性回归分析的主要问题多元线性回归分析的主要问题n回归方程的检验回归方程的检验n自变量筛选自变量筛选n多重共线性问题多重共线性问题八、多元线性回归方程的检验八、多元线性回归方程的检验(一一)拟和优度检验拟和优度检验 (1)判定系数判定系数R2 nR是是y和和xi的复相关系数的复相关系数(或观察值与预测值或观察值与预测值的的相关系数相关系数)，测，测定了因变量定了因变量y与所有自变量全体之间线性相关程度与所有自变量全体之间线性相关程度 (2)调整的调整的R2 n考虑的是平均的剩余平方和，

17、克服了因自变量增加而造成考虑的是平均的剩余平方和，克服了因自变量增加而造成R2也增大的弱点也增大的弱点n在某个自变量引入回归方程后，如果该自变量是理想的且对因在某个自变量引入回归方程后，如果该自变量是理想的且对因变量变差的解释说明是有意义的，那么必然使得均方误差减少，变量变差的解释说明是有意义的，那么必然使得均方误差减少，从而使调整的从而使调整的R2得到提高；反之，如果某个自变量对因变量得到提高；反之，如果某个自变量对因变量的解释说明没有意义，那么引入它不会造成均方误差减少，从的解释说明没有意义，那么引入它不会造成均方误差减少，从而调整的而调整的R2也不会提高。也不会提高。SSTSSEknnR

18、1112因变量的样本方差均方误差12R八、多元线性回归方程的检验八、多元线性回归方程的检验(二二)回归方程的显著性检验回归方程的显著性检验 F(1)目的：检验所有自变量与因变量之间的线性关系是否显著，是否可用目的：检验所有自变量与因变量之间的线性关系是否显著，是否可用线性模型来表示。线性模型来表示。(2)H0： 1 = 2 = k =0 即：所有回归系数同时与即：所有回归系数同时与0无显著差异无显著差异(3)利用利用F检验，构造检验，构造F统计量：统计量：nF=平均的回归平方和平均的回归平方和/平均的剩余平方和平均的剩余平方和F(k，n-k-1)n如果如果F值较大，则说明自变量造成的因变量的线

19、性变动大于随机因素对值较大，则说明自变量造成的因变量的线性变动大于随机因素对因变量的影响，自变量于因变量之间的线性关系较显著因变量的影响，自变量于因变量之间的线性关系较显著(4)计算计算F统计量的值和统计量的值和相伴概率相伴概率p(5)判断判断np=a：拒绝拒绝H0，即，即：所有回归系数与：所有回归系数与0有显著差异，自变量与因变有显著差异，自变量与因变量之间存在显著的线性关系。反之，不能拒绝量之间存在显著的线性关系。反之，不能拒绝H0) 1/()(/)(22knyykyyFiii八、多元线性回归方程的检验八、多元线性回归方程的检验(三三)回归系数的显著性检验回归系数的显著性检验 T(1)目的

20、：检验每个自变量对因变量的线性影响是否显著。目的：检验每个自变量对因变量的线性影响是否显著。(2)H0：i=0 即：第即：第i个回归系数与个回归系数与0无显著差异无显著差异(3)利用利用t检验，构造检验，构造t统计量：统计量：n其中：其中：Sy是回归方程标准误差是回归方程标准误差(Standard Error)的估计值，的估计值，由均方误差开方后得到，反映了回归方程无法解释样本数据由均方误差开方后得到，反映了回归方程无法解释样本数据点的程度或偏离样本数据点的程度点的程度或偏离样本数据点的程度n如果某个回归系数的标准误差较小，必然得到一个相对较大如果某个回归系数的标准误差较小，必然得到一个相对较

21、大的的t值，表明该自变量值，表明该自变量xi解释因变量线性变化的能力较强。解释因变量线性变化的能力较强。(4)逐个逐个计算计算t统计量的值和相伴概率统计量的值和相伴概率p (5)判断判断iiiSt22)(iiyixxSS八、多元线性回归方程的检验八、多元线性回归方程的检验(四四) F 统计量与统计量与t统计量统计量n一元回归中，一元回归中，F检验与检验与t检验一致，即：检验一致，即： F=t2，可以相互替代，可以相互替代n在多元回归中，在多元回归中，F检验与检验与t检验不能相互替代检验不能相互替代nFchange =ti2n从从Fchange 角度上讲，如果由于某个自变量角度上讲，如果由于某个

22、自变量xi的引入，使得的引入，使得Fchange是显著的是显著的(通过观察通过观察Fchange 的相伴概率值的相伴概率值)，那么就可，那么就可以认为该自变量对方程的贡献是显著的，它应保留在回归方程以认为该自变量对方程的贡献是显著的，它应保留在回归方程中，起到与回归系数中，起到与回归系数t检验同等的作用。检验同等的作用。221) 1(RknRFchchange222ichRRR九、多元线性回归分析中的自变量筛选九、多元线性回归分析中的自变量筛选(一一)自变量筛选的目的自变量筛选的目的o多元回归分析引入多个自变量。多元回归分析引入多个自变量。 如果引入的自变量个数较少，则不能如果引入的自变量个数

23、较少，则不能很好的说明因变量的变化；很好的说明因变量的变化；o并非自变量引入越多越好。原因：并非自变量引入越多越好。原因：n有些自变量可能对因变量的解释没有贡献有些自变量可能对因变量的解释没有贡献n自变量间可能存在较强的线性关系，即：多重共线性。自变量间可能存在较强的线性关系，即：多重共线性。 因而不因而不能全部引入回归方程。能全部引入回归方程。九、多元线性回归分析中的自变量筛选九、多元线性回归分析中的自变量筛选(二二)自变量向前筛选法自变量向前筛选法(forward) o即：自变量不断进入回归方程的过程。即：自变量不断进入回归方程的过程。o首先，选择与因变量具有最高相关系数的自变量进入方程，

24、并首先，选择与因变量具有最高相关系数的自变量进入方程，并进行各种检验；进行各种检验；o其次，在剩余的自变量中寻找其次，在剩余的自变量中寻找偏相关系数最高偏相关系数最高的变量进入回归的变量进入回归方程，并进行检验；方程，并进行检验；n默认：回归系数检验的概率值小于默认：回归系数检验的概率值小于PIN(0。05)才可以进入方才可以进入方程。程。o反复上述步骤，直到没有可进入方程的自变量为止。反复上述步骤，直到没有可进入方程的自变量为止。九、多元线性回归分析中的自变量筛选九、多元线性回归分析中的自变量筛选(三三)自变量向后筛选法自变量向后筛选法(backward) o即：自变量不断剔除出回归方程的过

25、程。即：自变量不断剔除出回归方程的过程。o首先，首先，将所有自变量全部引入回归方程；将所有自变量全部引入回归方程；o其次，在一个或多个其次，在一个或多个t值不显著的自变量中将值不显著的自变量中将t值最小的那个变值最小的那个变量剔除出去，并重新拟和方程和进行检验；量剔除出去，并重新拟和方程和进行检验；n默认：回归系数检验值大于默认：回归系数检验值大于POUT(0。10)，则剔除出方程，则剔除出方程o如果新方程中所有变量的回归系数如果新方程中所有变量的回归系数t值都是显著的，则变量筛值都是显著的，则变量筛选过程结束。选过程结束。o否则，重复上述过程，直到无变量可剔除为止。否则，重复上述过程，直到无

26、变量可剔除为止。九、多元线性回归分析中的自变量筛选九、多元线性回归分析中的自变量筛选(四四)自变量逐步筛选法自变量逐步筛选法(stepwise) o即：是即：是“向前法向前法”和和“向后法向后法”的结合。的结合。o向前法只对进入方程的变量的回归系数进行显著性向前法只对进入方程的变量的回归系数进行显著性检验，而对已经进入方程的其他变量的回归系数不检验，而对已经进入方程的其他变量的回归系数不再进行显著性检验，即：变量一旦进入方程就不会再进行显著性检验，即：变量一旦进入方程就不会被剔除被剔除o随着变量的逐个引进，由于变量之间存在着一定程随着变量的逐个引进，由于变量之间存在着一定程度的相关性，使得已经

27、进入方程的变量其回归系数度的相关性，使得已经进入方程的变量其回归系数不再显著，因此会造成最后的回归方程可能包含不不再显著，因此会造成最后的回归方程可能包含不显著的变量。显著的变量。o逐步筛选法则在变量的每一个阶段都考虑的剔除一逐步筛选法则在变量的每一个阶段都考虑的剔除一个变量的可能性。个变量的可能性。十、线性回归分析中的共线性检测十、线性回归分析中的共线性检测(一一)共线性带来的主要问题共线性带来的主要问题n高度的多重共线会使回归系数的标准差随自变量相关性的增大而不断高度的多重共线会使回归系数的标准差随自变量相关性的增大而不断增大，以至使回归系数的置信区间不断增大，造成估计值精度减低。增大，以

28、至使回归系数的置信区间不断增大，造成估计值精度减低。(二二)共线性诊断共线性诊断o自变量的容忍度自变量的容忍度(tolerance)和和方差膨胀因子方差膨胀因子n容忍度：容忍度：Toli=1-Ri2。 其中：其中： Ri2是自变量是自变量xi与方程中其他自变量与方程中其他自变量间的复相关系数的平方。间的复相关系数的平方。n容忍度越大则与方程中其他自变量的共线性越低，应进入方程。容忍度越大则与方程中其他自变量的共线性越低，应进入方程。 (具具有太小容忍度的变量不应进入方程，有太小容忍度的变量不应进入方程，spss会给出警会给出警)(T0。1一般一般认为具有多重共线性认为具有多重共线性)n方差膨胀

29、因子方差膨胀因子(VIF)：容忍度的倒数：容忍度的倒数nSPSS在回归方程建立过程中不断计算待进入方程自变量的容忍度，在回归方程建立过程中不断计算待进入方程自变量的容忍度，并显示目前的最小容忍度并显示目前的最小容忍度十、线性回归分析中的共线性检测十、线性回归分析中的共线性检测(二二)共线性诊断共线性诊断o用特征根刻画自变量的方差用特征根刻画自变量的方差n如果自变量间确实存在较强的相关关系，那么它们之间必然存如果自变量间确实存在较强的相关关系，那么它们之间必然存在信息重叠，于是可从这些自变量中提取出既能反映自变量信在信息重叠，于是可从这些自变量中提取出既能反映自变量信息息(方差方差)又相互独立的

30、因素又相互独立的因素(成分成分)来。来。n从自变量的相关系数矩阵出发，计算相关系数矩阵的特征根，从自变量的相关系数矩阵出发，计算相关系数矩阵的特征根，得到相应的若干成分。得到相应的若干成分。n如果某个特征根既能够刻画某个自变量方差的较大部分比例如果某个特征根既能够刻画某个自变量方差的较大部分比例(如大于如大于0。7)，同时又可以刻画另一个自变量方差的较大部，同时又可以刻画另一个自变量方差的较大部分比例，则表明这两个自变量间存在较强的多重共线性。分比例，则表明这两个自变量间存在较强的多重共线性。o条件指标条件指标n0k10 无多重共线性；无多重共线性； 10=k=100 严重严重imik十一、线

31、性回归分析中的异方差问题十一、线性回归分析中的异方差问题(一一)什么是差异方差什么是差异方差n回归模型要求残差序列服从均值为回归模型要求残差序列服从均值为0并具有相同方差的并具有相同方差的正态分布，即：残差分布幅度不应随自变量或因变量的正态分布，即：残差分布幅度不应随自变量或因变量的变化而变化。否则认为出现了异方差现象变化而变化。否则认为出现了异方差现象(二二)异方差诊断异方差诊断n可以通过绘制标准化残差序列和因变量预测值可以通过绘制标准化残差序列和因变量预测值(或每个自或每个自变量变量)的散点图来识别是否存在异方差的散点图来识别是否存在异方差(三三)异方差处理异方差处理n实施方差稳定性变换实

32、施方差稳定性变换o残差与残差与yi(预测值预测值)的平方根呈正比：对的平方根呈正比：对yi开开平方平方o残差与残差与yi(预测值预测值)呈正比：对呈正比：对yi取对数。取对数。o残差与残差与yi(预测值预测值)的平方呈正比，则的平方呈正比，则1/yi十二、多元线性回归分析操作十二、多元线性回归分析操作(一一)基本操作步骤基本操作步骤(1)菜单选项：菜单选项： analyze-regression-linear(2)选择一个变量为因变量进入选择一个变量为因变量进入dependent框框(3)选择一个或多个变量为自变量进入选择一个或多个变量为自变量进入independent框框(4)选择多元回归分析的自变量筛选方法：选择多元回归分析的自变量筛选方法：nenter：所选变量全部进入回归方程：所选变量全部进入回归方程(默认方法默认方法)nremove：从回归方程中剔除变量：从回归方程中剔除变量nstepwise：逐步筛选；逐步筛选；backward：向后筛选；向后筛选；forward：向前筛选向前筛选(5)对样本进行筛选对样本进行筛选(selection variable)n利用满足一定条件的样本数据进行回归分析利用满