《第十一章 多元线形回归分析》

1、第十一章多元线形回归分析第十一章多元相关与回归分析第一节多元线性回归模型 多元线性回归即多个自变量对一个因变量的线性回归。一、多元线性回归模型概念以两个自变量的二元回归为例，如x1、x2和y的关系存在关系 式：e (y) = a + B 1x1+ & 2x2,则y与x1和x2之间存在多元线性相 关关系，这一方程即多元线性回归模型。多元线性回归是多维空间中的超平面，如二元回归是三维空间中 的一个平面。对于任意的(x1, x2), y的期望值就是该平面上正对(x1, x2)的那个点的y轴值，其与实际观测点之间存在随机误差，实际观 测点 yi= a + B 1x1+ B 2x2+ e i。二、模型的

2、建立总体未知情况下，以样本构造出一个平面来估计总体真实平面， 即以平面。=a+b1x1+b2x2去拟合原始观测数据。拟合的准则是最小二乘法原理，使各观测值距离拟合值的偏差平 方和最小，即S(yi-o) 2最小。由此计算出的a，b1，b2是对a， B 1，B 2的最佳估计。例如对施肥量x1、降雨量x2和产量y的数据， spss 输 出 结 果 (表 1):variablex1x2constantb3.813.33266.7se.b0.5830.61732.077beta0.590.49t 6.5325.48.313 即得到。=266.7+3.81x1+3.33x2三、回归系数的意义对于模型。=a

3、+b1x1+b2x2，b1可以解释为。当x2不变的情况下，X1每变化一个单位，y将平均发生bl个单位的变化。如果所有自变量都同时变化，那么 y=b1Ax1+b2Ax2+o .biAxio 例题：如果对产量、施肥量、降雨量做出了简单回归和多元回归模型:a模型：产量=287+5.9施肥量；b模型：产量=400+6.0降雨量；c 模型：产量=267+3.81施肥量+3.33降雨量；请计算。(1)如果在每亩土地上多施10斤肥料，可以期望产量 增加多少。(2)如果在每亩土地上多灌溉5厘米的水，可以期望产量 增加多少。(3)如果同时在每亩土地上多施10斤肥料，并且多灌溉 5厘米的水，可以期望产量增加多少。

4、(4)由原始数据发现较高的施肥量和较高的降雨量是有联系的， 如果照这样的趋势下去，那么在每亩土地上多灌溉5厘米的水，可以 期望产量增加多少。解：(1)Ay=3.81 (10)=38.1斤。Ay=3.33 (5)=16.65 斤。Ay=3.81 (10) +3.33 (5) =38.1+16.65=54.75 斤Ay=6.0 (5) =30斤。采用b模型中的简单回归系数6.0， 它表示当施肥量也变化时，产量怎样随着降雨量的变化而变化。比较题2和题4, 30斤的增产不只归功于降雨量，也包含施肥量 的影响；而16.65斤的增产则是在施肥量不变的情况下，伴随着降雨 量的增加而产生的。四、自变量为定类变

5、量时回归系数的解释线形回归要求自变量和因变量都是定距变量，但当自变量为二项 变量或定类变量时，可以将其转化为0-1变量/虚拟变量后再进行回归。1、自变量为二项变量时：如研究存款额y （百元）和年龄x1、 性别x2之间的关系，令男性=1，女性=0（对照组）。如果得到如下多 元回归方程：。=33+12x1-9.1x2，则x2的回归系数-9.1表示，对于同 年龄的人来说，男性的存款额比女性平均减少910元。2、自变量为定类变量时：如研究收入y （百元）和文化程度x 之间的关系，假设文化程度包括小学、中学、大学，可将文化程度转 化为两个虚拟变量，1，中学1，大学d1=dd1=d2=0代表小学程度（对照

6、组），d1=1， d2=02=，表示中学文化程度；d1=0， d2=1表示大学文化程度。假如 得到回归方程。=33+12d1+30d2, d1的回归系数表示中学文化程度的 人比小学文化程度的人收入平均多1200元；d2的回归系数表示大学 文化程度的人比小学文化程度的人收入平均多3000元。3、如果自变量为连续变量，但其与因变量的关系并不是线形关 系，例如年龄x和身高y的关系，可以把年龄划分成年龄段做为定类 变量。对于有个水平的定类变量，需要设计n-1个虚拟变量来描述。第二节多元线性回归模型检验一、回归系数的估计和检验在多元回归中，各个回归系数的估计值b1，b2。都围绕总体回 归系数B1，B2。

7、近似正态波动，所以可以用样本回归系数的标准误 差来构造总体回归系数的置信区间。标准误差为表1中的第二列输出 结果se.b。总体回归系数置信区间公式。Bi=bita/2sei,其中，i=1, 2,.k； 查t分布表时的自由度为n-k-1。例题：以表1为例，计算每个回归系数的95%的置信区间（k=1，2），已知 n=7：解：df=7-2-1=4；查表得 t0.025=2.776；0,其他0,其他对回归系数进行检验即检验h0：Bi=0； h1：BiN0,即检验自 变量和因变量之间是否存在线形相关关系。检验方法：计算检验统计 量为t=bi-0/sei,计算出相应概值。spss可以输出t值和概值p。二、

8、回归模型的检验即检验 h0B1=B2=。=Bi=0。对多元回归做方差分析及显著性检验。将总偏差平方和。（yi。y） 2分解为（yi。（。）（不能由回归解释的偏差）和。）（可以由对x1, x2。 xk的回归yii-。解释的偏差）。计算f值=可以由回归解释的方差/不 能解释的方差，然后对f值与临界值进行比较，也可计算f值的概值。表2。对改革时间y与公司规模x1和公司类型x2的二元回归作 出方差分析表，包括求出概值和进行95%置信水平下的检验。回归误 差残差总误差有意义。第三节相关系数和决定系数一、复相关系数和决定系数决定系数r22=可以由回归解释的偏差/总偏差= （i-y）2/ （yi。y） 2；

9、 r2的平方根r为复相关系数，取值范围0-1。r2=1时，说明y 的全部偏差都可以用回归方程解释，以二元回归为例，表明全部观测 点正好落在拟合的回归平面上。r2越大，能用回归来解释的部分就越 大，表示y和x1，x2，。，xi的线形关系越强，回归效果越好，r2也具 有消减误差比例的意义。例如根据表 2 计算出：r2=1504.41/1680.80=0.8950559 ；r=0.9460739解释：应用二元回归可以解释总偏差中的89.5%，以改革 时间对公司规模和公司类型作二元回归，效果是很好的。二、偏相关系数和偏决定系数决定系数反映了一组自变量对回归模型的贡献。如果想知道某一 个自变量的贡献，需

10、计算引进这个变量后，所减少的残差的相对比例。以二元回归为例，设。=a+b1x1+b2x2，用rss（x1，x2）表示残差；如果只对自变量x2做简单回归模型。=a+b2x2，用rss（x2）表示残 差。则rss（x2 ）肯定大于ss1504.41176.391680.80df21719ms752.xx.38f72.47概值V 0.001 在95%的置信水平下可以拒绝原假设，说明回归效果是显著的，即回归 模型rss （x1，x2），在已有x2的模型中再引入x1变量后，所减少的 残差为 rss （x2） -rss （x1，x2）。减少的相对残差 r2y1.2= （rss （x2） -rss （x1，

11、x2） /rss （x2）就是偏决定系数，表示x2已在模型当中时，再引入变量x1后，能够减 少百分之多少的残差。偏决定系数的平方根为偏相关系数，其符号与拟合回归函数中相 应的回归系数符号一致。偏相关系数可以看作是消除了*2的影响效 应后，对y和x1之间的关联程度的度量，也称净相关。三、标准化回归系数将所有变量y，x1，x2。xi标准化，然后对标准化后的yx，xix进 行回归拟合得：yx=ax+b1xx1x+.+bixxixblx，b2x。bix就是标准回归系数，其大小说明了各自对应的自 变量对y的影响大小，标准回归系数绝对值越大，该自变量的影响就 越大。例如表1第四列的标准回归系数beta，施

12、肥量（0.59）对产量 的影响比降雨量（0.49）更大。但注意：这种方法只有当自变量之间 的相关性较小时才正确。第四节非线性相关与回归分析对于变量之间会的非线性的关系，可将其变换为线性关系再处 理。一、幕函数幕函数基本形式为。yi= B 1xi B 2eui，ui为随机误差项，和B1为 B2参数。参数B 2度量了变量y对变量x的弹性，即x的单位百分 比变动引起y变动的百分。y/y。 yx 上匕，B 2=二。x/x。xy由于y和x之间是非线性关系，为了将其变为线形形 式，可以对方程两边取对数，转换为双对数函数形式，即inyi=inB1+ B 2inxi+ui，把inyi和inxi视为新的变量，则

13、新变量之间成为线形关系， 可以按照线形回归的方式估计参数。也可拓展到多元的情况，如 inyi=in B 1+B 2inx1i+B 3inx2i。+ui。例如：根据天津市xx年的经济统计资料，想研究天津市国内生 产总值gdp和资金投入量及从业人员数量之间的关系，可运用柯柏一 道格拉斯生产函数建立理论回归方程：yi=akilie，y是gdp，k是资金 投入量，l是从业人数，ui是随机误差项。为了便于估计参数，将该 方程转换为线性方程：inyi=ina+ainki+B inli+ui，设 yix=inyi，kix=inki， lix=inli，B 1=ina， B2=a，B3=B，则上式变为 yix

14、= B 1+B 2kix+B 3lix+ui，用线形回归 分析得出结果：。ix=-10.4639+1.021124ki+1.471943lix因为B 1=ina=-10.4639，所以a=0.0000285，这样所估计的生产函 数为：。ix=0.0000285ki1.021124li1.471943ui二、对数函数对数函数关系包括自变量为对数和因变量为对数两种情况。自变 量为对数时，方程为yi= a + B inxi+ui，参数B表示自变量x每变动一 个百分点时，会引起因变量y绝对值的变动量。若把inxi视为新变量， 可以作为线形回归去处理。当因变量为对数时，方程为inyi=a+B xi+ui

15、，参数B表示自变量x每变动一个单位时，会引起因变量y发生 几个百分比的变动。如把inyi视为新变量，可以作为线形回归去处理。例如。美国联邦储备管理委员会要研究gdp和货币供应量x的关 系，建立对数方程yi=B1+B2inxi+ui，可先将货币供应量数据xi转变 为inxi，再按照线性回归方法作gdp对inxi的回归，得到。i=-16329+2584.79inxi,表明货币供应量每增加一个百分点，gdp的绝 对量将增加2584.79亿美元。三、指数函数指数函数的形式为yi=abxieui。指数函数通常用于描述产量、成 本等现象的变动趋势。对方程两边取对数可转化为线性函数： inyi=ina+xi

16、inb+ui，这时的变量为inyi和xi，参数为ina和inb。可以设 yix=inyi,B 1=ina,B 2=inb，得至U yix= B 1+ B 2xi+ui。对于非线性关系，用相关指数度量其相关程度，相关指数就是非 线性回归的决定系数r2或者决定系数的平方根r。r2和r越大，表明 变量间的非线性相关程度越高，反之越低。r取值范围0-1。四、logistic回归(因变量为二项变量时的回归)当因变量为二项变量时，可将其转化为定距变量。其他定类变量 也可以转化为二项变量来研究。1，成功用虚拟变量的形式来表示因变量y，即y=0，失败，并设成功的 概率p (y=1) =n，失败的概率p (y=0) =1- n，根据二项分布特征， 可知y的期望值e (y) = n，y的方差d (y) =n(1-n)。设y (二项变量)对自变量的回归模型为：e (y) =a+B1x1+。+ B ixi如果拟合的方程为：。=a+b1x1+。+bixi那么，拟合值。就表示成功概率兀即e (y)的估计值。所以自 变量对y的影响就转化为了自变量对成功概率的影响。然而，对于二项变量来说，其e (y)的取值范围只能是0-1，这样就不能很好适应线形回归模型(线形回归要求因变量连续取值)，所以考虑对e(y)进行数值p变换，可以将其转化为px=ln,