第5章 回归分析

1、2022-3-20高级管理统计1第第5章章 回归分析回归分析5.1 一元线性回归模型一元线性回归模型5.2 多元线性回归模型多元线性回归模型5.3 多元逐步回归分析多元逐步回归分析5.4 多重线性回归分析多重线性回归分析2022-3-20高级管理统计2第六章第六章 回归分析回归分析5.1 一元线性回归模型一元线性回归模型 从定量的角度来看，变量之间的关系可以分为两类： 一类变量之间的关系是完全确定的，可以用函数的形式表达 另一类变量之间有关系，但不能用函数形式表达，例如人的体重与身高有关，一般而言，较高的人体重也重，但同样身高的人体重却不完全相同，这样的变量间关系在统计上称为相关关系。回归分析

2、是研究变量之间相关关系的一种统计方法。2022-3-20高级管理统计3 模型的基本形式模型的基本形式 设 是 的未知线性函数： 。 今对 在点 上进行试验，测得函数 的试验值为 由于受随机误差因素的影响，试验结果为 此处 为未知参数。xyxyynxxx,21ynixyiii, 2 , 1,nyyy,21,2022-3-20高级管理统计4 随机误差项 满足条件（1）独立性： 相互独立，因而 也相互独立。（2）无偏性： ，因而n,21niEi, 2 , 1, 0)(nixyEii, 2 , 1,)(nyyy,212022-3-20高级管理统计5 （3）等方差性： ，因而 （4）正态性： ，因而 上

3、述四个条件可简化为： 独立同分布niyi, 2 , 1,)(Var2nii, 2 , 1,)(Var2nixNyii, 2 , 1),(2niNi, 2 , 1), 0(2ij), 0(2N2022-3-20高级管理统计6回归直线的确定回归直线的确定 参数 与 的估计 应使残差平方和达到最小，即 令 y, niiixyQQ12,)(min),(min), (00QQ2022-3-20高级管理统计7niiiiniiixxyQxyQ110202niiiiniiixxyQxyQ11020122022-3-20高级管理统计8 此为正规方程组niiininiiiniiniiyxxxyxn11121nin

4、iniiiiininiiixxyxxny11121002022-3-20高级管理统计9 参数 的最小二乘估计 其中,niiniiiniiniiixxyyxxxnxyxnyxxY12112211niiniiynyxnx111,12022-3-20高级管理统计10 为简单起见，令212122121221212)()()(yxnyxyyxxlynYyylxnxxxlniiiniiixyniiniiyyniiniixx2022-3-20高级管理统计11 于是 因此，回归直线 xxxyllxy/xy2022-3-20高级管理统计12 在一元线性回归模型假设下，回归系数 具有以下性质 （1） （2） （3

5、）)1(,(22xxlxnN, )/,(2xxlNxxlxK/, 2022-3-20高级管理统计13 根据线性模型的假定， 为相互独立的正态变量，且 另一方面，均是 的线性函数，即 故 均为正态变量。 , niiixxinixxiyxxlylxxxn112)(1,)(1niyxyEiii,2, 1,)(Var,)(2nyyy,21nyyy,212022-3-20高级管理统计14 求 的数学期望 , xxxxiniixxiniixxiniixxiniixxllxxxlxxxlyExxlyxxlEE1 1)(1 )(11)(1111)(E2022-3-20高级管理统计15 )(1 )()(1 )(

6、)(11xxEnxEYEnxYEEniinii)(E2022-3-20高级管理统计16求 的方差2221222212211)(1( )()(21( )Var()(1( )(1(Var) (Varxxinixxinixxiinixxiinixxilxxnlxxxlxxxnnylxxxnylxxxn, 22)1() (Varxxlxn2022-3-20高级管理统计17xxniixxniixxiniiixxlxxlylxxyxxl212221221 1 )(Var )(1Var()Var(xxlVar2)(2022-3-20高级管理统计18 求 与 的相关矩2), (Covxxlx21111)1()

7、(Var)1()(1,)1(Cov(), Cov(xxinixxiixxinixxininiiixxixxilxxlxxxnylxxlxxxnyxxlylxxxn2022-3-20高级管理统计19 的无偏估计；分别是1010,不相关与时，100 x负相关与时，100 x正相关与时，100 x2022-3-20高级管理统计20 在线性模型的假定条件下， （1） ； （2） 相互独立。 其中YSe,) 1(22nSexyyySiniiie,)(122022-3-20高级管理统计21niiiniiniiniiiniiininiiiexxyyxxyyxxYyxxyyxyYYS1211212121i2i

8、i12)( )(2)( )()( )( ) ( )(2022-3-20高级管理统计222121122121122212212212)()1()()1()()(2)(nixxiiniiniinixxiiniiniixxxyniixxxyniixxxxxyxyxxxyniilyxxynylyyxxynnyllynyllyyllllllyy2022-3-20高级管理统计23niniiiyayayaz2211nxxnxxxxnylxxylxxylxxz22111nnynynynz11121,n,j,n,iaij21221，其中对 作如下线性变换nyyy,212022-3-20高级管理统计24此处 满足

9、条件显然ija21212211212)( ,)1( , ninixxinniinjinjizylxxzynzykiaaxaaakjnjijjnjijnjnjijij, 0 , 01 , 0111212022-3-20高级管理统计25 从而 由于 相互独立，都服从正态分布，所以 均服从正态分布，且21221212niin-nniiezzzzSn,y,yy21iZ ,zEi0 ,zi2Var221,n,i,lZExxn1121Varzn ,nzEn)(2Varzn,zzji0)Cov(j,i ,n,i,j212022-3-20高级管理统计26 以上表明 相互独立同分布 ，从而 所以 并且 根据 的

10、独立性，知 三者相互独立。nz,zz21)0 (2,N) 1 , 0(221Nz,z,zn2)(22122nzSniieynynzlylxxzniinxxniixxin11111,nz,zz,21ySe,2022-3-20高级管理统计27 在实际工作中，我们不能断定因变量与自变量间确有线性关系，线性模型只是一种假设，尽管这种假设不是没有根据的，但还是需要对这种线性回归方程同实际观察或试验数据拟合的效果进行检验。2022-3-20高级管理统计28 检验问题 检验统计量 其中0:010H:Hxxlt/eSn212022-3-20高级管理统计29因为 相互独立，并且所以eS,22/022ntnSlH

11、exx成立)2(),(222nSlNexx2022-3-20高级管理统计30也就是说 ，所以拒绝域根据 分布与 分布之间的关系，有因而拒绝域也可以写为 。 221nttWtF210222,nF/ltF成立Hxx 2, 11nFFW20ntl/ t成立Hxx2022-3-20高级管理统计31 二维样本 的相关系数定义为 yyxxyyxxxxxyyyxxxyniiniiniiilllllllllyyxxyyxxr)()(12121niyxii, 2 , 1),(2022-3-20高级管理统计32 当 成立时， 应该比较小，从而 值较小；因此，当 较大时，应拒绝 。 拒绝域 其中 满足条件0:0Hr

12、0H|r|:|crrWc )|(|0crPH2022-3-20高级管理统计33 当线性系数经过检验确认不等于零，即回归直线效果是显著的，此时，便可以利用所得的回归直线，给定自变量的值来预报因变量的值：给定 和置信水平 ，预报随机变量 的取值范围。0 xx0y12022-3-20高级管理统计34当 时， 的估计值0 xx 0y)(1(22000lxxn,xNxyxx)(11 (0(22000lxxn,Nyyxx2022-3-20高级管理统计35) 1 , 0 ()(112000Nlxxnyyxx)2()2()(11222000ntnSlxxnyyexx2)(112000ntlxxnyyxx202

13、2-3-20高级管理统计36而所以， 的置信水平为 的置信区间为xxlxxnyy200011P221nt1xxxxlxxnntylxxnnty2021020210112,1120y12022-3-20高级管理统计37 国家 国民经济增长率x(%) 失业率y（%） 美 国 3.2 5.8 日 本 5.6 2.1 法 国 3.5 6.1 西 德 4.5 3.0 意大利 4.9 3.9 英 国 1.4 5.7 例 以下是六个工业发达国家在1979年的失业率与国民经济增长率的数据2022-3-20高级管理统计38 (1) 研究 与 之间的关系； (2) 建立 关于 的一元线性回归方程； (3) 对所求

14、得的回归方程作显著性检验，在作检验时做了什么假定? (取 ) (4) 若一个工业发达国家的国民经济增长率为 ，求其失业率的预测值。yxyx05. 0%32022-3-20高级管理统计3926.92,96.131,07.10043. 4, 62685. 3, 123616126126161iiiiiiiiiiiyxyxy.yx.x解解2022-3-20高级管理统计401351185360710022612.XnXliixx05104348536269261.-.yxnyxliiixy10071000510.llxxxy8154853) 1 . 0(434.xyx.y1081542022-3-20

15、高级管理统计41R R计算程序与计算结果计算程序与计算结果 x=c(3.2,5.6,3.5,4.5,4.9,1.4) y=c(5.8,2.1,6.1,3.0,3.9,5.7) fit=lm(y1+x) summary(fit) yhat=predict(fit) yhat plot(y,type=l,lwd=1,xlab=x,ylab=y);text(3.6,5.8,expression(观察值) lines(yhat,lwd=2.5,col=blue);text(5.3,6,expression(估计值)2022-3-20高级管理统计42R R计算程序与计算结果计算程序与计算结果Call:l

16、m(formula = y 1 + x)Residuals: 1 2 3 4 5 6 0.7742 -0.7381 1.3476 -0.8408 0.4238 -0.9666 Coefficients: Estimate Std. Error t value Pr(|t|) (Intercept) 7.9428 1.3380 5.936 0.00404 *x -0.9115 0.3276 -2.782 0.04971 * -Signif. codes: 0 * 0.001 * 0.01 * 0.05 . 0.1 1 Residual standard error: 1.093 on 4 deg

17、rees of freedomMultiple R-squared: 0.6593, Adjusted R-squared: 0.5741 F-statistic: 7.74 on 1 and 4 DF, p-value: 0.049712022-3-20高级管理统计432022-3-20高级管理统计442022-3-20高级管理统计452022-3-20高级管理统计46 （1）双曲线 令 ，则 。 （2）幂函数 令 ，则 。xbay1yvxu1,1buavbaxy xuaayvln,ln,lnbuav2022-3-20高级管理统计47（3）指数函数 若 ，则令 ，于是 若 ，则令 ，同样有b

18、xaey xuaayv,ln,lnxbaey/xuaayv1,ln,lnbuavbuav2022-3-20高级管理统计48（4）对数函数 令 ，则有 。（5）S曲线 令 ，则有 。xuyvln,xbaylnxeuyv,1buavbuavxbeay12022-3-20高级管理统计493.2 3.2 多元线性回归模型多元线性回归模型 multivariate regressionmultivariate regression 多元的含义：多个解释变量？多元的含义：多个解释变量？ 多个因变量（被解释变量）？多个因变量（被解释变量）？例如，血压与年龄、体重之间的关系例如，血压与年龄、体重之间的关系 消

19、费支出与收入、价格之间的关系消费支出与收入、价格之间的关系 其他其他？ 线性的含义：变量的线性组合线性的含义：变量的线性组合 2022-3-20高级管理统计50 建模目的建模目的 分析变量之间的结构关系分析变量之间的结构关系 预测分析：给定自变量的取值预测分析：给定自变量的取值, 预测因变量预测因变量Y将来取值的将来取值的大小大小2022-3-20高级管理统计51 模型结构分析模型结构分析 设 是 个变量 的线性函数现对多元变量 在 个点上进行试验，结果如下yn),(21mxxxmnixxxmiii, 2 , 1),(21),(21mxxxmmxxxy221102022-3-20高级管理统计5

20、2 此处 为随机误差项，它满足条件（1）独立性： 相互独立，因而 也相互独立。（2）无偏性： ，因而nixxxymiiii, 2 , 1),;(21niEi, 2 , 1, 0)(nixxxyEmimiii, 2 , 1,)(22110nyyy,21n,21i2022-3-20高级管理统计53（3）等方差性： ，因而（4）正态性： ，因而 上述四个条件等价于：), 0(. .2Ndi iinixxxNymmi, 2 , 1),(222110niyi, 2 , 1,)(Var2nii, 2 , 1,)(Var2niNi, 2 , 1), 0(22022-3-20高级管理统计54 模型参数估计模型

21、参数估计 模型系数估计模型系数估计：设所求回归方程为：设所求回归方程为 其中其中 为参数为参数 的估计，称为的估计，称为回归系数，它使残差平方和回归系数，它使残差平方和 取最小值取最小值nimkikikiniiixyyyQ12012)()(m,10m,10mmxxxy221102022-3-20高级管理统计55 根据多元函数求极值的必要条件，根据多元函数求极值的必要条件， 应满足下列线性方程组应满足下列线性方程组 m,10miQi, 2 , 1 , 0, 02022-3-20高级管理统计56nimimimiiimniimimiiinimimiiixxxxyQxxxxyQxxxyQ1221101

22、122110112211000)(20)(20) 1)(22022-3-20高级管理统计57写成矩阵形式写成矩阵形式imiiiimmimiimiikiiimiiyxyxxxxxxxxxxxxn11102112111 2022-3-20高级管理统计58记mmnmnmmnyyyYxxxxxxX,11110102121112112022-3-20高级管理统计59则则2112111mimiimiikiiimiixxxxxxxxxxnXX2022-3-20高级管理统计60imiiiinmnmmnyxyxyyyyxxxxxxYX1212111211 1112022-3-20高级管理统计61因此，正规方程组

23、因此，正规方程组 从而，未知参数向量从而，未知参数向量 的最小二乘估计量的最小二乘估计量 YXXXYXXX)(12022-3-20高级管理统计62 方差的无偏估计量方差的无偏估计量 并且并且此处此处12mnQ) 1(22mnQnimimiixxyQ12110)(2022-3-20高级管理统计63其中，残差序列为其中，残差序列为nmmnnnnnmmmmxxyyyxxyyyxxyyy1102211022221111011112022-3-20高级管理统计64 回归方程优劣的评价回归方程优劣的评价 模型的拟合程度模型的拟合程度: 回归系数是否显著不等于零回归系数是否显著不等于零2022-3-20高级

24、管理统计65 回归方程的显著性检验回归方程的显著性检验检验问题检验问题检验统计量检验统计量0,0:10imiH) 1/()(/)(22mnyymyyFjjj2022-3-20高级管理统计66 模型系数的显著性检验模型系数的显著性检验 若考虑变量若考虑变量 是否对因变量是否对因变量 有显著影响，有显著影响，则检验问题则检验问题 检验统计量检验统计量 ix)(Variit0:0:10iiHHy2022-3-20高级管理统计67 拒绝域拒绝域判断：对于给定的显著水平，若判断：对于给定的显著水平，若 ， 则拒绝原假设则拒绝原假设 ，即认为，即认为 ；若；若 则接受则接受 ，认为，认为 )1(|:|2/

25、ntttW0H0i0H) 1(|2/ntt0i) 1(|2/ntt2022-3-20高级管理统计68 例题例题 考虑我国考虑我国31个省市自治区的城镇居民人均食品消费支出个省市自治区的城镇居民人均食品消费支出与其人均收入，粮食价格的依赖关系与其人均收入，粮食价格的依赖关系 回归模型回归模型: 人均消费支出人均消费支出(Y)=0+1粮食价格粮食价格(X1)+2人均收入人均收入2022-3-20高级管理统计69多元回归分析的建模多元回归分析的建模数据数据2022-3-20高级管理统计70变量之间的相关系数分析变量之间的相关系数分析 食品支出与粮价相关系数食品支出与粮价相关系数=0.730 食品支出

26、与收入相关系数食品支出与收入相关系数=0.9212022-3-20高级管理统计71参数估计参数估计0= -87.386, 1=213.423, 2=0.352C Co oe ef ff fi ic ci ie en nt ts sa a-87.36861.680-1.416.168213.42373.278.2432.913.007.352.038.7679.185.000(Constant)粮食平均单价人均收入Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variab

27、le: 人均食品支出a. 2022-3-20高级管理统计72回归方程的表达式：回归方程的表达式： 2022-3-20高级管理统计73 常数项的经济涵义不清晰常数项的经济涵义不清晰, , 原因原因: : 可能有重要的解释变量未引可能有重要的解释变量未引入方程中；因此，需再寻找其他解释变量入方程中；因此，需再寻找其他解释变量 2022-3-20高级管理统计74 解释变量确定的方法：逐步回归解释变量确定的方法：逐步回归 基本思路：先列出所有可能的解释变量，然后逐一增加或基本思路：先列出所有可能的解释变量，然后逐一增加或删除变量，将其引入方程或者将其从方程中剔出删除变量，将其引入方程或者将其从方程中剔

28、出2022-3-20高级管理统计75 模型拟合检验模型拟合检验: F 检验，分析数据的拟合程度，它是检验，分析数据的拟合程度，它是对模型的整体检验对模型的整体检验F值值=106.164A AN NO OV VA Ab b915129.12457564.525106.164.000a120679.8284309.992103580930RegressionResidualTotalModel1Sum ofSquaresdfMean SquareFSig.Predictors: (Constant), 人均收入, 粮食平均单价a. Dependent Variable: 人均食品支出b. 2022

29、-3-20高级管理统计76 残差分布图残差分布图2022-3-20高级管理统计77 F F 检验的解释检验的解释 在回归分析中，观测数据的总波动，用每个观测值在回归分析中，观测数据的总波动，用每个观测值与总平均的差异平方和表示，即与总平均的差异平方和表示，即0)()( )(2)()( )()(311231123113112311231122311iiiiiiiiiiiiiiiiiiiiyyyyyyyyyyyyyyyyyyS2022-3-20高级管理统计78 是观测值与回归值的离差平方和，反映是观测值与回归值的离差平方和，反映了误差的大小，称为误差平方和；其取值越小越了误差的大小，称为误差平方和

30、；其取值越小越好；它的自由度好；它的自由度=31-3=28 是回归值与总平均离差平方和，它表示是回归值与总平均离差平方和，它表示x与与y的线性关系引起的线性关系引起y的变化；称为回归平方和，的变化；称为回归平方和，它的自由度它的自由度=3-1=22022-3-20高级管理统计79模型的经济涵义模型的经济涵义 在保持收入水平不变的条件下在保持收入水平不变的条件下,粮价上涨粮价上涨1元元, 则则人均食品消费支出将增加人均食品消费支出将增加 213.423元元 在粮价保持不变的情况下在粮价保持不变的情况下, 收入每增加收入每增加1元元,将有将有其中的其中的0.352元用于食品消费支出元用于食品消费支

31、出2022-3-20高级管理统计80 例题例题 根据经验，在人的身高相等的情况下，血压的收缩压根据经验，在人的身高相等的情况下，血压的收缩压Y与与体重体重X1（kg）、年龄）、年龄X2（岁数）有关。现在收集了（岁数）有关。现在收集了13个男子的个男子的数据，试建立数据，试建立Y关于关于X1，X2的回归方程的回归方程2022-3-20高级管理统计81序号X1X2Y176.050120291.520141385.520124482.530126579.030117680.550125774.560123879.050125985.0401321076.5551231182.0401321295.0

32、401551392.5201472022-3-20高级管理统计82R软件运行程序软件运行程序blood-data.frame(X1=c(76.0, 91.5, 85.5, 82.5, 79.0, 80.5, 74.5, 79.0, 85.0, 76.5, 82.0, 95.0, 92.5), X2=c(50,20,20, 30,30,50,60,50,40,55,40,40,20), Y=c(120,141,124,126,117,125,123,125,132,123,132,155,147)lm.sol|t|) (Intercept) -62.96336 16.99976 -3.704 0

33、.004083 * X1 2.13656 0.17534 12.185 2.53e-07 *X2 0.40022 0.08321 4.810 0.000713 *-Signif. codes: 0 * 0.001 * 0.01 * 0.05 . 0.1 1 Residual standard error: 2.854 on 10 degrees of freedomF-statistic: 87.84 on 2 and 10 DF, p-value: 4.531e-072022-3-20高级管理统计84模型表达式模型表达式 Y= - -62.96 + 2.136X1 + 0.4002X2 （-

34、3.704）（）（12.185） （4.810）2022-3-20高级管理统计852022-3-20高级管理统计86参数的区间估计参数的区间估计 source(.R) (lm.sol) Estimate Left Right (Intercept) -62.9633591 -100.8411862 -25.0855320 X1 2.1365581 1.7458709 2.5272454 X2 0.4002162 0.2148077 0.58562462022-3-20高级管理统计873.3 3.3 多元逐步回归多元逐步回归 在实际问题中, 人们总是希望从对因变量

35、有影响的诸多变量中选择一些变量作为自变量, 应用多元回归分析的方法建立“ 最优”回归方程，以便对因变量进行预报或控制2022-3-20高级管理统计88 所谓所谓“最优最优”回归方程回归方程, 主要是指在回归方程中包含所有对因变主要是指在回归方程中包含所有对因变量量 影响显著的自变量而不包含对影响不显著的自变量的回归方影响显著的自变量而不包含对影响不显著的自变量的回归方程程 逐步回归分析逐步回归分析的主要思路是在所考虑的全部自变量中按其对的作的主要思路是在所考虑的全部自变量中按其对的作用大小用大小, 显著程度大小，或者说贡献大小显著程度大小，或者说贡献大小, 由大到小地逐个引入回由大到小地逐个引

36、入回归方程归方程, 而对那些对作用不显著的变量可能始终不被引人回归方而对那些对作用不显著的变量可能始终不被引人回归方程程2022-3-20高级管理统计89 另外另外, 己被引人回归方程的变量在引入新变量后也可能失去己被引人回归方程的变量在引入新变量后也可能失去重要性重要性, 而需要从回归方程中剔除出去。引入一个变量或者而需要从回归方程中剔除出去。引入一个变量或者从回归方程中剔除一个变量都称为逐步回归的一步从回归方程中剔除一个变量都称为逐步回归的一步, 每一步每一步都要进行检验都要进行检验, 以保证在引人新变量前回归方程中只含有对以保证在引人新变量前回归方程中只含有对影响显著的变量影响显著的变量

37、, 而不显著的变量已被剔除而不显著的变量已被剔除2022-3-20高级管理统计90 例题例题 某种水泥在凝固时放出的热能某种水泥在凝固时放出的热能Y与水泥的四种化学成分与水泥的四种化学成分X1，X2，X3，X4有关，现测得有关，现测得13组数据，希望从中选出主组数据，希望从中选出主要的变量，建立要的变量，建立Y关于它们的线性回归方程关于它们的线性回归方程2022-3-20高级管理统计91序号X1X2X3X4Y172666078.52129155274.331156820104.34113184787.6575263395.961155922109.27371176102.78131224472

38、.59254182293.1102147426115.911140233483.8121166912113.3131068812109.42022-3-20高级管理统计92 cement-data.frame( X1=c(7,1,11,11,7,11,3,1,2,21,1,11,10), X2=c(26,29,56,31,52,55,71,31,54,47,40,66,68), X3=c(6,15,8,8,6,9,17,22,18,4,23,9,8), X4=c(60,52,20,47,33,22,6,44,22,26,34,12,12), Y=c(78.5,74.3,104.3,87.6,9

39、5.9,109.2,102.7,72.5,93.1,115.9,83.8,113.3,109.4) ) lm.sol|t|) (Intercept) 62.4054 70.0710 0.891 0.3991 X1 1.5511 0.7448 2.083 0.0708 .X2 0.5102 0.7238 0.705 0.5009 X3 0.1019 0.7547 0.135 0.8959 X4 -0.1441 0.7091 -0.203 0.8441 -Signif. codes: 0 * 0.001 * 0.01 * 0.05 . 0.1 1 Residual standard error:

40、2.446 on 8 degrees of freedomF-statistic: 111.5 on 4 and 8 DF, p-value: 4.756e-07 2022-3-20高级管理统计94 从上述计算中可以看出，如果选择全部变量作回归方程，效从上述计算中可以看出，如果选择全部变量作回归方程，效果不好，因为回归方程的系数没有一项通过检验，下面用函果不好，因为回归方程的系数没有一项通过检验，下面用函数数step( )作逐步回归作逐步回归2022-3-20高级管理统计95 lm.step-step(lm.sol)Start: AIC=26.94Y X1 + X2 + X3 + X4 Df

41、Sum of Sq RSS AIC- X3 1 0.109 47.973 24.974- X4 1 0.247 48.111 25.011- X2 1 2.972 50.836 25.728 47.864 26.944- X1 1 25.951 73.815 30.576Step: AIC=24.974Y X1 + X2 + X4 Df Sum of Sq RSS AIC 47.97 24.97- X4 1 9.93 57.90 25.42- X2 1 26.79 74.76 28.74- X1 1 820.91 868.88 60.632022-3-20高级管理统计96名词解释名词解释 AI

42、C准则准则：赤池信息量准则（：赤池信息量准则（Akaike information criterion，简称，简称AIC）是衡量）是衡量统计统计模型拟合优良性的一模型拟合优良性的一种标准，是由种标准，是由日本日本统计学家统计学家赤池弘次赤池弘次创立和发展的；赤创立和发展的；赤池信息量准则建立在池信息量准则建立在熵熵的概念基础上，可以权衡所估计的概念基础上，可以权衡所估计模型的复杂度和此模型拟合数据的优良性模型的复杂度和此模型拟合数据的优良性 AIC=2k-log(L) 其中：其中：k是是参数参数的数量，的数量，L是是似然函数似然函数2022-3-20高级管理统计97 从程序运行结果来看，用全部

43、变量作回归方程时，从程序运行结果来看，用全部变量作回归方程时，AIC的值的值为为26.94，接下来的数据表明：如果去掉，接下来的数据表明：如果去掉X3，得到回归方程，得到回归方程AIC的值为的值为24.974，如果去掉，如果去掉X4，AIC的值为的值为25.011，依次，依次类推；由于去掉类推；由于去掉X3可以使可以使AIC达到最小，因此去掉达到最小，因此去掉X3进入进入下一轮计算。下一轮计算。 在下一轮计算中，无论去掉那一个变量，在下一轮计算中，无论去掉那一个变量，AIC的值均会升高，的值均会升高，因此中止逐步回归，进入回归建模。因此中止逐步回归，进入回归建模。2022-3-20高级管理统计

44、98summary(lm.step)Call:lm(formula = Y X1 + X2 + X4, data = cement)Residuals: Min 1Q Median 3Q Max -3.0919 -1.8016 0.2562 1.2818 3.8982 Coefficients: Estimate Std. Error t value Pr(|t|) (Intercept) 71.6483 14.1424 5.066 0.000675 *X1 1.4519 0.1170 12.410 5.78e-07 *X2 0.4161 0.1856 2.242 0.051687 . X4

45、-0.2365 0.1733 -1.365 0.205395 -Signif. codes: 0 * 0.001 * 0.01 * 0.05 . 0.1 1 Residual standard error: 2.309 on 9 degrees of freedomF-statistic: 166.8 on 3 and 9 DF, p-value: 3.323e-08 2022-3-20高级管理统计99 残差分布图残差分布图lm.sol-lm(YX1+X2+X4,data=cement)res-residuals(lm.sol)plot(res)2022-3-20高级管理统计1003.4 多重

46、线性回归分析多重线性回归分析 主要讨论多个因变量与多个自变量之间的线性函数关系，当主要讨论多个因变量与多个自变量之间的线性函数关系，当然多个因变量之间具有相关性；否则，就是多个多元线性回然多个因变量之间具有相关性；否则，就是多个多元线性回归模型问题归模型问题2022-3-20高级管理统计101多对多的问题多对多的问题 发电量、工业总产值与钢材产量、水泥产量和机械工业总产值发电量、工业总产值与钢材产量、水泥产量和机械工业总产值之间的关系之间的关系 麦当劳、肯德基消费与居民收入、价格等因素之间的关系麦当劳、肯德基消费与居民收入、价格等因素之间的关系 ? ? ? ? ? ? ? ? ? ?2022-3-20高级管理统计102模型结构模型结构 因变量：因变量：y1,