多元回归模型与建模.pdf

2012- 8- 20applied stat for mba05d11 多元回归模型与建模多元回归模型与建模多元回归模型与建模多元回归模型与建模 2012- 8- 20applied stat for mba05d12 一、多元线性回归问题一、多元线性回归问题 1.一元回归问题的困惑巴特勒(butler)运输公司的例子 (p661)： 行驶距离(英里)运送货物次数行驶时间(小时) 1004 9.3 5034.8 100 48.9 10026.5 5024.2 8026.2 753 7.4 65 46 90 37.6 9026.1 2012- 8- 20applied stat for mba05d13 2.做行驶时间- 行驶距离的一元回归 coefficients t statp- value intercept 1.2739130.909454 0.389687 行驶距离(英里) 0.067826 3.9767550.00408 回归方程为 可以看出方程整体检验和自变量检验的p值为0.0041,一元回归能够 显著成立。但是判定系数偏小, 说明有些因变量的解释 因素（例如运货次数）没有引入。 0.6221 0.6641, 22 =rr 0.664 2 =r xy0678 . 0 2739 . 1 += 2012- 8- 20applied stat for mba05d14 pp pp pp xxxye xxxny ne exxxy += + += l l l 22110 2 22110 2 22110 )( ) , ( ), , 0( . 3 那么假定误差项 更多的自变量多元回归理论模型 2012- 8- 20applied stat for mba05d15 4.来自p元回归模型的容量为n的样本 注意： 的第 1 个脚码 k 表示变量编号，k=1,p; 第 2 个脚码 i= 1,n 表示样本编号。 );,( );,( );,( 21 222212 112111 npnnn p p yxxx yxxx yxxx l llll l l ki x 2012- 8- 20applied stat for mba05d16 5. 多元回归总体模型和古典假定 总体模型表示式为 古典假定 1) e(ei)=0; (e(yi)=0+1x1i+ pxpi)； 2) 对于所有的 i，var(ei)=2； 3) ei是服从正态分布n(0, 2) 的； 4) 对于不同的 ei,ej(ij) 是相互独立的。 01 1 01 1 . 0 iippii iippii yxxe i=1,2, ,n e(y )xx e(e ) =+ =+= l l 2012- 8- 20applied stat for mba05d17 6.多元线性回归方程的估计 2 i01 122 01012 01 122 ,0,1, . min() ( ,) () i iippi pp pp kk ip yxxx bb bb ybb xb xb x b = =+ l l ll l 使用最小二乘方法估计 得出（， ， ，）的估计值 估计的回归方程是 的含义是甚麽？ 2012- 8- 20applied stat for mba05d18 巴特勒公司二元线性回归模型的估计 自变量：x1- 行驶距离, x2- 运货次数。 回归方程： 21 9234. 00611. 0869. 0xxy+= 2012- 8- 20applied stat for mba05d19 7.多元回归方程变差分解和判定系数r2 总变差的分解：sst=ssr+sse； 多元判定系数： r2=ssr/sst； 多重相关系数r； 调整（修正）的判定系数： 巴特勒公司二元线性回归模型的判定系数 22 1 1 22 )1 (1 rr rr pn n = pnpff pnsse pssr mse msr 2012- 8- 20applied stat for mba05d111 9.对回归系数的检验: t test for individual significance 检验假设检验假设 检验统计量检验统计量 拒绝域拒绝域 0 : 0 : 10 = kk hh 的标准误差是其中 kbs b k bst k k b k ,= ) 1() 1( 2/2/ f1,n- (k+1)- 1 则应该增加(或不删除)xk+1,否则不 应增加(或删除)xk+1。 k=1则有 sse()- sse() ,(1) 1 mse() ffnk=+ 简化完全 增加变量数 增加变量数 完全 )3, 1 ( 12 ),sse( 1 ),sse(-)sse( 21 211 =nf n xx xxx f 2012- 8- 20applied stat for mba05d140 增加或删除变量的 f检验的巴特勒例题 巴特勒例题的一元回归和二元回归方程分别为 (0.0041) 括号内为变量系数的p- 值 (0.0004) (0.0042) f 检验中的分子分母分别为 f统计量的 p- 值=0.0042, x2 应该增加(或不应删除)。 可以看出f统计量的 p- 值就是二元中x2 系数的p- 值。 1 0678 . 0 2739 . 1 xy+= 21 9234. 00611. 0869. 0xxy+= 3284 . 0 ) 1210/(),( 730 . 5 299. 2029 . 8 1/),()( 21 211 = = xxsse xxssexsse 59. 5)7 , 1 (45.17 3284. 0 730. 5 05. 0 =ff 2012- 8- 20applied stat for mba05d141 2.逐步回归的基本步骤 1）给定显著性水平。 2）选择与被解释变量相关系数最高的变量做一元回归；如果 该变量p- 值不显著，则回归失败结束；否则一元回归方程成立， 进入3)。 3）在一元回归基础上利用f- 检验筛选其余变量，选择其中显 著性水平(p- 值）小于且f值最大的一个变量做二元回归; 如果不 存在这种变量,只能得出一元回归方程,回归结束；否则二元回 归成立,进入 4)。 4）在二元回归基础上利用f- 检验筛选其余变量，选择其中显 著性水平小于且f值最大的一个变量做3元回归；如果不存在这 种变量,只能得出二元回归方程,回归结束；否则在引入3元基础上 进入第5)步。 2012- 8- 20applied stat for mba05d142 逐步回归的基本步骤（续） 5）已有k个变量被引入基础上利用f- 检验对已被引入的变量 做检验，删除其中显著性水平(p- 值）大于且f值最小的一个变 量，做k- 1元回归，然后继续做删除检验（每次删除1个变 量）， 直到没有符合被删除条件的变量为止,进入第 6）步。 6）在m个变量被引入基础上利用f- 检验筛选未被引入的变 量， 选择其中显著性水平小于且f值最大的一个变量做m+1元归， 然后回到第 5) 步；否则如果不存在这种变量,只能得出m元回归 方程,回归结束。 1 2 3 4 5 6 结束 2012- 8- 20applied stat for mba05d143 3.逐步回归的几个问题 1）对于给定的显著性水平，逐步回归一定会结 束， 其结果唯一；不同的回归结果不同。 2）前三步只引进变量，不剔除变量。 3）可以分别设定不同的 进和 出, 但是要求 进 出，否则可能形成死循环不能结束回归。 2012- 8- 20applied stat for mba05d144 4.大型问题分析- 逐步回归的应用 教材740页提供9个变量的cravens数据，讨论8个自变量对因 变量sales的多元回归问题。相关系数阵为 利用stapro软件做逐步回归，结果在以下各片 salestimepotenadvsharechange acctswork time0.622881 poten0.5978120.453978 adv0.5961770.249170.1741 share0.4835110.106105- 0.21067 0.264458 change0.4891810.251469 0.268287 0.3765160.08547 accts0.7539860.757789 0.478643 0.200037 0.403011 0.327415 work- 0.11722- 0.17941- 0.25884- 0.27223 0.349345- 0.28766- 0.19885 rating0.4018780.101172 0.358703 0.411462- 0.02356 0.5493330.228613- 0.27691 2012- 8- 20applied stat for mba05d145 逐步回归的应用第一步 results of stepwise regression for sales step 1 - entering variable: accts summary measures multiple r0.7540 r-square0.5685 adj r-square0.5497 sterr of est881.0930 anova table sourcedfssmsfp-value explained1 23524074.926923524074.926930.30180.0000 unexplained23 17855474.0000776324.9565 regression coefficients coefficientstd errt-valuep-valuelower limitupper limit constant709.3239515.24601.37670.1819-356.54231775.1900 accts21.72183.94605.50470.000013.558829.8847 2012- 8- 20applied stat for mba05d146 逐步回归的应用第二步 step 2 - entering variable: adv summary measureschange% change multi. r 0.880398 0.126412 0.167658 r-square 0.775101 0.206606 0.363426 adj r-sq. 0.754656 0.204922 0.372766 sterr 650.3916 -230.701 -0.26184 anova table sourcedfssmsfp-value explained232073346 16036673 37.91093 7.44e-08 unexplained 229306203 423009.2 regression coefficients coeffi.std errt-valuep-valuelower limitupper limit constant 50.29406 407.6095 0.1233880.90292 -795.037 895.6253 accts19.04827 2.972908 6.4072831.9e-06 12.88283 25.21371 adv0.226527 0.0503884.495620.00018 0.122028 0.331026 2012- 8- 20applied stat for mba05d147 逐步回归的应用第三步 step 3 - entering variable: poten summary measureschange% change multi. r 0.909793 0.029394 0.033388 r-square 0.827723 0.0526210.06789 adj r-sq.0.803112 0.048456 0.064209 sterr 582.6357 -67.7559 -0.10418 anova table sourcedfssmsfp-value explained334250798 11416933 33.6322 3.32e-08 unexplained 217128751 339464.3 regression coefficients coeffi.std errt-valuep-valuelower limitupper limit constant -327.235 394.4004-0.8297 0.416039 -1147.44 492.9654 accts15.55396 2.999367 5.185747 3.87e-05 9.316432 21.79148 adv0.216071 0.045327 4.766888 0.000104 0.121807 0.310335 poten0.021922 0.008656 2.532663 0.019359 0.003921 0.039922 2012- 8- 20applied stat for mba05d148 逐步回归的应用第四步 step 4 - entering variable: share summary measureschange% change multi. r0.94892 0.039127 0.043007 r-square0.90045 0.072727 0.087864 adj r-sq. 0.88054 0.0774280.09641 sterr 453.8364 -128.799 -0.22106 anova table sourcedfssmsfp-value explained437260200931505045.22583 9.56e-10 unexplained 204119349205967.5 regression coefficients coeffistd errt-valuep-valuelower limitupper limit constant -1441.93 423.5818 -3.40414 0.002814 -2325.51 -558.356 accts9.213923 2.865213 3.215789 0.004337 3.237195 15.19065 adv0.17499 0.036907 4.741418 0.000125 0.098004 0.251976 poten0.038217 0.007977 4.790988 0.000111 0.021578 0.054857 share190.1442 49.74419 3.822441 0.001065 86.37969 293.9087 如果设置进= 出=0.01,则第二步就结束,一般设较大,多得到几步,再 根据系数p- 值决定到哪步结束。 2012- 8- 20applied stat for mba05d149 6.最佳子集回归 - 逐步回归方法是通过每次增加或者删除自变 量来选择回归模型, 对于一组已知变量, 方法 并不能保证得到最佳的模型。 不少统计软件都具有最佳子集回归过程,例 如:sas、spss、minitab等。对于一组给定 的自变量, 这一过程能够得到最佳回归模型。 2012- 8- 20applied stat for mba05d150 总结：如何建立一个回归模总结：如何建立一个回归模 型？型？ 1、正确选择自变量和因变量（需要虚拟变、正确选择自变量和因变量（需要虚拟变 量吗？需要引入非线性因素吗？）；量吗？需要引入非线性因素吗？）； 2、正确使用计算机软件建立回归模型；、正确使用计算机软件建立回归模型； 3、查看残差图（线性假设成立吗？存在异、查看残差图（线性假设成立吗？存在异 方差吗？有异常值或影响点存在吗？是方差吗？有异常值或影响点存在吗？是 否存在多重共线性问题？）否存在多重共线性问题？） 2012-