试验八多元线性回归与逐步回归

1、实验八 多元线性回归与逐步回归 （2 学时）一、实验目的和要求1. 掌握逐步回归的思想与方法，掌握 Matlab 中 stepwise 命令的使用方法二、实验内容1. 主要语句 ：逐步回归命令 stepwise 提供了交互式画面，可自由选择变量，进行统计分 析，格式stepwise（X,Y,in,penter,premove）X是自变量数据 ,Y是因变量数据 ,分别为矩阵 ,in 是矩阵 X列数指标, 给出初 始模型中包括的子集 , 缺省时设定为全部自变量不在模型中 ,penter 为变量进入 时显著性水平 , 缺省时=0.05,premove 为变量剔除时显著性水平 , 缺省=0.10. 在

2、应用 stepwise 命令进行运算时， 程序不断提醒将某个变量加入 （Move in） 回归 方程，或提醒将某变量从回归方程中剔除 （Move out）.注意：应用 stepwise 命令, 数据矩阵 X第一列不需人工加一个全 1向量, 程序会 自动求出回归方程常数项 （intercept）.2. 实验数据与内容选取 1989-2003 年的全国统计数据，考虑的自变量包括： x1-工业总产值（亿元）； x2-农业总产值（亿元）； x3- 建筑业总产值（亿元）； x4- 社会商品零售总额（亿元）； x5- 全民人口数（万人）； x6- 受灾面积； y- 国家财政收入（亿元）。数据见表 3-20

3、 ，（1）建立多元回归模型 Y 0 1x1 2x2 3x3 4x4 5x5 6 x6 ，求 回归参数的估计；（2）对上述回归模型和回归系数进行检验（要写出统计量）； （3）用逐步回归求 y 与 6 个因素之间的回归关系式 .表3-20 1989-2003年统计数据年份X1X2X3X4X5X6y19896484.004100.60794.008101.40112704.046991.002664.9019906858.004954.30859.408300.10114333.038474.002937.1019918087.105146.401015.109415.60115823.055472

4、.003149.48199210284.505588.001415.0010993.70117171.051333.003483.37199314143.806605.102284.7012462.10118517.048829.004348.95199419359.609169.203012.6016264.70119850.055043.005218.10199524718.3011884.603819.6020620.00121121.045821.006242.20199629082.6013539.804530.5024774.10122389.046989.007407.99199

5、732412.1013852.504810.6027298.90123626.053429.0086519014241.905231.4029152.50124761.050145.009875.95199935087.2014106.205470.6031134.70125786.049981.0011444.08200039047.3013873.605888.0034152.60126743.054688.0013395.23200142374.6014462.806375.4037595.20127627.052215.0016386.04200245975.

6、2014931.507005.0042027.10128453.047119.0018903.64200353092.9014870.108181.3045842.00129227.054506.0021715.25解：( 1)建立多元回归模型建立多元线性回归模型Y 0 1x1 2x2 3x3 4 x41）程序：data=1989 6484.00 4100.60 794.00 8101.40 112704.0 46991.00 2664.901990 6858.00 4954.30 859.40 8300.10 114333.0 38474.00 2937.101991 8087.10 514

7、6.40 1015.10 9415.60 115823.0 55472.00 3149.48199210284.505588.001415.00 10993.70117171.051333.003483.37199314143.806605.102284.70 12462.10118517.048829.004348.95199419359.609169.203012.60 16264.70119850.055043.005218.10199524718.3011884.603819.60 20620.00121121.045821.006242.20199629082.6013539.804

8、530.50 24774.10122389.046989.007407.99199732412.1013852.504810.60 27298.90123626.053429.0086519014241.905231.40 29152.50124761.050145.009875.95199935087.2014106.205470.60 31134.70125786.049981.00 11444.08200039047.3013873.605888.00 34152.60126743.054688.00 13395.23200142374.6014462.8063

9、75.40 37595.20127627.052215.00 16386.04200245975.2014931.507005.00 42027.10128453.047119.00 18903.64200353092.9014870.108181.30 45842.00129227.054506.0021715.25;n,p=size(data); % 读取行数 n 为样本数 , 列数 p 为回归参数个数 x=ones(n,1),data(:,2:7); % 建立设计矩阵，第一列全是 1 y=data(:,8); % 读取 Y b,bint,r,rint,stats=regress(y,x)

10、; %建立线性回归模型，输出回归参数b, 回归参数 b 的置信区间，残差 r, 残差 r 的置信区间，输出几个统计量 stats 结果输出 ：b,bint,r,rint,stats 结果：回归参数估计值 b =1.0e+03-6.92260.0001-0.00090.00000.00060.0001-0.0000得 ? (-6.9226,0. 0001,-0.00 09,0.0000, 0.0006,0.0 001,-0.000 0)T 回归参数置信区间：bint =1.0e+04 *-4.1630 2.7785-0.0001 0.0001-0.0001 -0.0001-0.0003 0.00

11、030.0000 0.0001-0.0000 0.0000-0.0000 0.0000得回归参数 的置信区间如上输出残差值r =-228.1801132.3052382.5207-382.0969-164.3261413.2697235.0416-64.6531-215.4275-83.5491-101.2389-476.3158462.614592.4558-2.4199 得到残差向量? (-228.1801，132.3052，382.5207，- 382.0969，- 164.3261，413.2697，235.0416，- 64.6531，- 215.4275 ，- 83.5491，-

12、101.2389，- 476.3158，462.6145，92.4558，- 2.4199 T输出随机误差项 ( 1, 2, , n)T 的置信区间rint =1.0e+03-0.70470.2484-0.38350.6481-0.17040.9354-1.06510.3009-0.71590.3872-0.25251.0791-0.48820.9583-0.80890.6795-0.79990.3690-0.81920.6521-0.85530.6528-1.15400.2014-0.20461.1299-0.55190.7368-0.40230.3974输出统计量结果：stats =1.0

13、e+05 *SSR/ pSSE/(n p 1)0.0000 0.0062 0.0000 1.4152 R2 0.99785接近 1, 相关性强，62056071 F0.05 6,15 6 1 , p PF(p, p 1) F0 3.1585 * 10-5 0.05,均说明自变量对 y 线性关系显著。 ?2意： stats 转成长格式数据命令和结果 :format long gstats结果： 99785.6012083978 62056071.9039513.15856319868346e-059742绘制残差图命令：rcoplot(r,ri

14、nt)ls a iaud se R10008006004002000-200-400-600-800-1000Residual Case Order Plot2 4 6 8 10 12 14Case Number残差示意图残差示意图看出无异常点 . (2)对上述回归模型和回归系数进行显著性检验 %求可决系数，进行相关性检验， TSS=y*(eye(n)-1/n*ones(n,n)*y; H=x*inv(x*x)*x % ESS= y*(eye(n)-H)*y;y 是因变量 Y 数据 %总离差平方和 帽子矩阵 计算残差平方和 计算回归平方和 计算均方残差RSS= y*(H-1/n*ones(n,

15、n)*y; % MSE=RSS/n-p-1; % R2=RSS/TSS; % 计算样本决定系数 RSS/TSS ,相关性检验 %F检验 检验回归方程的显著性 F0=(RSS/p)/(ESS/(n-p-1); % Fa=finv(0.95, p,n-p-1); % F %t 检验 检验回归系数的显著性 S=MSE*inv(x*x);T0=b./sqrt(diag(S); Ta=tinv(0.975, n-p-1);计算 F0分布时的临界值计算回归参数的协方差矩阵,b 为上述回归参数返回结果 分布的上 1-0.05/2 分位数 每个回归参数检验的 T 统计量对应的概率% 每个回归参数的 T统计量

16、% tpp=2-2*tcdf(abs(T0),n-p-1); %pp结果：TSS =5.2808e+08H =Columns 1 through 60.69000.18140.25720.0049-0.12320.02950.18140.6753-0.08380.14150.1402-0.16300.2572-0.08380.51530.2866-0.04370.14920.00490.14150.28660.32870.19570.09460.12320.1402-0.04370.19570.62250.26070.0295-0.16300.14920.09460.26070.33380.0

17、2670.2168-0.1760-0.05130.13700.09370.13070.0307-0.0756-0.1369-0.04020.07760.00360.00810.0637-0.0101-0.20790.09260.0338-0.13530.0506-0.04090.00550.09270.0757-0.07670.05210.04420.06690.04220.1563-0.03440.09510.1268-0.00190.05680.13310.06940.04310.1084-0.0573-0.05620.01270.1461-0.02020.0376-0.0762-0.21

18、050.1783-0.1163-0.1138-0.13000.12170.1064Columns 7 through 12-0.02670.1307-0.00360.0338-0.0757-0.15630.21680.03070.0081-0.1353-0.0767-0.0344-0.1760-0.07560.06370.05060.05210.0951-0.0513-0.1369-0.0101-0.04090.04420.12680.1370-0.0402-0.20790.00550.0669-0.00190.09370.07760.09260.09270.04220.05680.34300

19、.23330.22340.05980.01060.02590.23330.35240.13910.26550.1600-0.05700.22340.13910.5619-0.0361-0.10060.23280.05980.2655-0.03610.36460.3135-0.02370.01060.1600-0.10060.31350.32980.03180.0259-0.05700.2328-0.02370.03180.26570.0122-0.06150.1857-0.02990.04870.2537-0.08540.0132-0.14400.14250.23350.0884-0.0165

20、-0.0315-0.0051-0.0627-0.08040.0962Columns 13 through 15-0.13310.01270.17830.06940.1461-0.11630.0431-0.0202-0.11380.10840.0376-0.1300-0.0573-0.07620.1217-0.0562-0.21050.10640.0122-0.0854-0.0165-0.06150.0132-0.03150.1857-0.1440-0.0051-0.02990.1425-0.06270.04870.2335-0.08040.25370.08840.09620.2933 0.21

21、81 0.10520.2181 0.5098 0.13430.1052 0.1343 0.8141R2 = 0.997856015345558 接近 1，相关性显著 . 回归方程显著性 F 检验结果 ：F0 =349.065936623445Fa =4.14680416227653表明 F0 349.0659 F0.05(p,n p 1) 4.1680模型显著 回归参数检验结果：回归参数检验 t 统计量值T0 =-0.02919355319091510.0281878798554941-0.5449042806666820.002027564977241090.2410645568925540

22、.0411337557415811 -0.0973456131842114T 统计量上 0.05 分位数Ta =2.44691185114497T 统计量检验 P 值Pp=0.97770.97840.60550.99840.81750.96850.9256检验 P值 p0k ,表明每个变量对 Y回归均不显著，需要进行模型改进。 (3)逐步回归逐步回归方法 1：初始模型选择全部自变量xx=data(:,2:7); % 输入原始自变量数据，为 x1-x7, 第一列不需要 1 y=data(:,8); % 输入因变量 Y 数据stepwise(xx,y,1,2,3,4,5,6,0.05,0.1) % 初始模型当前集为全部自变量集 输出结果 ：第一步：先将所有变量放入模型中，第一步结果将 x3 移除；第二步： x5 移除；第三步： x6 移除；