《应用多元统计分析》与MATLAB编程-第四章回归分析.doc

4.2 回归变量的选择与逐步回归二、逐步回归（stepwise ） 逐步回归分三种：l 向前选择法，从模型中无自变量开始，根据给定的条件，每次将一个最符合条件的变量进入模型，直至所有符合条件的变量都进入模型为止。l 向后剔除法，先建立全模型，根据给定的条件，每次剔除一个最不符合条件的自变量，直到回归方程不在含有不符合条件的自变量为止。l Stepwise法，即前面两种方法的结合，从含有某几个变量或没有自变量开始，根据给定的条件，将一个最符合条件的变量进入模型，再剔除新老变量中不符合条件的变量，接着再选入符合条件的变量，再剔除新老变量不符合条件的变量。如此反复选入变、剔除变量，直到没有一个变量可选入和剔除为止。命令：stepwise(X,y) stepwise(X,y,inmode) stepwise(X,y,inmodel,penter,premove)stepwise(X,y) X为不包括全为1列向量nm，n为样本容量，m为自变量个数。y为因变量n1列向量。stepwise(X,y,inmode)Inmode为逐步回归时，最初所包括的自变量。如果n=4， 如果inmode为1,3，则表明最初所包括的自变量为X矩阵第1列和第3列所对应的自变量。Inmode缺失时，表明最初没有包括自变量，只包括n1全为1的列向量。stepwise(X,y,inmodel,penter,premove)逐步回归时，为了了解增加和剔除变量的原则,以增加一个变量为例： 可参见计量经济学基础上册，美达摩达尔N古扎拉蒂 中国人民大学出版社 p240-p243相应的P值：当相应的P值小于等于penter时，新的变量将被引进时。同理，删除一个变量x时：当相应的P值大于等于premove时，相应的变量x将被删除。 如果最小的P值小于等于给定penter，或最大的P值大于等于给定的premove，则每一步都是选择最大的F值（或的P值最小的）变量引进模型。将最小的F值（或最大的P值）对应的变量删除。penter一定小于等于premove 缺失的情况下，penter为0.05，premove为0.1。值得注意的是，以增加一个变量为例，新模型中F值等于新模型中增加变量对应的t值的平方，新模型中F值对应的P值等于新模型中增加变量对应t值的P值。 下面看一个例子：序号推销开支(x1)实际帐目数(x2)同类产品竞争数(x3)地区销售潜力(x4)建材销售量（千方）(y)15.53110879.322.5558620024350716200.1533881514662.9711217177.7783012830.98956510291.9944284160106.573516339.4115.560117159.612544121286.31365066237.514539104107.2153.55510415516870614201.417640116100.218450118135.8197.562913223.320759911195z =5.5000 31.0000 10.0000 8.0000 79.3000 2.5000 55.0000 8.0000 6.0000 200.1000 8.0000 67.0000 12.0000 9.0000 163.2000 3.0000 50.0000 7.0000 16.0000 200.1000 3.0000 38.0000 8.0000 15.0000 146.0000 2.9000 71.0000 12.0000 17.0000 177.7000 8.0000 30.0000 12.0000 8.0000 30.9000 9.0000 56.0000 5.0000 10.0000 291.9000 4.0000 42.0000 8.0000 4.0000 160.0000 6.5000 73.0000 5.0000 16.0000 339.4000 5.5000 60.0000 11.0000 7.0000 159.6000 5.0000 44.0000 12.0000 12.0000 86.3000 6.0000 50.0000 6.0000 6.0000 237.5000 5.0000 39.0000 10.0000 4.0000 107.2000 3.5000 55.0000 10.0000 4.0000 155.0000 8.0000 70.0000 6.0000 14.0000 201.4000 6.0000 40.0000 11.0000 6.0000 100.2000 4.0000 50.0000 11.0000 8.0000 135.8000 7.5000 62.0000 9.0000 13.0000 223.3000 7.0000 59.0000 9.0000 11.0000 195.0000x=z(:,1:4);y=z(:,5);stepwise(x,y)% 回车得：解释一下上面这个对话框，同四个部分组成：l 左上角l 右上角l 中间l 最低端第一部分，彩色水平柱状图是回归系数90%的置信区间，黑色水平柱状图是回归系数95%的置信区间。如果柱状图穿过中间虚线（横坐标为0），则在相应的显著性水平下，回归系数为0。柱状图中间的红点，为对应回归系数的值。 第二部分， 红色字体表示在原始模型上加上相应变量时，对应变量的回归系数，对应的t统计量值和对应的p值。蓝色模型为原始模型的变量的回归系数，对应的t统计量值和对应p值。在此例中，全为红色，说明原始模型自变量是包括只有全为1列向量。y=c1+6.53444x1 回归系数t值：0.7768对应的p值0.4473y=c2+4.02871x2 回归系数t值：0.44192对应的p值0.0003另外两个意义也一样。 注意，四个P值，其中x3对应的P值最小，或x3的t统计量的绝对值最大。x3用阴影注明。最右端Next step:Move x3 in，即把x3引进原始模型。All Step 可以马上显示最后的逐步回归结果。 第三部分，显示原始模型各统计量的值，本例中： y= 169.495 不包括x1,x2,x3,x4变量， RMSE 是模型的标准误差72.5666 第四部分， x轴中1表示第一次逐步回归，y轴是原始模型的RMSE。 在上面的对话框中,点击Next Step 出现如下对话框:简要说明以上对话框： 第二部分，右上角，蓝色对应下面方程的t值和p值。y=c3-23.935x3 回归系数t值：-5.3877对应的p值0.00红色对应的方程为在上面这个蓝色方程上，加以相应的变量所得方程。如x1对应的方程：y=c13+2.24413x1+c3x3 x1回归系数t值：0.4094对应的p值0.6873同理x2对应的方程：y=c23+3.09067x2+c3x3x2回归系数t值：7.0497对应的p值0.000 第三部分，为新的原始模型的相应统计量，即：y=387.303-23.935x3 的可决系数，F统计量值 第四部分，为第一步、第二步的模型的标准误差图。点击Export，将输出beta、betaci、coeftab、history、in、out、stats。这些统计量值存在workspace。beta为原始模型的自变量回归系数，这里为-23.935。betaci为原始模型的自变量回归系数的95%置信区间。这里为-33.268，-14.602coeftab为上图的第二部分的数据，加上对应的标准误差。history：包括rmse、nvars、in。rmse为逐步回归各步对应的模型的标准误差。这里例子是两步，第一步的标准误差为72.567，第二步的标准误差为46.125。nvars为各步对应的原始模型的自变量个数。本例中，第一步的变量个数为0，第二步的变量个数为1。in说明有几个自变量在相应的原始模型，更详细的说明是哪些变量在原始模型中，1表示在原始模型，0表示不在原始模型。本例中：0 0 0 0 0;1 0 0 1 0 其中红色表示原始模型的变量数。第一步原始模型没有自变量，第一行全为0。第二步原始模型中x3在原始模型中。因此第二行第四列为1。 in表示哪个变量在原始模型中，本例中，in显示为3，即表示x3出现在原始模型中。 Out表示哪些变量不在原始模型中，本例中，out显示为1 2 4，即表示x1,x2,x4不在原始模型中。 Stats显示原始模型的各统计量值。具体为上面说的对话框中第三部分值。即包括intercept、rmse、rsq、adjrsq、fstat、 pval。 上面的对话框中，注意到右上角Next Step下方显示Move x2 in，即把x2引进到原始模型中。因为对话框中，三个红色的p值x2的最小（或t值的绝对值最大）。在上面的对话框中，再点击Next Step 出现如下对话框:对话框中第二个部分，即右上角Next Step下方显示Move no terms 逐步回归过程全部完成。右上角的蓝色所对应的自变量为最后模型所选择的变量。此例中，最值模型是：y=186.0484+3.09067x2-19.514x3 也可以对penter和premove进行设定，如：stepwise(x,y,1,4,0.00009,0.1)几点说明：最原始模型的自变量是x1和x4，在右上角相应的统计量值显示为蓝色。红色（x2、x3）所对应的最小的P值为0.0002，但是它大于0.00009，故不能引进x3模型。原始模型中P值最大的是x1对应的P值0.4507，大于0.1，故删除x1，Next Step下方显示Move x1 out 如果改变penter和premove的大小，则出现的对话框是不一样的。如： stepwise(x,y,1,4,0.001,0.1)0.001大于0.0002，则要引要x3如果双击对话框左上角或右上角（第一部分或第二部分）相应的柱状线或统计量值，则蓝色的线或蓝色的数字变为红色，或者，红色的线或蓝色的数字变为蓝色。蓝色的线或蓝色的数字变为红色，表明双击的线或数字对应的变量删除；红色的线或蓝色的数字变为蓝色，表明双击的线或数字对应的变量添加。 还有，在对话框中，点击菜单Stepwise，选择scale inputs，则是先把所有自变量标准化，再进行逐步回归。我们验证一下：x=z(:,1:4);y=z(:,5);b=zscore(z);x1=b(:,1:4); stepwise(x,y,1,4) 再选择scale inputs 得：stepwise(x1,y,1,4) 得：两对话框右上角相同，即第二部分。点Stepwise选择 Added Variable Plot 得：上图不知道什么意思？显然，选择变量的方法不止stepwise这一种方法，比如有m个自变量，则所有可能的模型个数是2m1个。选择变量的原则有:模型的标准误差最小，Cp最小，AIC最小等，具体可参见统计手册 茆诗松 主编 科学出版社 2003.1 p470-p472 线性模型引论王松桂 等编著 科学出版社 2004.5 p159-p1644.3 多因变量的多元线性回归例4.3.1 xy=0.9 0.8 0.14 6.63 0.24 1.47 7.31;1 2.1 0.15 7.07 0.46 1.25 7.42;2.9 6.3 0.33 7.6 1.02 2.05 11.13;5 4.4 0.78 12.88 1.61 2.49 16.08;8.2 13.3 1.18 15.86 1.63 3.16 22.86;13.1 16.8 1.56 18.79 1.93 3.87 29.52;23.8 17.8 2.11 14.63 2.31 4.5 34.54;34.8 27.8 3.09 19.79 3.32 6.09 41.22;35.4 22.1 3.58 16.5 4.44 6.78 47.54;47 32.2 7.31 26.22 7.18 10.73 60;62.6 33.2 9.61 28 8.77 17.65 78;68 55.6 12.85 27.56 9.89 26.84 96.2;35.3 24.4 6.76 10.95 5.58 24.2 52.37; 31.3 17.9 5.08 10.15 6.03 20.08 37.77;35.2 24.8 5.54 14.23 7.18 19.28 40.07;45.3 37.8 7.14 20.38 8.8 22.89 50.36;49.5 78.8 11.2 26.56 10.45 28.94 65.33;59.7 101.6 15.89 33.18 12.51 39.05 83.64; 47.8 74.9 10.86 23.9 11.42 39.09 68.16;17.7 40.2 5.1 17.56 9.03 26.81 41.64;36 73.3 13.14 27.2 8.05 37.19 67.3;62 138.6 25.54 36.28 10.3 54.09 103.57;97 247 31.31 41.53 14.18 77.39 135.8;95.2 270 28.79 40.24 15.19 84.02 118.1;118.4 233.5 28.03 38.2 15.77 88.39 119.62;99.9 205 26.5 31.54 12.29 86.32 112.39;151 288 38.61 46.87 17.36 107.94 144.41;108 262.2 31.46 38.62 15.1 102.76 130.66;162.5 358.6 46.21 52.48 20.48 118.84 175.1;238.2 454.8 55.86 55.96 26.4 139.3 214.44x=xy(:,1:5),y=xy(:,6,7), c=ones(30,1) x, b=inv(c*c)*c*yb = 8.9912 4.3224 -0.1675 0.2757 0.1724 -0.1341 1.7036 2.2313 -0.7622 0.98801.9756 1.0502pf=c*b-repmat(mean(y),30,1);R2=norm(pf(:,1)2 norm(pf(:,2)2./(30*std(y,1).2)R2 = 0.9804 0.9867复相关系数：sqrt(R2)ans = 0.9901 0.9933rmse=sqrt(30*std(y,1).2)-norm(pf(:,1)2 norm(pf(:,2)2)./(30-6)rmse = 6.2536 6.5627或者：stats=regstats(y(:,1),x,linear,beta,mse,tstat,fstat)stats = source: regstats beta: 6x1 double mse: 39.1069 tstat: 1x1 struct fstat: 1x1 structstats.betaans = 8.9912 -0.1675 0.1724 1.7036 -0.7622 1.9756sqrt(stats.mse)ans = 6.2536stats.tstat.pvalans = 0.0343 0.0799 0.0066 0.0129 0.0179 0.0067stats.fstat.pvalans = 0B,BINT,R,RINT,STATS =regress(y(:,1),ones(30,1),x);R2= STATS(1)R2 = 0.9804第二个方程的计算相似。4.31 多变量检验统计量的计算，P137c=ones(30,1) x,Q=y*(eye(30)-c*inv(c*c)*c)*y, c1=ones(30,1) x(:,1,2);D=x(:,3:5)*(eye(30)-c1*inv(c1*c1)*c1)*x(:,3:5), U=det(Q)/det(Q+B2*D*B2)U = 0.17390859528358看p65n1=30-5-1;n2=3;F=(n1-1)/n2*(1-sqrt(U)/sqrt(U)F = 10.71758928235678P=1-fcdf(F,2*n2,2*(n1-1)P = 1.985914258595400e-0074.4 多因变量的逐步回归xy=0.9 0.8 0.14 6.63 0.24 1.47 7.31;1 2.1 0.15 7.07 0.46 1.25 7.42;2.9 6.3 0.33 7.6 1.02 2.05 11.13;5 4.4 0.78 12.88 1.61 2.49 16.08;8.2 13.3 1.18 15.86 1.63 3.16 22.86;13.1 16.8 1.56 18.79 1.93 3.87 29.52;23.8 17.8 2.11 14.63 2.31 4.5 34.54;34.8 27.8 3.09 19.79 3.32 6.09 41.22;35.4 22.1 3.58 16.5 4.44 6.78 47.54;47 32.2 7.31 26.22 7.18 10.73 60;62.6 33.2 9.61 28 8.77 17.65 78;68 55.6 12.85 27.56 9.89 26.84 96.2;35.3 24.4 6.76 10.95 5.58 24.2 52.37; 31.3 17.9 5.08 10.15 6.03 20.08 37.77;35.2 24.8 5.54 14.23 7.18 19.28 40.07;45.3 37.8 7.14 20.38 8.8 22.89 50.36;49.5 78.8 11.2 26.56 10.45 28.94 65.33;59.7 101.6 15.89 33.18 12.51 39.05 83.64; 47.8 74.9 10.86 23.9 11.42 39.09 68.16;17.7 40.2 5.1 17.56 9.03 26.81 41.64;36 73.3 13.14 27.2 8.05 37.19 67.3;62 138.6 25.54 36.28 10.3 54.09 103.57;97 247 31.31 41.53 14.18 77.39 135.8;95.2 270 28.79 40.24 15.19 84.02 118.1;118.4 233.5 28.03 38.2 15.77 88.39 119.62;99.9 205 26.5 31.54 12.29 86.32 112.39;151 288 38.61 46.87 17.36 107.94 144.41;108 262.2 31.46 38.62 15.1 102.76 130.66;162.5 358.6 46.21 52.48 20.48 118.84 175.1;238.2 454.8 55.86 55.96 26.4 139.3 214.44;x=xy(:,1:5);y=xy(:,6,7);L0=(xy-repmat(mean(xy),length(xy),1)*(xy-repmat(mean(xy),length(xy),1);LYY=(y-repmat(mean(y),length(y),1)*(y-repmat(mean(y),length(y),1);V=zeros(1,5);for i=1:5V(i)=L0(i,6) L0(i,7)*inv(LYY)*L0(i,6) L0(i,7)/L0(i,i)end% 得V =0.9484 0.9686 0.9857 0.9355 0.9338n=length(xy);p=2;P1=1-fcdf(n-p-1)*max(V)/(p*(1-max(V),p,n-p-1)%得：P1=0，引入变量x3,再L1L1=zeros(7,7);for i=1:7,j=1:7,L1(i,j)=L0(i,j)-L0(i,3)*L0(3,j)/L0(3,3)endL1(:,3)=-L0(:,3)/L0(3,3);L1(3,:)=L0(3,:)/L0(3,3);L1(3,3)=1/L0(3,3);format longinv(ones(30,1) x(:,3)*ones(30,1) x(:,3)*ones(30,1) x(:,3)*y%它的第三行与L1中Lxy(1)第三行相等于，见p154页最下面, 再考虑是否要引入新的变量：L1YY=L1(6,7,:);L1YY=L1YY(:,6,7);V1=zeros(1,4);for i=1 2 4 5V1(i)=L1(i,6) L1(i,7)*inv(L1YY)*L1(i,6) L1(i,7)/L1(i,i)end%得：V1 =0.2336 0.2780 0.9857 0.3585 0.4231 r=1;P2=1-fcdf(n-p-r-1)*max(V1)/(p*(1-max(V1),p,n-p-r-1);% P2=7.8446e-004,引入x4L2=zeros(7,7);for i=1:7,j=1:7,L2(i,j)=L1(i,j)-L1(i,4)*L1(4,j)/L1(4,4)endL2(:,4)=-L1(:,4)/L1(4,4);L2(4,:)=L1(4,:)/L1(4,4);L2(4,4)=1/L1(4,4)inv(ones(30,1) x(:,3,4)*ones(30,1) x(:,3,4)*ones(30,1) x(:,3,4)*y%它的第三、四行与L2中Lxy(2)第三、四行相等，见p154页最下面, 再考虑是否要删除变量：L2YY=L2(6,7,:);L2YY=L2YY(:,6,7)V2=zeros(1,5);for i=1:5V2(i)=L2(i,6) L2(i,7)*inv(L2YY)*L2(i,6) L2(i,7)/L2(i,i)end% V2=0.3064 0.2605 6.0319 0.0011 0.3628r=2;P3=1-fcdf(n-p-r)*min(V2(3,4)/p,p,n-p-r)%P3= 0.00311838894867，保留x3、x4.再看是否引入新变量L2YY=L2(6,7,:);L2YY=L2YY(:,6,7);V2=zeros(1,5);for i=1:5V2(i)=L2(i,6) L2(i,7)*inv(L2YY)*L2(i,6) L2(i,7)/L2(i,i)end r=2;P3=1-fcdf(n-p-r-1)*max(V1(1,2,5)/(p*(1-max(V1(1,2,5),p,n-p-r-1);% P2= 0.0010,引入x5L3=zeros(7,7);for i=1:7,j=1:7,L3(i,j)=L2(i,j)-L2(i,5)*L2(5,j)/L2(5,5)endL3(:,5)=L2(:,5)/L2(5,5);L3(5,:)=L2(5,:)/L2(5,5);L3(5,5)=1/L2(5,5)inv(ones(30,1) x(:,3,4,5)*ones(30,1) x(:,3,4,5)*ones(30,1) x(:,3,4,5)*y%某些元素相等，再看是否去掉变量L3YY=L3(6,7,:);L3YY=L3YY(:,6,7)V3=zeros(1,5);for i=1:5V3(i)=L3(i,6) L3(i,7)*inv(L3YY)*L3(i,6) L3(i,7)/L3(i,i)endr=3;P4=1-fcdf(n-p-r)*min(V3(3,4,5)/p,p,n-p-r)% P4= 0.0135,不去掉变量，再看是否还要加变量L4YY=L3(6,7,:);L4YY=L4YY(:,6,7);V4=zeros(1,2);for i=1:2V4(i)=L3(i,6) L3(i,7)*inv(L4YY)*L3(i,6) L3(i,7)/L3(i,i)end r=3;P5=1-fcdf(n-p-r-1)*max(V4(1,2)/(p*(1-max(V4(1,2),p,n-p-r-1)% P5 =0.02450404027257,加x2L4=zeros(7,7);for i=1:7,j=1:7,L4(i,j)=L3(i,j)-L3(i,2)*L3(2,j)/L3(2,2)endL4(:,2)=L3(:,2)/L3(2,2);L4(2,:)=L3(2,:)/L3(2,2);L4(2,2)=1/L3(2,2)inv(ones(30,1) x(:,2,3,4,5)*ones(30,1) x(:,2,3,4,5)*ones(30,1) x(:,2,3,4,5)*y%再看是否去掉变量L4YY=L4(6,7,:);L4YY=L4YY(:,6,7)V4=zeros(1,5);for i=1:5V3(i)=L3(i,6) L3(i,7)*inv(L3YY)*L3(i,6) L3(i,7)/L3(i,i)end%V3= 0.2214 0.2659 4.7769 0.4112 0.5693r=4;P6=1-fcdf(n-p-r)*min(V3(2,3,4,5)/p,p,n-p-r)% P6 = 0.05906207387622，去掉x2R1=sqrt(1-L3(6,6)/L0(6,6)%R1=0.98545909585899R2=sqrt(1-L3(7,7)/L0(7,7)% R2 =0.98997167704185inv(ones(30,1) x(:,3,4,5)*ones(30,1) L3L=L3(:,6,7), L3L=L3L(3 4 5,:)mxy=mean(xy);b=mxy(6) mxy(7)-mxy(3 4 5)*L3Lb=mxy(6) mxy(7)-mxy(3 4 5)*L3L%b =8.49944646668511 5.29311159802542x(:,3,4,5)*ones(30,1) x(:,3,4,5)*yans = 8.4994 5.2931 2.8413 1.7253 -0.8495 1.0053 1.3476 1.9731B1,BINT1,R1,RINT1,STATS1 =regress(y(:,1),ones(30,1) x(:,3,4,5);B2,BINT2,R2,RINT2,STATS2 =regress(y(:,2),ones(30,1) x(:,3,4,5);r=sqrt(STATS1(1) sqrt(STATS2(1)r = 0.98545909585899 0.989971677041854.5 双重筛选逐步回归xy=0.9 0.8 0.14 6.63 0.24 1.47 7.31;1 2.1 0.15 7.07 0.46 1.25 7.42;2.9 6.3 0.33 7.6 1.02 2.05 11.13;5 4.4 0.78 12.88 1.61 2.49 16.08;8.2 13.3 1.18 15.86 1.63 3.16 22.86;13.1 16.8 1.56 18.79 1.93 3.87 29.52;23.8 17.8 2.11 14.63 2.31 4.5 34.54;34.8 27.8 3.09 19.79 3.32 6.09 41.22;35.4 22.1 3.58 16.5 4.44 6.78 47.54;47 32.2 7.31 26.22 7.18 10.73 60;62.6 33.2 9.61 28 8.77 17.65 78;68 55.6 12.85 27.56 9.89 26.84 96.2;35.3 24.4 6.76 10.95 5.58 24.2 52.37; 31.3 17.9 5.08 10.15 6.03 20.08 37.77;35.2 24.8 5.54 14.23 7.18 19.28 40.07;45.3 37.8 7.14 20.38 8.8 22.89 50.36;49.5 78.8 11.2 26.56 10.45 28.94 65.33;59.7 101.6 15.89 33.18 12.51 39.05 83.64; 47.8 74.9 10.86 23.9 11.42 39.09 68.16;17.7 40.2 5.1 17.56 9.03 26.81 41.64;36 73.3 13.14 27.2 8.05 37.19 67.3;62 138.6 25.54 36.28 10.3 54.09 103.57;97 247 31.31 41.53 14.18 77.39 135.8;95.2 270 28.79 40.24 15.19 84.02 118.1;118.4 233.5 28.03 38.2 15.77 88.39 119.62;99.9 205 26.5 31.54 12.29 86.32 112.39;151 288 38.61 46.87 17.36 107.94 144.41;108 262.2 31.46 38.62 15.1 102.76 130.66;162.5 358.6 46.21 52.48 20.48 118.84 175.1;238.2 454.8 55.86 55.96 26.4 139.3 214.44;x=xy(:,1:5);y=xy(:,6,7);首先找出判定系数最大的因变量和自变量B,BINT,R,RINT,STATS11=regress(y(:,1),ones(30,1) x(:,1) ; B,BINT,R,RINT,STATS12=regress(y(:,1),ones(30,1) x(:,2) ;B,BINT,R,RINT,STATS13=regress(y(:,1),ones(30,1) x(:,3) ;B,BINT,R,RINT,STATS14=regress(y(:,1),ones(30,1) x(:,4) ;B,BINT,R,RINT,STATS15=regress(y(:,1),ones(30,1) x(:,5) ;B,BINT,R,RINT,STATS21=regress(y(:,2),ones(30,1) x(:,1) ;B,BINT,R,RINT,STATS22=regress(y(:,2),ones(30,1) x(:,2) ;B,BINT,R,RINT,STATS23=regress(y(:,2),ones(30,1) x(:,3) ;B,BINT,R,RINT,STATS24=regress(y(:,2),ones(30,1) x(:,4) ;B,BINT,R,RINT,STATS25=regress(y(:,2),ones(30,1) x(:,5) ;xx yy=sort(STATS11(1) STATS12(1) STATS13(1) STATS14(1) STATS15(1) STATS21(1) STATS22(1) STATS23(1) STATS24(1) STATS25(1)xx = 0.8342 0.8860 0.8909 0.9132 0.9282 0.9347 0.9454 0.9628 0.9629 0.9646yy = 4 5 1 7 10 9 6 8 3 2选择因变量y1和自变量x2利用只有一个因变量的逐步回归方法，找出对应y1的最佳自变量。P126B,BINT,R,RINT,STATS121=regress(y(:,1),ones(30,1) x(:,2 1) ; B,BINT,R,RINT,STATS123=regress(y(:,1),ones(30,1) x(:,2 3) ; B,BINT,R,RINT,STATS124=regress(y(:,1),ones(30,1) x(:,2 4) ; B,BINT,R,RINT,STATS125=regress(y(:,1),ones(30,1) x(:,2 5) ;STATS121(4) STATS123(4) STATS124(4) STATS125(4)ans = 61.9814 52.1986 62.6867 50.5122找最小的，即对x5进行分析是否要引入。P5=STATS12(4)*(30-2)-STATS125(4)*(30-3)P5 = 330.6945P55=1-fcdf(P5/( STATS125(4),1,30-1-2)P55 = 0.0164接受x5 看要不去掉x2x5变量STATS12(4) STATS15(4)ans = 60.5187 194.9409取小的，做检验。P6=1-fcdf(STATS12(4)*(30-3)- STATS125(4)*(30-4)/ STATS125(4),1,30-2-1)P6 = 0.0180不去掉x5看是否在有x2x5的基础上还可引入新变量B,BINT,R,RINT,STATS1251=regress(y(:,1),ones(30,1) x(:,1 2 5) ; B,BINT,R,RINT,STATS1253=regress(y(:,1),ones(30,1) x(:,3 2 5) ; B,BINT,R,RINT,STATS1254=regress(y(:,1),ones(30,1) x(:,4 2 5) ;STATS1251(4) STATS1253(4) STATS1254(4)ans = 50.5428 49.6638 48.6369看是否要引入x4P7=1-fcdf(STATS125(4)*(30-3)- STATS1254(4)*(30-4)/ STATS1254(4),1,30-2-2)P7 =0.1650不引入x4,只有一个因变量时，筛选自变量的全过程结束。即模型中有：y1 x2 x5注意：也可用stepwise进行筛选自变量stepwise(x,y(:,1)点击下一步：上图的X5对应的p值0.0164正好与P55=1-fcdf(P5/( STATS125(4),1,30-1-2)P55 = 0.0164相等再点击下一步：上图x4所对应的p值为：0.1650它与P7=1-fcdf(STATS125(4)*(30-3)- STATS1254(4)*(30-4)/ STATS1254(4),1,30-2-2)P7 =0.1650相等二、双重筛选回归的基本步骤P165步骤参考于秀林多元统计分析p246xy=0.9 0.8 0.14 6.63 0.24 1.47 7.31;1 2.1 0.15 7.07 0.46 1.25 7.42;2.9 6.3 0.33 7.6 1.02 2.05 11.13;5 4.4 0.78 12.88 1.61 2.49 16.08;8.2 13.3 1.18 15.86 1.63 3.16 22.86;13.1 16.8 1.56 18.79 1.93 3.87 29.52;23.8 17.8 2.11 14.63 2.31 4.5 34.54;34.8 27.8 3.09 19.79 3.32 6.09 41.22;35.4 22.1 3.58 16.5 4.44 6.78 47.54;47 32.2 7.31 26.22 7.18 10.73 60;62.6 33.2 9.61 28 8.77 17.65 78;68 55.6 12.85 27.56 9.89 26.84 96.2;35.3 24.4 6.76 10.95 5.58 24.2 52.37; 31.3 17.9 5.08 10.15 6.03 20.08 37.77;35.2 24.8 5.54 14.23 7.18 19.28 40.07;45.3 37.8 7.14 20.38 8.8 22.89 50.36;49.5 78.8 11.2 26.56 10.45 28.94 65.33;59.7 101.6 15.89 33.18 12.51 39.05 83.64; 47.8 74.9 10.86 23.9 11.42 39.09 68.16;17.7 40.2 5.1 17.56 9.03 26.81 41.64;36 73.3 13.14 27.2 8.05 37.19 67.3;62 138.6 25.54 36.28 10.3 54.09 103.57;97 247 31.31 41.53 14.18 77.39 135.8;95.2 270 28.79 40.24 15.19 84.02 118.1;118.4 233.5 28.03 38.2 15.77 88.39 119.62;99.9 205 26.5 31.54 12.29 86.32 112.39;151 288 38.61 46.87 17.36 107.94 144.41;108 262.2 31.46 38.62 15.1 102.76 130.66;162.5 358.6 46.21 52.48 20.48 118.84 175.1;238.2 454.8 55.86 55.96 26.4 139.3 214.44;x=xy(:,1:5);y=xy(:,6,7);r=corrcoef(xy);x1=zscore(x);y1=zscore(y);r = 1.0000 0.9547 0.9666 0.9230 0.9484 0.9439 0.9723 0.9547 1.0000 0.9861 0.9275 0.9265 0.9821 0.9556 0.9666 0.9861 1.0000 0.9510 0.9469 0.9813 0.9812 0.9230 0.9275 0.9510 1.00