关于matlab的回归分析.ppt

2019/8/8,1,数学建模与数学实验,回归分析,实验目的,实验内容,1、回归分析的基本理论。,3、实验作业。,2、用数学软件求解回归分析问题。,2019/8/8,3,一元线性回归,多元线性回归,回归分析,数学模型及定义,*模型参数估计,*检验、预测与控制,可线性化的一元非线 性回归（曲线回归）,数学模型及定义,*模型参数估计,*多元线性回归中的 检验与预测,逐步回归分析,2019/8/8,4,一、数学模型,例1 测16名成年女子的身高与腿长所得数据如下：,以身高x为横坐标，以腿长y为纵坐标将这些数据点（xI，yi）在平面直角坐标系上标出.,散点图,解答,2019/8/8,5,一元线性回归分析的主要任务是：,返回,2019/8/8,6,二、模型参数估计,1、回归系数的最小二乘估计,2019/8/8,7,返回,2019/8/8,8,三、检验、预测与控制,1、回归方程的显著性检验,2019/8/8,9,（）F检验法,（）t检验法,2019/8/8,10,（）r检验法,2019/8/8,11,2、回归系数的置信区间,2019/8/8,12,3、预测与控制,（1）预测,2019/8/8,13,（2）控制,返回,2019/8/8,14,四、可线性化的一元非线性回归 （曲线回归）,例2 出钢时所用的盛钢水的钢包，由于钢水对耐火材料的侵蚀， 容积不断增大.我们希望知道使用次数与增大的容积之间的关 系.对一钢包作试验，测得的数据列于下表：,解答,2019/8/8,15,散 点 图,此即非线性回归或曲线回归,问题（需要配曲线）,配曲线的一般方法是：,2019/8/8,16,通常选择的六类曲线如下：,返回,2019/8/8,17,一、数学模型及定义,返回,2019/8/8,18,二、模型参数估计,2019/8/8,19,返回,2019/8/8,20,三、多元线性回归中的检验与预测,（）F检验法,（）r检验法,(残差平方和）,2019/8/8,21,2、预测,（1）点预测,（2）区间预测,返回,2019/8/8,22,四、逐步回归分析,（4）“有进有出”的逐步回归分析。,（1）从所有可能的因子（变量）组合的回归方程中选择最优者；,（2）从包含全部变量的回归方程中逐次剔除不显著因子；,（3）从一个变量开始，把变量逐个引入方程；,选择“最优”的回归方程有以下几种方法：,“最优”的回归方程就是包含所有对Y有影响的变量, 而不包含对Y影响不显著的变量回归方程。,以第四种方法，即逐步回归分析法在筛选变量方面较为理想.,2019/8/8,23,这个过程反复进行，直至既无不显著的变量从回归方程中剔除，又无显著变量可引入回归方程时为止。,逐步回归分析法的思想：,从一个自变量开始，视自变量Y作用的显著程度，从大到地依次逐个引入回归方程。,当引入的自变量由于后面变量的引入而变得不显著时，要将其剔除掉。,引入一个自变量或从回归方程中剔除一个自变量，为逐步回归的一步。,对于每一步都要进行Y值检验，以确保每次引入新的显著性变量前回归方程中只包含对Y作用显著的变量。,返回,2019/8/8,24,统计工具箱中的回归分析命令,1、多元线性回归,2、多项式回归,3、非线性回归,4、逐步回归,返回,2019/8/8,25,多元线性回归,b=regress( Y, X ),1、确定回归系数的点估计值：,2019/8/8,26,3、画出残差及其置信区间： rcoplot（r，rint）,2、求回归系数的点估计和区间估计、并检验回归模型： b, bint,r,rint,stats=regress(Y,X,alpha),2019/8/8,27,例1,解：,1、输入数据： x=143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164; X=ones(16,1) x; Y=88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102;,2、回归分析及检验： b,bint,r,rint,stats=regress(Y,X) b,bint,stats,To MATLAB(liti11),题目,2019/8/8,28,3、残差分析，作残差图： rcoplot(r,rint),从残差图可以看出，除第二个数据外，其余数据的残差离零点均较近，且残差的置信区间均包含零点，这说明回归模型 y=-16.073+0.7194x能较好的符合原始数据，而第二个数据可视为异常点.,4、预测及作图： z=b(1)+b(2)*x plot(x,Y,k+,x,z,r),返回,To MATLAB(liti12),2019/8/8,29,多 项 式 回 归,（一）一元多项式回归,y=a1xm+a2xm-1+amx+am+1,2019/8/8,30,法一,直接作二次多项式回归： t=1/30:1/30:14/30; s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48; p,S=polyfit(t,s,2),To MATLAB（liti21）,得回归模型为 ：,2019/8/8,31,法二,化为多元线性回归： t=1/30:1/30:14/30; s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48; T=ones(14,1) t (t.2); b,bint,r,rint,stats=regress(s,T); b,stats,To MATLAB(liti22),得回归模型为 ：,Y=polyconf(p,t,S) plot(t,s,k+,t,Y,r),预测及作图,To MATLAB(liti23),2019/8/8,32,（二）多元二项式回归,命令：rstool（x，y，model, alpha）,2019/8/8,33,例3 设某商品的需求量与消费者的平均收入、商品价格的统计数 据如下，建立回归模型，预测平均收入为1000、价格为6时 的商品需求量.,法一,直接用多元二项式回归： x1=1000 600 1200 500 300 400 1300 1100 1300 300; x2=5 7 6 6 8 7 5 4 3 9; y=100 75 80 70 50 65 90 100 110 60; x=x1 x2; rstool(x,y,purequadratic),2019/8/8,34,在画面左下方的下拉式菜单中选”all”, 则beta、rmse和residuals都传送到Matlab工作区中.,在左边图形下方的方框中输入1000，右边图形下方的方框中输入6。,则画面左边的“Predicted Y”下方的数据变为88.47981，即预测出平均收入为1000、价格为6时的商品需求量为88.4791.,2019/8/8,35,在Matlab工作区中输入命令： beta, rmse,To MATLAB(liti31),为剩余标准差，表示应变量Y值对于回归直线的离散程度。,2019/8/8,36,结果为: b = 110.5313 0.1464 -26.5709 -0.0001 1.8475 stats = 0.9702 40.6656 0.0005,法二,To MATLAB(liti32),返回,2019/8/8,37,非线性回 归,（1）确定回归系数的命令： beta，r，J=nlinfit（x，y，model, beta0）,（2）非线性回归命令：nlintool（x，y，model, beta0，alpha）,1、回归：,2019/8/8,38,例 4 对第一节例2，求解如下：,2、输入数据： x=2:16; y=6.42 8.20 9.58 9.5 9.7 10 9.93 9.99 10.49 10.59 10.60 10.80 10.60 10.90 10.76; beta0=8 2;,3、求回归系数： beta,r ,J=nlinfit(x,y,volum,beta0)； beta,得结果：beta = 11.6036 -1.0641,即得回归模型为：,To MATLAB(liti41),题目,2019/8/8,39,4、预测及作图： YY,delta=nlpredci(volum,x,beta,r ,J)； plot(x,y,k+,x,YY,r),To MATLAB(liti42),2019/8/8,40,例5 财政收入预测问题：财政收入与国民收入、工业总产值、农业总产值、总人口、就业人口、固定资产投资等因素有关。下表列出了1952-1981年的原始数据，试构造预测模型。,解 设国民收入、工业总产值、农业总产值、总人口、就业人口、固定资产投资分别为x1、x2、x3、x4、x5、x6，财政收入为y，设变量之间的关系为： y= ax1+bx2+cx3+dx4+ex5+fx6 使用非线性回归方法求解。,2019/8/8,41,1 对回归模型建立M文件model.m如下: function yy=model(beta0,X) a=beta0(1); b=beta0(2); c=beta0(3); d=beta0(4); e=beta0(5); f=beta0(6); x1=X(:,1); x2=X(:,2); x3=X(:,3); x4=X(:,4); x5=X(:,5); x6=X(:,6); yy=a*x1+b*x2+c*x3+d*x4+e*x5+f*x6;,2019/8/8,42,2. 主程序liti6.m如下:,X=598.00 349.00 461.00 57482.00 20729.00 44.00 2927.00 6862.00 1273.00 100072.0 43280.00 496.00; y=184.00 216.00 248.00 254.00 268.00 286.00 357.00 444.00 506.00 . 271.00 230.00 266.00 323.00 393.00 466.00 352.00 303.00 447.00 . 564.00 638.00 658.00 691.00 655.00 692.00 657.00 723.00 922.00 . 890.00 826.00 810.0; beta0=0.50 -0.03 -0.60 0.01 -0.02 0.35; betafit = nlinfit(X,y,model,beta0),To MATLAB(liti6）,2019/8/8,43,betafit = 0.5243 -0.0294 -0.6304 0.0112 -0.0230 0.3658 即y= 0.5243x1-0.0294x2-0.6304x3+0.0112x4-0.0230x5+0.3658x6,结果为:,返 回,2019/8/8,44,逐 步 回 归,逐步回归的命令是： stepwise（x，y，inmodel，alpha）,运行stepwise命令时产生三个图形窗口：Stepwise Plot，Stepwise Table，Stepwise History.,在Stepwise Plot窗口，显示出各项的回归系数及其置信区间.,Stepwise Table 窗口中列出了一个统计表，包括回归系数及其置信区间，以及模型的统计量剩余标准差（RMSE）、相关系数（R-square）、F值、与F对应的概率P.,2019/8/8,45,例6 水泥凝固时放出的热量y与水泥中4种化学成分x1、x2、x3、 x4 有关，今测得一组数据如下，试用逐步回归法确定一个 线性模 型.,1、数据输入： x1=7 1 11 11 7 11 3 1 2 21 1 11 10; x2=26 29 56 31 52 55 71 31 54 47 40 66 68; x3=6 15 8 8 6 9 17 22 18 4 23 9 8; x4=60 52 20 47 33 22 6 44 22 26 34 12 12; y=78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4; x=x1 x2 x3 x4;,2019/8/8,46,2、逐步回归： （1）先在初始模型中取全部自变量： stepwise(x,y) 得图Stepwise Plot 和表Stepwise Table,图Stepwise Plot中四条直线都是虚线，说明模型的显著性不好,从表Stepwise Table中看出变量x3和x4的显著性最差.,2019/8/8,47,（2）在图Stepwise Plot中点击直线3和直线4，移去变量x3和x4,移去变量x3和x4后模型具有显著性.,虽然剩余标准差（RMSE）没有太大的变化，但是统计量F的 值明显增大，因此新的回归模型更好.,To MATLAB(liti51）,2019/8/8,48,（3）对变量y和x1、x2作线性回归： X=ones(13,1) x1 x2; b=regress(y,X),得结果：b = 52.5773 1.4683 0.6623 故最终模型为：y=52.5773+1.4683x1+0.6623x2,To MATLAB(liti52）,返回,2019/8/8,49,作 业,2019/8/8,50,2019/8/8,51,4、混凝土的抗压强度随养护时间的延长而增加，现将一批混凝土作成12个试块，记录了养护日期x（日）及抗压强度y（kg/cm2）的数据：,谢谢大家,2019/8/8,53,四 软件开发人员的薪金,问题： 一家高技术公司人事部门为研究软件开发人员的薪金与他们 的资历、管理责任、教育程度等因素之间的关系，要建立一 个数学模型，以便分析公司人士策略的合理性，并作为新聘 用人员工资的参考。他们认为目前公司人员的薪金总体上是 合理的，可以作为建模的依据，于是调查了46名开发人员的 档案资料，如表。其中资历一列指从事专业工作的年数，管 理一列中1表示管理人员，0表示非管理人员，教育一列中1 表示中学程度，2表示大学程度，3表示更高程度（研究生）,2019/8/8,54,2019/8/8,55,开发人员的薪金与他们的资历、管理责任、教育程度,2019/8/8,56,分析与假设：,按照常识，薪金自然按照资历（年）的增长而增加，管理人 员的薪金高于非管理人员，教育程度越高薪金越高。,薪金记作,，资历（年）记作,，为了表示是否为管理人员,定义,1，管理人员 0，非管理人员,为了表示三种教育程度，定义,1，中学 0，其它,1，大学 0，其它,这样，中学用,表示，大学用,表示，,研究生则用,表示。,2019/8/8,57,为了简单起见，我们假定资历（年）对薪金的作用是线性的，即资历每加一年，薪金的增长是常数；管理责任、教育程度、资历诸因素之间没有交互作用，建立线性回归模型。,基本模型：,薪金,与资历,，管理责任,，教育程度,之间的,多元线性回归模型为,其中，,是待估计的回归系数，,是随机误差。,利用MATLAB的系统工具箱可以得到回归系数及其置信区间 （置信水平 ）,、检验统计量,的结果，见表。,2019/8/8,58,2019/8/8,59,结果分析：,从表中，,，即因变量（薪金）的95.7%可由模型确定，,值超过,检验的临界值，,远小于,，因而模型从整体来,看是可用的。比如，利用模型可以估计（或估计）一个大学 毕业、有2年资历、管理人员的薪金为,模型中各个回归系数的含义可初步解释如下：,的系数为546，,说明资历每增加一年，薪金增长546；,的系数为6883，说明,管理人员的薪金比非管理人员多6883；,的系数为-2994，说,明中学程度的薪金比研究生少2994；,的系数为148，说明,大学程度的薪金比研究生多148，但是应该注意到,的置信,区间包含零点，所以这个系数的解释是不可靠的。 注意：上述解释是就平均值来说的，并且，一个因素改变引起 的因变量的变化量，都是在其它因素不变的条件下才成立的。,2019/8/8,60,进一步讨论：,的置信区间包含零点，说明上述基本模型存在缺点。为了,寻找改进的方向，常用残差分析法（残差,指薪金的实际值,与模型估计的薪金,之差，是基本模型中随机误差,的,估计值，这里用同一个符号）。 我们将影响因素分成资历与管理教育组合两类，管理-教育 组合定义如表。,管理教育组合,2019/8/8,61,为了对残差进行分析，下图给出,与资历,的关系，及,与管理,-教育,组合间的关系。,与资历,的关系,与,组合的关系,从左图看，残差大概分成3个水平，这是由于6种管理教育组合 混在一起，在模型中未被正确反映的结果；从右图看，对于前4 个管理教育组合，残差或者全为正，或者全为负，也表明管理 -教育组合在模型中处理不当。,在模型中，管理责任和教育程度是分别起作用的，事实上，二者 可能起着交互作用，如大学程度的管理人员的薪金会比二者分别 的薪金之和高一点。,2019/8/8,62,以上分析提示我们，应在基本模型中增加管理,更好的模型：,与教育,的交互项，建立新的回归模型。,增加,与,的交互项后，模型记作,利用MATLAB的统计工具箱得到的结果如表：,2019/8/8,63,2019/8/8,64,由上表可知，这个模型的,做该模型的两个残差分析图，可以看出，已经消除了不正常 现象，这也说明了模型的适用性。,和,值都比上一个模型有所改进，,并且所有回归系数的置信区间都不含零点，表明这个模型完全 可用。,与,的关系,与,组合的关系,2019/8/8,65,从上图，还可以发现一个异常点：具有10年资历、大学程度的管理人员（编号33）的实际薪金明显低于模型的估计值，也明显低于与他有类似经历的其他人的薪金。这可能是由我们未知的原因造成的。为了使个别数据不致影响整个模型，应该将这个异常数据去掉，对模型重新估计回归系数，得到的结果如表。残差分析见图。可以看到，去掉异常数据后结果又有改善。,2019/8/8,66,2019/8/8,67,与,的关系,与,组合的关系,模型的应用：,对于第二个模型，用去掉异常数据（33号）后估计出的系数 得到的结果是满意的。模型的应用之一，可以用来“制订”6 种管理教育组合人员的“基础”薪金（即资历为零的薪金）， 这是平均意义上的。利用第二个模型和去掉异常数据后得到的 回归系数，可以得到如下结果：,2019/8/8,68,2019/8/8,69,可以看出，大学程度的管理人员薪金比研究生程度管理人员 薪金高，而大学程度的非管理人员薪金比研究生程度非管理 人员薪金略低。当然，这是根据这家公司实际数据建立的模 型得到的结果，并不具普遍性。,评注：,从建立回归模型的角度，通过这个问题的求解我们学习了： 1） 对于影响因变量的定性因素（管理、教育），可以引入 01变量来处理，01变量的个数比定性因素的水平少 1（如教育程度有3个水平，引入2个01变量）。 2） 用残差分析法可以发现模型的缺陷，引入交互作用项常 常可以得到改善。 3） 若发现异常值应剔除，有助于结果的合理性。,思考：在这里我们由简到繁，先分别引进管理和教育因素，再 引入交互项。试直接对6种管理-教育组合引入5个01变量，建 立模型，看结果如何。,2019/8/8,70,五 教学评估,为了考评教师的教学质量，教学研究部门设计了一个教学评 估表，对学生进行一次问卷调查，要求学生对12位教师的15 门课程（其中3为教师有两门课程）按以下7项内容打分，分 值为15分（5分最好，1分最差）：,问题：,课程内容组织的合理性；,主要问题展开的逻辑性；,回答学生问题的有效性；,课下交流的有助性；,教科书的帮助性；,考试评分的公正性；,对教师的总体评价。,2019/8/8,71,收回问卷调查表后，得到了学生对12为教师、15门课程各项评分的平均值，见表。,2019/8/8,72,2019/8/8,73,不一定每项都,对教师总体评价,有显著影响，并且各项内容之间也可能存,在很强的相关性，他们希望得到一个总体评价与各项具体内容 之间的模型，模型应尽量简单和有效，并且由此能给教师一些 合理的建议，以提高总体评价。,准备知识：,逐步回归,这个问题给出了6个自变量，但我们希望从中选出对因变量,影响显著的那些来建立回归模型。变量选择的标准应该是将所 有对因变量影响显著的自变量都选入模型，而影响不显著的自 变量都不选入模型，从便于应用的角度，应使模型中的自变量 个数尽量少。逐步回归就是一种从众多自变量中有效的选择重 要变量的方法。,教学研究部门认为，所列各项具体内容,2019/8/8,74,逐步回归的基本思路是，先确定一个包含若干自变量的初始集合，然后每次从集合外的变量中引入一个对因变量影响最大的，,再对集合中的变量进行检验，从变得不显著的变量中移出一个 影响最小的，依次进行，直到不能引入和移出为止。引入和移 出都以给定的显著性水平为标准。,利用MATLAB系统工具箱中的逐步回归命令stepwise可以实现 逐步回归。Stepwise提供人机交互式画面，可以在画面上自由 引入和移出变量，进行统计分析。具体用法参见MATLAB丛书,回归模