各种线性回归模型原理

一元线性回归一元线性回归模型的一般形式： xy10一元线性回归方程为： E10)(当对 与 进行 n 次独立观测后,可取得 n 对观测值YX则有,2,1),(iyxiiiixy10回归分析的主要任务是通过 n 组样本观测值 对,2,1),(niyxi进行估计。一般用 分别表示 的估计值。10,10, 10,称 为 关于 的一元线性回归方程（简称为回归直线xy10yx方程） ， 为截距， 为经验回归直线的斜率。1引进矩阵的形式：设 ， ， ，ny21nxX21n2110则一元线性回归模型可表示为： XynIVEMG2)(ar0条 件其中 为 阶单位阵。nI为了得到 更好的性质，我们对 给出进一步的假设（强假10,设）设 相互独立，且 ，由此可得：n,21 ),21(),02niNi 相互独立，且ny,21 (1xyi 程序代码：x=; y=;plot(x,y,b*)多元线性回归实际问题中的随机变量 通常与多个普通变量 有Y )1(,21px关。对于自变量 的一组确定值， 具有一定的分布，若px,21 Y的数学期望值存在，则它是 关于 的函数。YYpx,211212,(,)ppYxx 是 的线性函数。12(,)x p, 201,(0,)bxbN是与 无关的未知参数。212,pb p,2逐步回归分析逐步回归分析的数学模型是指仅包含对因变量 Y 有显著影响自变量的多元线性回归方程。为了利于变换求算和上机计算，将对其变量进行重新编号并对原始数据进行标准化处理。一、变量重新编号1、新编号数学模型令 ，自变量个数为 ，则其数学模型为：kxy1k13210 .kxxx式中， （其中 为样本个数） 1,23,n2)(kxSU2)(kUQxS的偏回归平方和为：jxjUcbS：为 的算术平均值kxk： 的偏回归系数jbj：为逆矩阵 对角线对应元素jc1L2 回归数学模型新编号的回归数学模型为： 13210. kk xbxbx二、标准化数学模型标准化回归数学模型是指将原始数据进行标准化处理后而建立的回归数学模型，即实质上是每个原始数据减去平均值后再除以离差平方和的方根。1、标准化回归数学模型令 j=1，2，3， ，k jjSxz其中： njjx1！为离差平方和的方根2)(jjjj xlS注意： 它们之间的区别，即离差平方和，离差平jjjl,2方和的方根，方差，标准差。则回归数学模型为：13210 . kk zzzz 2、标准化回归数学模型的正规方程组标准化回归数学模型正规方程组的一般形式为： kkkkkk kkkkk zzzzzz zzzzzzn 1123132121101 31332231303 2222 1113121101 132 . . 因为， ， 0)(jjSx jijijji rSxx)(所以上述正规方程组可变为： kkkkk kkkkrrrr rrrn 1131211 333 21221210 .0. .0.0这样，数据标准化处理后的估计值 0，并令，则可得数据标准化处理后的回归方程数学模型的正规方程组的一般形式为： kkkkk kkkkrrrr rrr 1131211 333 2122121.这样，数据标准化后 的估计值应为 0，并 令，则可得：0 jjdkkkkk kkkkrdrdrdr rrrdd1131211 333 2122121.其中 称为相关系数矩阵。12122kkkrrR kkrrB121解此方程组，即可求出 ，故可得标准化后的回归132,kd模型为： 121. kk zzdz标准化的回归模型的矩阵形式： 121 132313 12212 1knnn kkSxSxxSxSxxX knkkSxSxY321212121000kkkrrnAXRrr三、标准化前后回归模型的关系1、标准化前后的回归模型1）标准化前后回归模型为： 13210. kk xbxbx2）标准化后回归模型为： 121. kk zdzdz2、标准化前后的偏回归系数标准化前后偏回归系数的关系可从变化过程反演得知：令 代入标准化前的回归模型可得：jjSxz 1121 . kkk SxdSxdx整理后得： 121121( )kkkkkkk k kSxdxdxdxdxSSS 13210. kk bbx将上式与标准化前的回归模型作比较，由待定系数法可知标准化前后回归模型的偏回归系数的关系为：j=1,2,3,k-1 10kjjjj xbdS于是只要求出 ，即可求出 ，今后仅讨论标准化后的回归模jdj型。3、标准化后的各种离差平方和QkukukSS2211MATLAB 中多元回归分析的实现：1.确定回归系数的点估计值,用命令b=regress(Y,X)2.求回归系数的点估计和区间估计,并检验回归模型,用命令:b,bint,r,rint,stats=regress(Y,X,alpha)3.画出残差及其置信区间,用命令:rcoplot(r,rint)符号说明 1121212 212 ,ppnn npxxxXxxx 12,ny011()pbBXYb(2) alpha 为显著性水平, 默认为 0.05；(3) bint 为回归系数的区间估计；(4) r 与 rint 分别为残差及其置信区间；(5) stats 是用于检验回归模型的统计量，有三个数值, 第一个是相关系数 ，其值越接近于 1，说明回归方程越显著; 第二个是 F 2r值，F F1-alpha(p,n-p-1) 时拒绝 ，F 越大 , 说明回归方程越显著；0H第三个是与 F 对应的概率 p， palpha 时拒绝 , 回归模型成立.MATLAB 中各种回归分析的实现（1）多元线性回归b=regress(Y,X)(2)一元多项式回归p,S=polyfit(x,y,m)(3)多元二项式回归rstool(x,y,model,alpha)(4)逐步回归分析stepwise(x,y,inmodel,alpha)程序：x=; X=ones(n,1),x; Y=;回归分析检验b,bint,r,rint,stats=regress(Y,X);b,bint,stats残差分析rcoplot(r,rint)预测及作图z=b(1)+b(2)*xplot(x,Y,k+,x,z,r)逐步回归分析:例:水泥凝固时放出的热量 y 与水泥中 4 种化学成分x1、x2、x3、 x4 有关,今测得一组数据如下 ,试用逐步回归法确定一个线性模型.(1)数据输入：x1=7 1 11 11 7 11 3 1 2 21 1 11 10;x2=26 29 56 31 52 55 71 31 54 47 40 66 68;x3=6 15 8 8 6 9 17 22 18 4 23 9 8;x4=60 52 20 47 33 22 6 44 22 26 34 12 12;y=78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4;x=x1 x2 x3 x4;(2)先在初始模型中取全部自变量：stepwise(x,y)得图 Stepwise Plot 和表 Stepwise Table.图 Stepwise Plot 中四条直线都是虚线,说明模型的显著性不好.从表 Stepwise Table 中看出变量 x3 和 x4 的显著性最差 .在图 Stepwise Plot 中点击直线 3 和直线 4,移去变量 x3 和 x4.移去变量 x3 和 x4 后模型具有显著性