各种线性回归模型原理

1、一元线性回归一元线性回归模型的一般形式：一元线性回归方程为：当对与进行n次独立观测后,可取得n对观测值则有回归分析的主要任务是通过n组样本观测值对进行估计。一般用分别表示的估计值。称为关于的一元线性回归方程（简称为回归直线方程），为截距，为经验回归直线的斜率。引进矩阵的形式：设 ，则一元线性回归模型可表示为：其中为阶单位阵。为了得到更好的性质，我们对给出进一步的假设（强假设）设相互独立，且，由此可得：相互独立，且 程序代码：x=; y=;plot(x,y,b*)多元线性回归实际问题中的随机变量通常与多个普通变量有关。对于自变量的一组确定值，具有一定的分布，若的数学期望值存在，则它是关于的函数。

2、是的线性函数。是与无关的未知参数。逐步回归分析逐步回归分析的数学模型是指仅包含对因变量Y有显著影响自变量的多元线性回归方程。为了利于变换求算和上机计算，将对其变量进行重新编号并对原始数据进行标准化处理。一、变量重新编号 1、新编号数学模型 令，自变量个数为，则其数学模型为：式中， （其中为样本个数） 的偏回归平方和为：为的算术平均值：的偏回归系数：为逆矩阵对角线对应元素2 回归数学模型新编号的回归数学模型为：二、标准化数学模型标准化回归数学模型是指将原始数据进行标准化处理后而建立的回归数学模型，即实质上是每个原始数据减去平均值后再除以离差平方和的方根。1、标准化回归数学模型令 j=1，2，3，

3、 ，k 其中： ！为离差平方和的方根 注意：它们之间的区别，即离差平方和，离差平方和的方根，方差，标准差。 则回归数学模型为：2、标准化回归数学模型的正规方程组标准化回归数学模型正规方程组的一般形式为： 因为， ， 所以上述正规方程组可变为： 这样，数据标准化处理后的估计值0，并令，则可得数据标准化处理后的回归方程数学模型的正规方程组的一般形式为： 这样，数据标准化后的估计值应为0，并令，则可得： 其中称为相关系数矩阵。解此方程组，即可求出，故可得标准化后的回归模型为：标准化的回归模型的矩阵形式：三、标准化前后回归模型的关系1、标准化前后的回归模型 1）标准化前后回归模型为： 2）标准化后回归

4、模型为：2、标准化前后的偏回归系数 标准化前后偏回归系数的关系可从变化过程反演得知： 令代入标准化前的回归模型可得： 整理后得：将上式与标准化前的回归模型作比较，由待定系数法可知标准化前后回归模型的偏回归系数的关系为： j=1,2,3,k-1 于是只要求出，即可求出，今后仅讨论标准化后的回归模型。3、标准化后的各种离差平方和MATLAB中多元回归分析的实现：1.确定回归系数的点估计值,用命令b=regress(Y,X)2.求回归系数的点估计和区间估计,并检验回归模型,用命令:b,bint,r,rint,stats=regress(Y,X,alpha)3.画出残差及其置信区间,用命令:rcopl

5、ot(r,rint)符号说明(2) alpha为显著性水平, 默认为 0.05；(3) bint为回归系数的区间估计；(4) r与rint分别为残差及其置信区间；(5) stats 是用于检验回归模型的统计量，有三个数值, 第一个是相关系数，其值越接近于1，说明回归方程越显著; 第二个是 F 值，F>F1-alpha(p,n-p-1) 时拒绝，F越大, 说明回归方程越显著；第三个是与F对应的概率 p，p<alpha 时拒绝, 回归模型成立.MATLAB中各种回归分析的实现 （1）多元线性回归b=regress(Y,X)(2)一元多项式回归p,S=polyfit(x,y,m)(3)多

6、元二项式回归rstool(x,y,model,alpha)(4)逐步回归分析stepwise(x,y,inmodel,alpha)程序：x=; X=ones(n,1),x; Y=;回归分析检验b,bint,r,rint,stats=regress(Y,X);b,bint,stats残差分析rcoplot(r,rint)预测及作图z=b(1)+b(2)*xplot(x,Y,k+,x,z,r)逐步回归分析:例:水泥凝固时放出的热量y与水泥中4种化学成分x1、x2、x3、 x4有关,今测得一组数据如下,试用逐步回归法确定一个线性模型.(1)数据输入：x1=7 1 11 11 7 11 3 1 2 2

7、1 1 11 10'x2=26 29 56 31 52 55 71 31 54 47 40 66 68'x3=6 15 8 8 6 9 17 22 18 4 23 9 8'x4=60 52 20 47 33 22 6 44 22 26 34 12 12'y=78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4'x=x1 x2 x3 x4;(2)先在初始模型中取全部自变量：stepwise(x,y)得图Stepwise Plot 和表Stepwise Table.图Stepwise Plot中四条直线都是虚线,说明模型的显著性不好.从表Stepwise Table中看出变量x3和x4的显著性最差.在图Stepwise Plot中点击直线3和直线4,移去变量x3和x4.移去变量x3和x4后模型具有显著性虽然剩余标准差(RMSE)没有太大的变化,但是统计量F的值明显增大,因此新的回归模型更