一元线性回归_方差分析_显著性分析.doc

1、一元线性回归分析及方差分析与显著性检验某位移传感器的位移 x 与输出电压 y 的一组观测值如下：（单位略）设 x 无误差，求 y 对x 的线性关系式，并进行方差分析与显著性检验。（附： F0。 10(1 ，4)=4.54 ，F0。 05(1 ，4)=7.71 ，F0。01(1 ， 4)=21.2 ）回归分析是研究变量之间相关关系的一种统计推断法。一一元线性回归的数学模型在一元线性回归中，有两个变量，其中x是可观测、可控制的普通变量，常称它为自变量或控制变量， y 为随机变量， 常称其为因变量或响应变量。 通过散点图或计算相关系数判定 y 与 x 之间存在着显著的线性相关关系，即 y 与 x 之

2、间存在如下关系：(1)通常认为且假设与 x 无关。将观测数据 (i=1 ， ， n) 代入 (1) 再注意样本为简单随机样本得：(2)称 (1) 或(2)( 又称为数据结构式 ) 所确定的模型为一元 ( 正态 ) 线性回归模型。对其进行统计分析称为一元线性回归分析。模型 (2) 中 EY=，若记 y=E(Y), 则 y=a+bx, 就是所谓的一元线性回归方程，其图象就是回归直线， b 为回归系数， a 称为回归常数，有时也通称 a 、b 为回归系数。设得到的回归方程y?b0bx残差方程为 viyty?ytb0bxt ,t1,2, N根据最小二乘原理可求得回归系数b0 和 b。对照第五章最小二乘

3、法的矩阵形式，令y11x1v1y21x2?b0v2YXbbVyN1xNvN则误差方程的矩阵形式为?YXbV对照 VLAX? ，设测得值yt 的精度相等，则有?( XTX )1XTYb将测得值分别代入上式，可计算得NNNNNNNNxt yt(xt )(yt )l xy(xt2 )(yt ) (xt )( xt yt )bt 1t 1t 1, b0t 1t 1t 1t 1y bxNxt 2Nl xxNNN(xt )2Nxt2(xt )2t 1t1t1t 1其中1NxxtN t11NyytN t 1NN1 (Nl xx( xtx)2xt 2xt )2t1t1Nt1NN1 (NNl xy( xtx)(

4、 yty)xt ytxt )(yt )t1t 1N t1t 1NN1 (Nl yy( yty) 2yt 2yt ) 2t1t 1Nt1二、回归方程的方差分析及显著性检验问题：这条回归直线是否符合 y 与 x 之间的客观规律回归直线的预报精度如何？解决办法：方差分析法分解 N 个观测值与其算术平均值之差的平方和； 从量值上区别多个影响因素；用 F 检验法对所求回归方程进行显著性检验。（一）回归方程的方差分析总的离差平方和（即N 个观测值之间的变差）NS( yty) 2l yy ，SN1t1可以证明：S=U+Q其中Ny) 2U( ytbl xy ， Ut 1N?2Ql yybl xy ， Q( y

5、t yt )t 11N2U回归平方和，反映总变差中由于x 和 y 的线性关系而引起y 变化的部分。Q残余平方和，反映所有观测点到回归直线的残余误差，即其它因素对 y 变差的影响。（二）回归方程显著性检验F 检验法基本思路：方程是否显著取决于U和 Q的大小， U 越大 Q越小说明 y 与 x 的线性关系愈密切。计算统计量 FF对一元线性回归，应为U /Q /UQFU / 1Q /(N2)查 F 分布表，根据给定的显著性水平和已知的自由度1 和 N-2 进行检验：若， FF0.01 (1, N2), 回归在 0.01的水平上高度显著。F0.05 (1, N2)FF0.01 (1, N2), 回归在

6、 0.05的水平上显著。F0 .10 (1, N2)FF0.05 (1, N2), 回归在 0.1的水平上显著。F F0.10 (1, N2), 回归不显著。（三）残余方差与残余标准差残余方差：排除了x 对 y 的线性影响后，衡量y 随机波动的特征量。2 Q N 2残余标准差：QN2含义：越小，回归直线的精度越高。程序如下：test=1.2 5 10 15 20 25;5.1 10.1 14.8 21.5 25.2 28.4N=length(test(1,:);sx=0;sx2=0;sy=0;sy2=0;sxy=0;Lxy=0;Lyy=0;fori=1:Nsx=sx+test(1,i);sx2

7、=sx2+test(1,i)2;sy=sy+test(2,i);sy2=sy2+test(2,i)2;sxy=sxy+test(1,i)*test(2,i);Lxy=Lxy+(test(1,i)-sum(test(1,:)/N)*(test(2,i)-sum(test(2,:)/N);Lyy=Lyy+(test(2,i)-sum(test(2,:)/N)2;endr=N,sx;sx,sx2sy;sxy;a=r(1);b=r(2);U=b*Lxy;Q=Lyy-U;F=(N-2)*U/Q;x=test(1,:);y=a+b*x;eq=sum(test(2,:)/N;ssd=0;ssr=0;for

8、i=1:Nssd=ssd+(test(2,i)-y(i)2;ssr=ssr+(y(i)-eq)2;endsst=ssd+ssr;RR=ssr/sst;str=blanks(5),y= , (,num2str(a),), + , ( ,num2str(b),) , *x ;disp( )disp( 回归方程为 )disp(str)disp(R2拟合优度校验 )strin=R2= ,num2str(RR);disp(strin)disp( 方差检验： )strin=sgm2=,num2str(sgm);disp(strin)disp(F-分布显著性校验 )stri=F计算值 ,num2str(F)

9、,blanks(4), 自由度 f1=1,f2=,num2str(N-2);disp(stri)disp( 注：请对照 F- 分布表找到所需置信水平下的F 临界值 Fa ，若 FFa ，则通过检验。 )yy=a+b*test(1,:);plot(test(1,:),test(2,:),r.),holdonplot(test(1,:),yy,b-),holdofftitle(str)结果如下：test =1.00005.000010.000015.000020.000025.00000.10510.52621.05211.57752.10312.6287回归方程为 :y=(0.0003321)+

10、(0.10514)*xR2 拟合优度检验：R2=1方差检验：sgm2=8.1002e-008F-分布显著性检验：F 计算值： 56408931.6024自由度： f1=1,f2=4注：请对照F-分布表找到所需置信水平下的F 临界值 Fa，若 FFa，则通过检验。polyfit函数基于最小二乘法，使用的基本格式为：plainview plaincopy1. p = polyfit(x,y,n)2. p,S = polyfit(x,y,n)3. p,S,mu = polyfit(x,y,n)其中每个命令中的n 为多项式拟合的次数，当n 为 1 时，即为一次拟合（很多情况下等价于一元线性回归）。p

11、是 n+1维参数向量p(1) ，p(2) .那么拟合后对应的多项式即为 p(1)*xn + p(2)*x(n-1) + p(n)*x + p(n+1)。S 是规模为 11 的结构数组，包括 R（系数矩阵的 QR 分解的上三角阵）， df （自由度）， normr （拟合误差平方和的算术平方根）。求出 p 之后我们需要 作出拟合函数 ，那么只需要使用命令：plainview plaincopy1. f=polyval(p,x)然后 plot出 x 和 f 即可。另外需要强调一点的是，往往需要在回归分析的时候给出相关系数 （ correlation coefficient），实际上也很简单，我们可

12、以使用命令：plainview plaincopy1.r=corrcoef(x,y);这样得到的 r 即为相关系数矩阵，其中r(1,2)=r(2,1)为相关系数，其值在-1,1之间， 1 表示最大程度的正相关，-1表示最大程度的负相关。相关系数绝对值越靠近 1 ，线性相关性质越好，根据数据描点画出来的函数- 自变量图线越趋近于一条平直线，拟合的直线与描点所得图线也更相近。另外，转载两条使用polyfit的注意事项 ：1. 使用 polyfit 命令进行多项式拟合时要注意的是， 向量 x（其中元素作为自变量） 中不重复的元素个数m ，和拟合阶数k 需要满足 m=k+1.简单分析： k 阶拟合需要

13、确定 k+1个未知参数（如1 阶拟合 y = ax + b需要确定 a 和 b 两个参数），故而至少需要 k+1个方程，故而需要至少k+1个不同的已知数对（x ，y ），由于函数中x 只能对应一个 y ，故而需要至少k+1个不同的 x 。2. polyfit只适合于形如 y = ak*xk + ak-1*x(k-1) +. + a1*x + a0的完全的一元多项式的数据拟合。最后贴一张很简单的拟合结果图：出师表两汉：诸葛亮先帝创业未半而中道崩殂， 今天下三分， 益州疲弊， 此诚危急存亡之秋也。然侍卫之臣不懈于内，忠志之士忘身于外者，盖追先帝之殊遇，欲报之于陛下也。诚宜开张圣听，以光先帝遗德，恢

14、弘志士之气，不宜妄自菲薄，引喻失义，以塞忠谏之路也。宫中府中，俱为一体；陟罚臧否，不宜异同。若有作奸犯科及为忠善者，宜付有司论其刑赏，以昭陛下平明之理；不宜偏私，使内外异法也。侍中、侍郎郭攸之、费祎、董允等，此皆良实，志虑忠纯，是以先帝简拔以遗陛下：愚以为宫中之事，事无大小，悉以咨之，然后施行，必能裨补阙漏，有所广益。将军向宠，性行淑均，晓畅军事，试用于昔日，先帝称之曰愚以为营中之事，悉以咨之，必能使行阵和睦，优劣得所。“能 ”，是以众议举宠为督：亲贤臣，远小人，此先汉所以兴隆也； 亲小人， 远贤臣，此后汉所以倾颓也。 先帝在时，每与臣论此事， 未尝不叹息痛恨于桓、 灵也。侍中、尚书、长史、参军，此悉贞良死节之臣，愿陛下亲之、信之，则汉室之隆，可计日而待也。臣本布衣，躬耕于南阳，苟全性命于乱世，不求闻达于诸侯。先帝不以臣卑鄙，猥自枉屈，三顾臣于草庐之中，咨臣以当世之事，由是感激，遂许先帝以驱驰。后值倾覆，受任于败军之际，奉命于危难之间，尔来二十有一年矣。先帝知臣谨