线性回归建模过程

1、现得到n个独立观测数据为X1,X2, X现得到n个独立观测数据为X1,X2, Xm的观测值，0 N(0,1 ai12),iL1,Lmaimi ,n.(3-2)an1aimanmb1，丫bn(3-3)模型的建立：多元线性回归分析的模型为y01X1 LmXm,( 3 1 )N(0, 2),-其中：0, 1, m,都是与X1 , X2 , Xm无关的未知参数，0, 1, m称为回归系数,aim分别bi,ai1, , am，其中bi为y的观测值，a,aim分别1, ,n,n m，由式（1）得1,1,式（6）表为0, 1 ,(3-4)(3-4)N(0, 2En),其中：En为n阶单位矩阵。参数估计模型（

2、1）中的参数 j模型（1）中的参数 j?j, j 0,1, ,m 时,用最小二乘法估计，即应选取估计值 误差平方和b?n(bi01ai1 Li 12mQim)(3-5)达到最小。为此，令0, j 0,1,2,L ,n,Qn2(biQn2(bi01ai1L0i 1QnL2(bi01ai1ji 1(3-6) maim)aj0, j 1,2丄,m.nn0nnn0n13i123i2Li 1i 1n0ai1n21ai1n2ai1ai2Li 1i 1i 1Mnnn0aim1aimai12aimai2Li 1i 1i 1maimb,i 1i1nnma i 1 aimi 1i 1(3-7)nn2 a mima

3、imbi ,i 1i 1nn正规方程组的矩阵形式为xtxxty,(3-8)当矩阵X列满秩时,xt为可逆方阵，式的解为? xtx 1 xty(3-9)将？代回原模型得到y的估计值，而这组数据的拟合值为b?0?1an L?mam,i 1,L ,n.(3-10)记Y? X?,t?T,拟合误差e Y Y?称为残差，可作为随机误差的估计，残差平方和为n12.587Qe212.587i 1统计分析不加证明地给出以下结果:(1) 是 的线性无偏最小方差估计。指的是是Y的线性函数；的期望等于在的线性无偏估计中，的方差最小(2)服从正态分布2 T1N( ,(XX)(3-11)记(XTX) 2 T1N( ,(XX

4、)(3-11)记(XTX) 1 (Cj)nn(3)对残差平方和Q, EQ(n m 1) 2，且2( n m 1)(3-12)由此得到2的无偏估计(3-13)s2是剩余方差(残差的方差)，s称为剩余标准差n2(4)对总平方和SST(yi y)进行分解，有i 1SST Q U , USST Q U , U(yi y)(3-14)其中Q残差平方和，反映随机误差对y的影响，U称为回归平方和，反映自变 量对y的影响。上面的分解中利用了正规方程组。回归模型的检验，因变量y与自变量x仆L ,Xm之间是否存在线性关系是需要检验的， 显然，如果所有的j (j 1,L m)都很小，y与X1,L ,Xm的线性关系就

5、不明显，所以 可令原假设为H。： j 0( j 1,L m)当Ho成立时由分解式(34)定义的U,Q满足U /mQ/( n m 1)F (m,n m 1)U /mQ/( n m 1)F (m,n m 1)(3-15)在显著性水平下有上 分位数F (m,n m 1)，若F F (m, n m 1),接受Ho ;否则，拒接。yy。01 X01Lm X0m(3-19)注意 接受Ho只能说明y与自变量Xi丄，Xm的线性关系不明显，可能存在非线 性关系，如平方关系。还有一些衡量y与自变量Xi丄，Xm相关程度的指标，如用回归平方和在总平方中 的比值定义复判定系数R2(3-16)SSTR ，R2称为复相关系

6、数，R越大，y与自变量Xi,L ,Xm相关关系越密切，通常，R大于0.8 (或大于0.9 )才认为相关关系成立。回归系数的假设检验和区间估计当上面的H。被拒绝时，j不全为零，但是不排除其中若干个等于零。所以应进行一步作如下 m 1个检验(j 0,1丄m):Hoj : j 0j : N( j, 25), Cjj 是(XTX) 1 中的第(j, j)元素，用 s2 代替 2，由(3-11)-( 3- 13)式，当Hj成立时勺勺QTVt(nm1)(3-17)对给定的(3-17 )式也可以用于对 信区间为对给定的(3-17 )式也可以用于对 信区间为j作区间估计(j 0,1,L m)，在置信水平1下，j的置，若tjt_(n m 1)，接受Hj ；否则，拒绝2(3-18)(3-18)j t_(n m 1)s. % j t_(n m 1)s 巧2 2其中s利用回归模型进行预测X0 X0 (X01,L X0m)预测 y， y 是随机给定 可以算出yo的预测区间(区间估计)，结果较复杂，但当n较大时且xoi接近平均值Xi时，yo的预测区间可简化为yo z s, yo z s(3-20)2 2其中z是标准正