多元线性回归方程的建立

1、多元线性回归方程的建立建立多元线性回归方程,实际上是对多元线性模型2-2-4 进行估计,寻求估计式2-2-3 的过程.与一元线性回归分析相同,其根本思想是根据最小二乘原理,求解 瓦由,也 使全部观测值X 与回归值立的残差平方和到达最小值.由于残差平方和Q -力8 -反尸力必-国+瓦西1 +也如+ %专 i-li-12-2-5 是练瓦 的非负二次式,所以它的最小值一定存在.根据极值原理,当Q取得极值时,综也应满足t U - "2#吗由2-2-5 式,即满足士-品+%月=.鲁,一用十和十%心十十%小L 0,兑Y与+4%+%悔=.一偈十和十名玛.十+ % =.2-2-6 2-2-6 式称为

2、正规方程组.它可以化为以下形式注M九丸叫十玄£凶+玄加泡+十20片.i-1i-1b2-1 > _12B!»q%十2工；凶十1研泡十十Z/力油工碣乂d iUMi_】QIi-ii 菱呢JI同»审%十£%* + £、建唐十舂=工/乂I 3i-13-1IJ】2-7如果用A表示上述方程组的系数矩阵可以看出A是对称矩阵.那么有(2-2-8 )式中X是多元线性回归模型中数据的结构矩阵,工是结构矩阵X 的转置矩阵.2-2-7式右端常数项也可用矩阵 D来表示即因此(2-2-7)式可写成Ab=D(2-2-9)(2-2-10 )或(2-2-11 )如果A满秩(

3、即A的行列式 为)那么A的逆矩阵A1存在,那么由(2-10)式和(2-11)式得/的最小二乘估计为(2-2-12 )也就是多元线性回归方程的回归系数.为了计算方便往往并不先求X盯,再求b,而是通过解线性方程组(2-2-7)来求b.(2-2-7)是一个有p+1个未知量的线性方程组, 它的第一个方程可化为(2-2-13 )式中瓦下一济亏-自舄 力工(2-2-14 )将(2-2-13 )式代入(2-2-7 )式中的其余各方程,得AA短血十十上】也=%£31Al +4斗£?禽=%其中(2-2-15 )/ =工海-马M注-以：工勺司-一方工4 2-1i-1i-L±-1H廉

4、MRJ = E町一号& - 同=工源 - 一£.£乂>1i>L再 i-lj-1将方程组2-2-15 2-2-16 式用矩阵表示,那么有Lb=F(2-2-17 )其中于是(2-2-18 )b=L-1F因此求解多元线性回归方程的系数可由2-2-16 式先求出L,然后将其代回2-2-17 式中求解.求b时,可用克莱姆法那么求解,也可通过高斯变换求解.如果把 b直接代入2-2-18 式,由于要先求出L 的逆矩阵,因而相对复杂一些.例2-2-1 表2-2-1为某地区土壤内含植物可给态磷y与土壤内所含无机磷浓度X1、土壤内溶于&CO溶液并受澳化物水解的有机磷

5、浓度x 2以及土壤内溶于K2CO溶液但不溶于澳化物的有机磷x 3的观察数据.求y对X1, X2, X3的线性回归方程.表2-2-1土壤含磷情况观察数据样本序号土壤中含磷量2加土麋中植物可给瑁 0唱. 0有小10.4521586420.4231636033.1-19377140.6341576154.724595461.7651237779.4444681210.113111793S11.6291739310126581121511110337111761223.146114961323.150134171421.64473泊1523336143341726.85812

6、02181S2995112499计算如下：1 "石= 一£而丁 = 1L944理制检=工72,111 ".一£/, -123.0001 y = ,乂 =81,278由(2-2-16)式41 = 一 五乂仙一耳三 1752 96i-l/三 -石-左)=1035-61 = L2li-l加三工4一石6, 一 & i20U三J1 i-l加工一耳21 -石=1752 96 i-l/三工-初物-&=双4 = %U1JL 工H -a)(4-总)=充5723-1工内一4-2刃如%广±6-动每-两三2216 44 i-l耳尤®玛5-刀,

7、例3 i-l代入2-2-15式得175296叫 +1085.6161+1200 - 323L48(2-2-19 ),10&5 6七1 十 3155.782 + 336 = 2216 44 12叫 +3充明 +35572% = 7593假设用克莱姆法那么解上述方程组,那么其解为(2-2-20 )其中计算得bi=1.7848, b2=-0.0834 , ba=0.1611= y -4瑞一与方 一乌网 . 43.67回归方程为P-43.67 + 1 7S48z1 - 0.0S34x. +0 161k,应用克莱姆法那么求解线性方程组计算量偏大,下面介绍更实用的方 法一一高斯消去法和消去变换.多

8、项式回归标签：c2021-07-04 14:52 6443 人阅读 评论(0)收藏举报在上一节所介绍的非线性回归分析,首先要求我们对回归方程的函数模型做出判断.虽然在一些特定的情况下我们可以比较容易地做到这一点 但是在许多实际问题上常常会令我们不知所措.根据高等数学知识我们知道,任何曲线可以近似地用多项式表示,所以在这种情况下我们可以 用多项式进行逼近,即多项式回归分析.一、多项式回归方法假设变量y与x的关系为p次多项式,且在Xi处对y的随机误差 不(i=1,2,n)服从正态分布N(0产),那么y/d +凤+* B刘+104田令Xi1 =Xi , X i2=Xi2, ,Xip=XiP那么上述非

9、线性的多项式模型就转化为多元线性模型,即XT区+用/1 +用/+%+&(2-4-11J),n)这样我们就可以用前面介绍的多元线性回归分析的方法来解决上述问题了.其系数矩阵、结构矩阵、常数项矩阵分别为(2-4-11)(2-4-12)B-XY(2-4-13)回归方程系数的最小二乘估计为(2-4实质上就是判2m=(片片尸二¥-14)需要说明的是,在多项式回归分析中,检验bj是否显著断x的j次项xj对y是否有显著影响.对于多元多项式回归问题,也可以化为多元线性回归问题来解决. 例如, 对于(2-4乂二凤十科乩 +£?舄 + 口 *+ " + £i-15)

10、令 Xi1 =Zl , X i2 =Zj2 , x i3 =Zl 2, X i4 =Zl Zi2 , x i5 =Z2 2那么(2-4-15)式转化为居三中用心十自工最十户汽十十j转化后就可以根据多元线性回归分析的方法解决了.F面我们通过一个实例来进一步说明多项式回归分析方法o一、应用举例例2-4-2某种合金中的主要成分为元素A和B,试验发现这两种元素之和与合金膨胀系数之间有一定的数量关系,试根据表2-4-3给出的试验数据找出y与x之间的回归关系.表2-4-3 例2-4-2试验数据序号y137.03.40237.53- 00338.03. 00435.52. 27539.02.10639.5L

11、 83740.0L 53840. E1, 70941.0L801041.5L901142.02. 351242.52. 541343.02. 90首先画出散点图图2-4-3 .从散点图可以看出,y与x的关系可 以用一个二次多项式来描述：M-饱+从虫+凤城+ Ji=1,2,3 ,13Xil =Xi ,x i2 =Xi2,M三凤十明.十月马 4国现在我们就可以用本篇第二章介绍的方法求出机 乩 尾 的最小二乘估计.由表2-4-3给出的数据,求出司4.岛- 1603.5, 2.3323由2-2-16 式=2工正一9=45 51-1"=£gi -Ta? = 291325.13i-l工

12、5耳-片区-3640 i-lAi 几 364Q4 = 24-吊5 -y = -4,87i-L上勘=g%曷8 歹=一3函*33-1%三七力 7 2212i-l由此可列出二元线性方程组尸5典十364圾-487,国%291425,13=一交KW3将这个方程组写成矩阵形式,并通过初等变换求bi,b2和系数矩阵L的逆矩阵L-1：-4.871 Q-38 83 0 1 /-0.639328 179916乂1旷3J45.53M0-3640 291325.13-13,/1250.16598 -0.63933于是bi=-13.3854b 2=0.16598b 0=2.3323+13.3854 :1 40-0.16598 :1603.5=271.599因此? = 271.599 - 13.38MX + 0 16598jtJF面对回归方程作显著性检验：由2-2-43 式£4 =3.加0S回二由2-2-42 式S 残=Lyy- S 回=0.2572将上述结果代入表2-2-2中制成方差分析表如下：表2-4-4方差分析表丝方和自由度均方显著性回归3. 96402L 982006剩余0. 257210C. 02572口4. 221212查 F检验表,Foo 01 (2, 10) =7.56, F>Fo.0i(