第3章多元线性回归

四川大学锦江学院肖继红 第三章 多元线性回归 3.1 多元线性回归模型3.2 回归参数的估计3.3 参数估计量的性质3.4 回归方程的显著性检验3.5 中心化和标准化3.6 相关阵与偏相关系数3.7 本章小结与评注 四川大学锦江学院肖继红 3.1 多元线性回归模型一、多元线性回归模型的一般形式 y = b0 + b1x1 + b2x2 + + bpxp +e设随机变量 y 与一般变量 x1,x2, xp的线性回归模型为其中， b1,b2, bp 是 p+1 个未知参数， b0 称为回归常数， b1,b2, bp 称为回归系数。 y 称为被解释变量 (因变量 )，而 x1, x2, , xp 是 p 个可以精确测量并可控制的一般变量，称为解释变量 (自变量 )。四川大学锦江学院肖继红 e 是随机误差，对随机误差项我们常假定E(y) = b0 + b1x1 + b2x2 + + bpxp 称为理论回归方程。四川大学锦江学院肖继红 对一个实际问题，我们获得 n 组观测数据 (xi1,xi2, xip; yi), i=1,2, n, 则线性回归模型表示为 :写成矩阵形式为 : y=Xb +, 其中 ,四川大学锦江学院肖继红 二、多元线性回归模型的基本假定 1. 解释变量 x1,x2, xp是确定性变量 ,不是随机变量 , 且要求 rank(X)=p+1 n。表明设计矩阵 X中的自变量列之间不相关 ,样本容量的个数应大于解释变量的个数， X是一满秩矩阵。2 .随机误差项具有 0均值和等方差 ,即 这个假定称为 Gauss-Markov条件 。四川大学锦江学院肖继红 3. 正态分布的假定条件为 : 用矩阵形式 (3.5)式表示为 : N(0, s2 In)在正态假定下 : y N(Xb, s 2In)E(y)=Xb var(y)= s 2In 四川大学锦江学院肖继红 三、多元线性回归方程的解释 y表示空调机的销售量 ,x1表示空调机的价格 ,x2表示消费者可用于支配的收入。y=0+1x1+2x2+E(y)=0+1x1+2x2 在 x2保持不变时 ,有 在 x1保持不变时 ,有 b1可解释为在消费者收入 x2保持不变时，空调机价格 x1每增加一个单位，对空调机销售量 y的平均增加程度。四川大学锦江学院肖继红 三、多元线性回归方程的解释 考虑国内生产总值 GDP和三次产业增加值的关系， GDP=x1 + x2+ x3现在做 GDP对第二产业增加值 x2 的一元线性回归，得回归方程在这里 GDP=x1 + x2+ x3是一个确定性的函数关系，可以看做误差项为 0的特殊的回归关系。 3个回归系数都为 1，对 b 2=1解释为第二产业增加值 x2每增加一亿元 GDP也增加 1亿元。四川大学锦江学院肖继红 年份 GDP 第一 产业增加 值 x1第二 产业增加 值 x2第三 产业增加 值 x31990 18 547.9 5 017.0 7 717.4 5 813.5 1991 21 617.8 5 288.6 9 102.2 7 227.0 1992 26 638.1 5 800.0 11 699.5 9 138.6 1993 34 634.4 6 882.1 16 428.5 11 323.8 1994 46 759.4 9 457.2 22 372.2 14 930.0 1995 58 478.1 11 993.0 28 537.9 17 947.2 1996 67 884.6 13 844.2 33 612.9 20 427.5 1997 74 462.6 14 211.2 37 222.7 23 028.7 1998 78 345.2 14 552.4 38 619.3 25 173.5 1999 82 067.5 14 472.0 40 557.8 27 037.7 2000 89 468.1 14 628.2 44 935.3 29 904.6 2001 97 314.8 15 411.8 48 750.0 33 153.0 2002 105 172.3 16 117.3 52 980.2 36 074.8 2003 117 390.2 16 928.1 61 274.1 39 188.0 2004 136 875.9 20 768.1 72 387.2 43 720.6四川大学锦江学院肖继红 三、多元线性回归方程的解释 建立 GDP对 x1和 x2的回归，得二元回归方程=2 914.6+0.607 x1+1.709 x2 你能够合理地解释两个回归系数吗 ？四川大学锦江学院肖继红 3.2 回归参数的估计 一、回归参数的普通最小二乘估计 最小二乘估计要寻找对于矩阵形式表示的回归模型 y = Xb + e，求出的 就称为回归参数 b0 , b1, , bp的最小二乘估计。四川大学锦江学院肖继红 3.2 回归参数的估计 一、回归参数的普通最小二乘估计 四川大学锦江学院肖继红 3.2 回归参数的估计 经整理后得用矩阵形式表示的正规方程组 移项得存在时，即得回归参数的最小二乘估计为：为经验回归方程。四川大学锦江学院肖继红 3.2 回归参数的估计 二、回归值与残差为观测值 yi(i=1,2,n) 回归拟合值。称为帽子矩阵，其 主对角线元素记为 hii ， 则四川大学锦江学院肖继红 3.2 回归参数的估计 二、回归值与残差此式的证明只需根据迹的性质 tr(AB)=tr(BA),因而四川大学锦江学院肖继红 3.2 回归参数的估计 二、回归值与残差cov(e,e)=cov(I-H)y,(I-H)y)=(I-H)cov(y,y)(I-H)=s 2(I-H) In (I-H)=s 2(I-H)得 D(ei)=(1-hii)2， i=1,2, n四川大学锦江学院肖继红 3.2 回归参数的估计 二、回归值与残差是 2的无偏估计四川大学锦江学院肖继红 三 、回归参数的最大似然估计 即 e 遵从多变量正态分布，那么 y 的分布y N(Xb ,s 2In)多元线性回归参数的 MLE与一元线性回归时MLE的思想一致。多元线性回归模型为y = Xb + ee N (0, s2In)四川大学锦江学院肖继红 等价于使 (y-Xb) (y-Xb) 达到最小 ,这又完全与 OLSE一样。故在正态假设情况下，回归参数 b 的 MLE与OLSE完全相同，即似然函数为 四川大学锦江学院肖继红 误差项方差 s 2的 MLE为这是 s 2的有偏估计，但它满足一致性。在大样本的情况下，是 s 2的渐进无偏估计。四川大学锦江学院肖继红 3.2 回归参数的估计 例 3.1 国际旅游外汇收入是国民经济发展的重要组成部分，影响一个国家或地区旅游收入的因素包括自然、文化、社会、经济、交通等多方面的因素，本例研究第三产业对旅游外汇收入的影响。 中国统计年鉴 把第三产业划分为 12个组成部分，分别为 x1农林牧渔服务业 ,x2地质勘查水利管理业,x3交通运输仓储和邮电通信业 ,x4批发零售贸易和餐饮业 ,x5金融保险业 ,x6房地产业 ,x7社会服务业 ,x8卫生体育和社会福利业， x9教育文化艺术和广播 ,x10科学研究和综合艺术 ,x11党政机关， x12其他行业。采用 1998年我国 31 个省、市、自治区的数据，以国际旅游外汇收入（百万美元）为因变量 y，以如上 12 个行业为自变量做多元线性回归，数据见表 3.1，其中自变量单位为亿元人民币。四川大学锦江学院肖继红 3.2 回归参数的估计 四川大学锦江学院肖继红 例 3.2 一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该银行所属的 25家分行 2002年的有关业务数据 . 试建立不良贷款 (y)与贷款余额 (x1)、累计应收贷款 (x2)、贷款项目个数 (x3) 和固定资产投资额 (x4) 的线性回归方程，并解释各回归系数的含义 . 解：由 Excel 给出的多元回归结果见下表 . 得不良贷款 (y) 与贷款余额 (x1)、累计应收贷款 (x2)、贷款项目个数 (x3) 和固定资产投资额 (x4) 的线性回归方程如下四川大学锦江学院肖继红 四川大学锦江学院肖继红 用 Excel进行