多元线性回归模型及假定

1、第三章 多元线性回归模型基本要求：1、理解多元线性回归模型的定义2、理解多元线性回归模型的假定3、掌握参数估计的计算4、理解参数统计性质第一节 多元线性回归模型及假定一、多元线性回归模型许多经济现象往往要受多个因素的影响，研究被解释变量受多个解释变量的影响，就要利用多 元回归模型。多元线性回归模型与一元线性回归模型基本类似，只不过解释变量由一个增加到两个以上，被 解释变量Y与多个解释变量X 1 X2,Xk之间存在线性关系。假定被解释变量Y与多个解释变量X 1 X2,., Xk之间具有线性关系，是解释变量的多元线性 函数，称为多元线性回归模型。即 TOC o 1-5 h z HYPERLINK

2、l bookmark38 o Current Document Y = P 0 + P1 X 1 + P 2 X 2 + +B kxk +N(3-1)其中Y为被解释变量，Xj(j = 1,2, ,k)为k个解释变量，Pj(j = 0,1,2, ,k)为k +1个未知参数， N为随机误差项。.被解释变量Y的期望值与解释变量X 1 X2,.,Xk的线性方程为： HYPERLINK l bookmark40 o Current Document E (Y) = P0 + P1 X 1 + P2 X 2 + + P kXk(3-2)称为多元总体线性回归方程，简称总体回归方程。对于n组观测值Yi, X

3、1i, X2i，,Xi (i = 1,2,., n)，其方程组形式为： HYPERLINK l bookmark136 o Current Document Y = P0 + P1 X 1 + P2 X 2 i + + P kxk + 也,(i = 1,2, , n)(3-3)即.Y =P +P X +P X + + P X +NY = P +P %1 +p2 X21 + + X +620112222k k22Y =P0 + P1 X 1 +P2X2 + + PkXk +6其矩阵形式为其中Y =n *1Y1Y2Y1Y2Y11X11X12*X1nX21X22*X2n_ nP1rXoAk1P1X1

4、Ak2P+2:.2:X:AknPkn(3-4)为被解释变量的观测值向量；X=* *( k+1)1121k11X12X22*Xk2 为解释变量的观测1 X X X1 n2 nkn -值矩阵；p (k+1)*10 12 PPPN一从，一、一 一为总体回归参数向量；n =.2为随机误差项向量。n x1总体回归方程表示为:(3-5)与一元线性回归分析一样，多元线性回归分析仍是根据观测样本估计模型中的各个参数，对估 计参数及回归方程进行统计检验，从而利用回归模型进行经济预测和分析。多元线性回归模型包含 多个解释变量，多个解释变量同时对被解释变量Y发生作用，若要考察其中一个解释变量对Y的影 响就必须假设其

5、它解释变量保持不变来进行分析。因此多元线性回归模型中的回归系数为偏回归系 数，即反映了当模型中的其它变量不变时，其中一个解释变量对因变量Y的均值的影响。由于参数Po,P1，外 ,Pk都是未知的,可以利用样本观测值(xii,X2i, ,Xki,y)对它们进行八 八 八八估计。若计算得到的参数估计值为P ,P,P , ,P，用参数估计值替代总体回归函数的未知参数 0 1 2kPo, Pj P2, , Pk，则得多元线性样本回归方程：八八八八Y = P +P X +P X +i 01 1i2 2i八+ P Xk kn八(3-6)其中P.(j = 0,1,2, , k)为参数估计值,Y (i = 1,

6、2, n)为Y的样本回归值或样本拟合值、样本估J计值。其矩阵表达形式为:八人Y = XP(3-7)人其中丫 =n x1Xn x( k+1)z%+1)X1B0B1B2八y1 八 y2X11X12X1n为被解释变量样本观测值向量y的n X1阶拟合值列向量；X21X22X2nXk 1Xk 2Xkn为解释变量X的n X (k +1)阶样本观测矩阵；为未知参数向量P的(k +1)x 1阶估计值列向量。人样本回归方程得到的被解释变量估计值y与实际观测值y之间的偏差称为残差e。e =yy=y-(B +Bx +B +i i i i 01 1i2 i4+ B x )ki ki(3-8)二、多元线性回归模型的假定

7、与一元线性回归模型相同，多元线性回归模型利用普通最小二乘法(OLS)对参数进行估计时，有 如下假定：假定1零均值假定：E(n ) = 0, i = 1,2, , n，即iE (p) = EN1N2E (N )1E(N )2(3-9)E(N )n假定2同方差假定(R的方差为同一常数攵):V(N ) = E(N2) =O2,(i = 1,2,n)ii假定3无自相关性：.ijC。伏 , N ) = E(NN ) = 0,( i 中 j, i, j = 1,2, , n)；1；2L；nE ( ； 2)1E (；)21;2;21；12;E (W) E (；) 2n= 21u n假定4随机误差项从与解释变

8、量X不相关（这个假定自动成立）:Cov (Xi, ； i) = 0,( j = 1,2,，k, i = 1,2,，n)假定5随机误差项从服从均值为零，方差为。2的正态分布:N N(0,o 2I )假定6解释变量之间不存在多重共线性:rank (X)= k +1 n即各解释变量的样本观测值之间线性无关，解释变量的样本观测值矩阵 k+1，从而保证参数b b , pk的估计值唯一。；1n；2； n(3-10)X的秩为参数个数第二节 多元线性回归模型的参数估计及统计性质一、多元线性回归模型的参数估计（一）回归参数的最小二乘估计对于含有k个解释变量的多元线性回归模型Y = P +P X +P X + +

9、P X +；(i = 1,2, , n)i 011i 22 ik ki i八八八设，PJ,分别作为参数Pn，B：，P的估计量，得样本回归方程为: 01 k01 kY = P +P X +P X +i 011i 22 i八+ B Xk ki观测值Y与回归值Y的残差e为:i i i 011i 2 i八八八ki ki八Y Y = Y -(P +P X +P + +P X )由最小二乘法可知p ,p，,p应使全部观测值Y与回归值Y的残差e的平方和最小，即使01 kiiiq( B ,B ,B，,B )=012kXT=Z (Y -p -pZe2 二 Z(Y - Y )2ii i八八i 011i2X p X

10、 p X )2ki八八取得最小值。根据多元函数的极值原理，Q分别对p ,p ,p求一阶偏导，并令其等于零，即 01ks Q,-Q = 0,( j = 1,2, k)sp.j(3-12)婴二2Z sp0翌二2Zsp1(Y-p -p X -p X -i 01 1i2 2 i八-p X )(-1)=0k ki-p kxki)(-X ) = 0黑=Z(Y-B 邛 X -8 X spi 01 1i2 2 ik化简得下列方程组/X-p kxki)(-XJ = 0np +p ZX +p ZX +、1 2 1p Zx +8Zx2+8 Z01i11i 2+8 Z xkX X + 2 i 1iki+ p ZkXk

11、iX1 Z X1Y(3-13)6 Z x +8 Z x x +8 Z x x + +8l 0 ki 11i ki 22 i kikki上述(k +1)个方程称为正规方程，其矩阵形式为 nZ X1iZXZ X11iZXZ X 2Xi2 i 1iZ x xEkiXiX八p0p1p2Z XiY1i i(3-14)ZXkiZ X1XZ X 2XZ X 2kiZ X/ki i因为nE x1iEXki- 1XX X1121XY1i iE XE X11iE x 1iX1X12X22Xk21X11X21kiE XJki iXk1EXEX Xi2 i 1iE X2iX1X1nX2nX.kn1X12X22kiX1

12、1X12X1nEX X XEkiXXki 1i1X1nX2nX 2kiX21X22X2nXk1Xk2=X XY1Y2=X Y八B0 z B1 八 B2为估计值向量样本回归模型Y = Xp+e两边同乘样本观测值矩阵X的转置矩阵X，则有八XY = XXp + Xe得正规方程组:XY = XXp(3-15)由假定(6)，R(X) = k +1，XX为(k +1)阶方阵，所以XX满秩，XX的逆矩阵(XX)-1存在。因而p =(XX)-1 XY(3-16)则为向量P的OLS估计量。以二元线性回归模型为例，导出二元线性回归模型的OLS估计量的表达式。由(3-3)式得二元线 性回归模型为y = B 0 +

13、B1 x+ B2 x 2.+ n . 为了计算的方便，先将模型中心化。设0。x = 1Zj ni=1LpqLjYLYYX , X = X X ,(j = 1,2)ji ji jni=1=z,(p, q = 1,2)=Z xiyi,(j = 1,2)=B +P X +P X二a0XX =X11X121i则二元回归模型改写为中心化模型。(3-17)将Lpq因为x21x22a0P1P2X X2i 1i0Z XXE1i 2 iX22ir Z y Z xYZ JY- 2 i i (3-18)=Zxpixqi,(p, q = 1,2)代入得XX =0LiiL210L12L22(3-19)Zx二Zxi=1j

14、i i=1(yi + y)= =Z X,i=1=LjYi=1XY =Z YiL1YLL 2 Y由(3-16)式得Y Zxjii=1,(j = 1,2)(3-20)1P = (XfX)-iXT= n0工YiL1YLL 2Y -1(3-21)其中L12LiiL22L121L L -L L11 2212 21L卜12L22LL-i = iiLL 12由(3-21)式可知F=o a2-L2 y- 1 L2-L 1Mn -122L1LI11- -1 23(3-22)(3-23)(3-24)2 LIy2L-22 2L21-22L11-bl-22:z112_x26-_x8-F-o.= (1-X(XX) X|

15、4=1i x(xx)-ixmn设P = I -X(XX) X ,可以得出p是阶对称幕等矩阵，P = P, P2 = P。于是e = P2而残差的平方和为工 e2 = ee = (Pp)，(Pp) = yPPp = pPp=pI X( XX) -1 Xp nE(ee) = EpI X( XX)-1 Xp n=。2trI - X(XX)-i X |Jn=O 2trI -trX(XX)-1 X|Jn=。2n - (k +1) R其中“ tr ”表示矩阵的迹，即矩阵主对角线元素的和。于是。2 E(ee)= E (_ee_、R n - (k +1) I n - (k +1)随机误差项R的方差。2的无偏估

16、计量，记作S 2，即E(S 2)=。2，S 2=旨2，S为残差的 Ree R e R e标准差(或回归标准差)。因此工 e2eeS2 =-(3-25)e n - k -1 n - k -1其中 TOC o 1-5 h z 八一八e 2 = ee = (Y - X0)( Y - X0) i 人人人=YY - 20 XY + P XX0人人=YY - 20 XY + B XX(XX)-1 XY人=YY - B XY例如,对于二元线性回归模型(k = 2) ee 工 e2S 2 =-ie n - 3 n - 3e 2 = e e = L -8 L -B LYY11y2 2 Y=E Y2 _ E X1

17、 Y - q E X2 Y(3-26)(3-27)(3-28)二、估计参数的统计性质1、线性性人指最小二乘估计量P是被解释变量的观测值Y,Y , ,Y的线性函数。 12 k由于人0 =(XX) -1XY设P=(XX)-1X，则矩阵P为一非随机的(k + 1)x n阶常数矩阵。所以 人0 = PY(3-29)人显然最小二乘估计量0是被解释变量的观测值Y,Y , ,Y的线性函数。12 k2、无偏性将Y=X0 + 2代入(3-16)式得0 =(XX)-1 XX0 + Q =(XX)T X X0 +(XrX)T 孙= 0 +(X，X)T X(3-30)E g )= 0 + E (XX )-1 X，N=

18、 0 +(XrX A X E 3)二 0人所以0是0的无偏估计量。3.最小方差性设P为n x p阶数值矩阵，X为p x n阶随机矩阵(随机变量为元素的矩阵)，Q为n x n阶数 值矩阵，则E(PXQ )= P(E(X )Q人下面我们推导0的方差、协方差矩阵。定义：VarG= E陨-0)6-0)由(3-30)式得人p - p =人p -p00p -p11B -pVar ()、L 0u )Cov 节,p 10Cov , B )k 0(XX )-1 Xh(P - p ) =(XX y XCov pVar1Cov f)，：k1Cov，p0kCov 节,p1kVai)k:X(XX )-1所以Var=E

19、(XX)-i XXX(XX)-i二(XX)T XE (m)X(X，X A=(XX)1 X,o 21 X(XX)1(3-31)N n=o 2(XX)-1 N这个矩阵主对角线上的元素表示P的方差，非主对角线上的元素表示P的协方差。例如Var(%中2 (X,X 卜N的第1 行与第1列交叉处的元素往对角线上的元素兀Cov（3i，B）是位于的第2行与第/列交叉处的元素（非主对角线上的元素）人在应用上，我们关心的P的方差，而忽略协方差，因此把（3-31）式记作(3-32)VarG=。2（XX ）-1p TSS = ESS + RSS总离差平方和分解为回归平方和与残差平方和两部分。(二)样本决定系数对于多元

20、回归方程，其样本决定系数为复决定系数或多重决定系数。R2 ,(i = 1,2,k)，简记为 R 2。YXnc ESSR 2 =TSS(3-40)根据式(3-39)R 2 = 1-RSTSS因为TSS =EG -y)=EY2 -nY2 ii由(3-26)式知人RSS = YY - p XY所以人_ESS = TSS - RSS = BXY - nY 2八BXY - nY 2YY nY 2(3-42)R2作为检验回归方程与样本值拟合优度的指标：R2(0 R2 Fn k 1)时，拒绝H 0，则 认为回归方程显著成立；当F tm-k-1)，则拒绝H 0 : P i = 0，接受多邛/0，即认为Pi显著

21、不为零。若2t t a(n - k-1)，则接受H 0：Pi= 0，即认为Pi显著为零。2四、利用多元线性回归方程进行预测对于多元线性回归模型Y =P0 + P1X+ P2X2. + PkXki + 比=X 0 + 其中 TOC o 1-5 h z /、 I X =G,X/X2i，,X)，0 =(P0,Pj,Pk)，(i = 1,2,n)根据样本观测值Q X 1i, X 2 i,Xj Y)(i = 1,2,n)利用最小二乘法求得回归方程 HYPERLINK l bookmark469 o Current Document 八人Y = X 0 HYPERLINK l bookmark267 o

22、Current Document lI预测就是给解释变量某一特定值X 0 = G, X10, X 20,Xk 0)对被解释变量的值Y0进行估计，八Y作为Y的预测值。设e000八=Y - Y00称其为预测误差。e 0为一随机变量，可以证明e 0服从正态分布，即e N B, o 2, + X(XX% X0日 00将式中。；用它的估计值S；代替，则得e 0的标准差o( e 0)o e )= S J1 + X(X，X)-1 X0 e *00其中eeS 一: e n n k 1统计量 人 y y0对于给定置信水平1-a，预测值Y0置信区间为Y t .6(e ) Y Y +1 6(e )0 a 2000

23、a 20即为Y t S J1 + X(XX)-1 X E(Y X ) Y +1 S V1 + X(XX)-1 X 0 a 2 e V 00000 a 2 e V 00五、多元线性回归分析实例第四节最大似然估计一、似然函数(一)基本假定对于所研究的模型Y = Xp + n，给定如下基本假设：(1)日N (0,6 2I)RCov(Xj,匕)=0,(i = 1,2,n; j = 1,2,k)P(x) = k(4)随机抽样总是生产单一的最可能结果：任意样本都是其所属总体的代表。这个强假定是针对 小样本而言的。(二)似然函数L(Y; Xp； 6 21)= P (Y)=1exp日(2兀62)n 2N确定随

24、机变量Y的任一观测样本的联合概率的函数，就称为Y的似然函数。 一般表达式为：(3-47)1(Y - XP)( Y XP) 26 2N二、极大似然估计法的基本思想极大似然估计法(maximum likelihood estimation,MLE)需要对随机扰动项的分布做出假定，通 常选择正态分布假定。在极大似然估计中，假定样本是固定的，n个观测值都是独立观测的，这个 样本可由各种不同的总体生成，而每个样本总体都有自己的参数。那么在可供选择的总体中，哪个 总体最可能生成所观测到的n个样本值？为此需要估计每个可能总体取得这n个观测值的联合概 率，选择其参数能使观测样本的联合概率最大的那个总体。三、线性回归模型的最大似然估计一元随机扰动变量的正态分布密度函数为P Q)=_ exp172g 2I 202|四四相互独立的多元随机扰动变量的正态分布密度函数为(3-48)pQ)= pQ ,n，旦)=p( )p( ) pQ )ex