第一章 回归分析

#第一章回归分析第一节概述1、常见的变量间的关系一类称为确定性关系；一类称为非确定性关系或相关关系。2、变量的分类自变量：可以在某一范围内取确定数值的。因变量或随机变量：取值可观测，但不可控制的变量。3、回归分析及线性回归分析研究一个(或几个)自变量于一个随机变量之间的相关关系时所建立的数学模型及所作的统计分析称为回归分析。如果所建立的模型是线性的，就叫线性回归分析。4、回归方程一元回归方程：y=0。+0x多兀回归方程：y=0+0x+0x+...+0x01122mm

第二节一元线性回归分析元线性回归参数的最小二乘估计(1)考虑因变量y与自变量x的一元线性回归方程y=00+0x其一元线性回归模型为：y=0+0X+80(2)(1)i01ii为论述方便，令：n]Tx=[x1,x2,……n]Tx=[x1,x2,……Xn]TA=11X1x20=1Xn则由(2)式可构成y=AB0001『=[儿』2,……yn]T£=[£1，£2•…,£〜N(0,IO2)一般采用最小二乘估计法求定B0，B1的最佳估值01，即在(3)€t€=(y—A0)t(y—A0)=最小的要求下求定0,001利用最小二乘法求得其结果为：

sP二y-x亠二y-xP0s21xp=V2s2'x其中：TOC\o"1-5"\h\z$1yx二x,y二yninii=1i=1=工(x-x)2=Xx2-nx2iii=1i=1sxy=X(x-x)(y-y)=Xxysxyiiiii=1i=1可得到一元线性回归方程为：y=p+px=Ap二、估值的性质011-无偏性：E(P)=P,E(€)=0⑷八八八I2•估值P,P的方差:D(P)=(5)011s2x1x2D(P)=(+22(6)0ns2X3•残差命勺方差为:D伍)=(I-A(AtA)-1At)g2(7)4.残差€与p,y不相关:D(€,y)=0,D(€,P)=0(8)5•估计值y的总和等于观测值y的总和，而残差€的总和等于零:iii工y=Xy(9)iii=1i=1工€=0(10)ii=1s2•残差平方和Q=s2-xy(11)€ys2xn-2•方差◎2的无偏估值&2=_Qn-2三、一元回归的方差分析和线性关系的显著性检验所谓回归方程的显著性检验，就是检验假设：所有回归系数都等于零，也即检验H：B1=0为此，我们首先把变量y的观测值yi与其平均值y之间的总偏离平方和Qy分解为回归平方和Qr和残差平方和q£两部分，即：yQ=s2=X(y-y)2=Q+Qyyi€R(13)i=1(13)构造统计量(y—y)2=€丁*+0：s2i=1

_Q_QeR了(n—2)当原假设成立时，F回〜耳2，对于给定的置信水平a,

1，n-2当F回〉耳2(a)时，我们拒绝原假设H,否则就接受H。1，n-2四、样本相关系数Ys1_=(—)2s1_=(—)2ys2ssyyx则有:记丫2=Q/Q='则有:sY=—ssyx为(x—x)(y—y)sY=—ssyxiiTOC\o"1-5"\h\zi1——:工(x—无)2丫(y—y)2'iiIi=1i=1称为x与y的样本相关系数,也可用来检验原假设构造统计量Y=1F+(n—2)第三节多元线性回归分析、多元线性回归的最小二乘估计TOC\o"1-5"\h\z设有多元回归方程y=P+Px+Px+•••Px(14)01122mm在x,x,…x分别取值x,x，…x时，对y取得第i次样本观测值y,则对12m1i2imii观测值y有y=P+Px+Px+…Px(15)ii011i22immi现在由(y,x,x，…x)根据(15)式求(m+1)未知回归参数P.,P,P_，…Pi1i2imi的最小二乘估计值P,P,P，…P•记:,P1P00Psxx11x,P1P00Psxx11xx12xx21221nxn1xn22nxnn则(14)式可写为y=AP+£由最小二乘估计准则沱t€=最小可求得:P=(AtA)-1ATy二、参数的中心化和标准化1、中心化

在回归分析的应用中,我们常常要把原始观测数据进行中心化和标准化,这对于我们的统计分析将是有益的.记X=丄工x,k=1,2,…,mknkjx=[x,X，…，X]TOC\o"1-5"\h\z12my=-Kynii=1则(15)式可改与为y=a+(x—x)B+…+(x—x)B+8(16)i1i11mimmi式中：(X—B+xB+•…+xB011mm我们在(16)式中把每个回归自变量减去了它们的平均值，这称为中心化。这样我们可以得到最小二乘解为：B—(ATA)—1ATysssss式中A=sx—x111x式中A=sx—x111x—x121x—x212x—x222x—xm1mx—xm2mAs1As2,y・s2、标准化x—xx—x1-112-2x—xm-mAs-y―y1y—y2y―y-除了中心化，对自变量经常做的另一种处理叫标准化，记s2=K(x—x)2,j=1,2，•…,mjijji=1x—xZ=7j(17)ijs我们称(17)式为标准化。则既经过中心化，又经过标准化的多元线性回归模型变为y=X+iy=X+ix—x(—1)B+•…+s11/x—x―im1Ism+8i(18)三、多元回归的统计性质四、多元回归方程的显著性检验所谓回归方程的显著性检验，就是检验假设：所有回归系数都等于零，即检验H:B1=B2=…邙m=0构造统计量：F(m,-—mF(m,-—m—1)—m—1)取显著性水平a，如按上式计算的F〉Fa(m.n-m-1),则拒绝原假设H,说明回归效果显著,否则接受原假设。五、多元回归系数的显著性检验

回归方程的显著性检验是对线性回归方程的一个整体性检验，如果我们检验的结果是拒绝原假设，这意味因变量Y线性地依赖于自变量X1,X2,…，X这个回归自变量的整体,12m但是并不排除Y并不依赖于其中某些自变量，即某些Bi可能等于零。于是在回归方程显著性检验被拒绝之后，还需要对每个自变量逐一做显著性检验，即要检验：H0K:Bk=00Kk(k=1,2,…,m)。F检验:构成统计量：F检验:八F(1,n一m一1)F(1,n一m一1)&2qkt检验：T=k'厲k==t(n—m—1)k\Q/&Jqke(n—m—1)对于给定的显著性水平8当F〉F(1，n-m-1)时拒绝H，否则接受原假设。k1-80k或当T|〉t(n—m—1)时拒绝H，否则接受原假设。k°80k12六、多元回归的预测所谓预测就是对给定的回归自变量的值，预测对应的回归因变量所可能取得值。对于自变量xl,x2,...xm的一组取定值(x10，x20，…，xm0)可由回归方程得到y的一个对应值为：y=0+x0HFx000101m0m在应用上，有时区间预测更为我们所关心，所谓区间预测就是找一个区间，使得被预测量落在这个区间内的概率达到预先给定的值。我们假定模型误差服从正态分布，构成统计量：t(n—m—1)8(、

t(n—m—1)8(、

n—m2/=00I1&'1+—+A(AtA)—1Atns0sss因而对给定的8,有1cy'1+—+A(AtA)—1Atns0sss由此可得y的概率为1-8的预测区间为：1.1+1.1++A(AtA)-1Atns0sssy—t(—)cy'1+1+A(AtA)—1At,y+10n—m2\ns0sss0n—m第三节回归方程的最佳选择、评价回归方程的标准1、平均残差平方和最小(RMSq准则)设有自变量X】，X2……X，因变量为Y,€为随机变量，£〜(0,O2),为£12m的估值，Q为残差平方和，£Q=€*€,n为样本数，m为自变量的个数，我们可以得到方差O2的估值为02,即：£O2=q/(n-m-1)=£*£/(n-m-1)(19)£随着m的增大，O2先是减小，而后稳定，最后又增大。因此，以02之值最小为准则来选择自变量和回归模型是合理的。2、均方误为最小导出的准则Cp准则其定义式为：C=-(n-2m-2)(20)PQ23、AIC准则它可以表述为“使AIC=-21n(模型似然度)+2(模型自由参数个数)达到极小的那组参数是最优的参数选择”AIC统计量为：AIC=nln(Q)+2(m+1)(21)4、AIC准则的推广BIC二nln(Q)+2(m+1)lnn(22)£二、最优回归模型的选择1、计算所有可能的回归把m个自变量的所有可能的组合，一一与y建立线性回归方程，然后按前述介绍的准则，逐一进行比较，从中挑选出最优的回归方程。2、逐步回归法1)向前逐步回归法向前逐步回归法的计算过程大致如下：(1)选择第一个变量X1，对m个自变量分别引入建立一元回归模型，并分别计算残差平方和Qj(j=1、2m),然后找出Qj中最大的一个，记为Q=MaxQTOC\o"1-5"\h\z£j£j并计算相应的耳统计量，给定显著水平a，作F检验，如F/F(1,n-2),则引入相应的自变量X1。(2)选择第二个自变量X2。对X,和X.(X,^X.)分别引入建立二元回归模型，并分别计21j1j算残差平方和Q.(j=1、2m),然后找出Q.中最大的一个Q.=MaxQ.和相应的自变量£j£j£jjX2并计算相应的F2统计量，给定显著水平a，作F检验，如F2>F(1,n-3),则引入相应的自变量X2a2在第二个自变量X2引入后，再检验第一个变量T值，如T1>T1/2(n-3)2111-a/2则保留x1,否则剔除x1,把第二个变量x2改为新的x1/,并建立只包含x1/的回归模型。重复(2)、(3)步，直到未选入的自变量对Y的回归系数检验都不显著为止。最后建立P元回归模型。回归模型建好后，我们可以利用该模型对变形进行分析和预报。2)向后逐步回归法向后逐步回归法的具体做法如下⑴建立m个自变量x,,