线性回归的基本模型(ppt 76页).ppt

计量经济模型与经济预测,福州大学管理学院林筱文教授编联系电话7937642,一、线性回归模型,最小二方程原理和参数估计=a+bxyQ=(y-)最小=(y-a-bx)2最小对a和b求一阶微分2Q/2A=2(y-a-bx)(-a)=02Q/2B=2(y-a-bx)(-bx)=0 x得:y-na-bx=0y=na+bx=0xy-ax-bx2=0xy=ax+bx2=0得：a=y/n-b(y/n)b=xy-(x)(y)/n/x2-(x)2=Lxy/Lxx回归系数b说明当x变动一个单位时，y平均变动一个b的值,回归误差估计和相关系数估计标准误差：Sy=(y-)2/(n-2)=(y2-ay-bxy)/n-2相关系数：R=Lxy/LxxLyyLxy=xy-(xy)/nLxx=x2-(x)2/nLyy=y2-(y)2/n,线性回归模型预测,当计算回归模型由大样本计算时（n30)，其预测区间的误差分布服从正态分布，则预测区间为：0=(a+bx0)(Z2/2)Sy当计算回归模型由小样本计算时（n2.365，说明b1和b2均能通过检验，说明x1和x2对y的影响是显著的，而tb1=1.822.365，不能通过检验，说明在建立回归方程时，不必设常数项，由此再根据实际资料，建立拟合的多元回归方程。3.回归方程的显著性检验该检验应用下检验来进行：F=S回/(k-1)S残/(n-k)，上例中S总=224.4，S残=27.08S回=S总-S残=224.4-27.08=197.32则F=197.32/(3-1)/27.08(10-3)=25.50查F分布表，当a=0.01，自由度为（2.7）时，F2=9.55，当a=0.05，自由度为（2.7）时，Fa=4.74，可知F=25.50都大于Fa，说明该多元回归方程是比较显著的，可以用该方程进行经济预测。设x1=2200元，x2=50元/件时，对某商品需求量（y）的预测值为y=4.5875+1.868522+(-1.7996)5=36.70(百件）,多元回归方程的多重共线性问题,在多元回归模型中，要求模型中任何自变量之间不存在密切的线性相关关系存在，则说明自变量之间存在多重共线性。1.多重共线性产生的经济背景和原因当人们进行多元回归分析时，涉及的自变量较多，一时很难确定究竟要用哪个自变量来建立多元回归方程，也很难找到一组互不相关而都对因变量有显著影响的自变量，严格地讲，当某一经济现象的变量涉及多个自变量影响因素时，这些自变量的因素大都共有一定的线性相关关系，当其中的某些自变量两两相关关系较强时，就可认为该回归方程存在多重共线性。当人们所研究的问题涉及到时间序列资料时，由于所涉及到的自变量往往随着时间变化（或共同的政策倾向）而表现出共同的变化趋势，从而产生共线性现象。例如人们在研究社会消费水平时，所涉及的影响因素有社会人均GDP水平，城镇居民收入水平，农民平均收入水平，银行储蓄存款余额，消费价格指数等指标，而这些指标之间都可能存在着很强的相关关系，如果从这些指标作为多元回归模型的自变量，该回归模型就存在着多重共线性。,对于利用横截面资料建立多元回归模型，也可能存在自变量之间高度相关的问题。例如应用横截面资料建立粮食产量模型，其自变量有农业投资；化肥投入，水利灌溉面积等。其实农业投资已在化肥投入和水利灌溉面积中体现出来了，它们之间存在较强的相关关系，而表现出共线性问题。2.多重共线性带来的问题：当回归模型从矩阵形式表示时y=XB，当存在自变量之间的完全多衙共线性时，存在xx=0，xx-1也不存在，矩阵的行列式计算等于0，则B=（xx)-1xy也无法计算。在实际生活中，经常见到的是自变量之间存在近似共线性情况，即xx0，xx1的对角线元素较大，从而使得方程估计的精度下降，甚至出现回归系数的经济意义无法解释的可能。3.多重共线性的判断多种共线有各种判断方法，这里举一个简单的判断方法：设自变量有x1、x2、x3、xp，其回归方程为：y=f(x1、x2、x3、xp)，如果这多个自变量中两两自变量（xj）之间存在相关系数很大，则说明这个回归方程可能存在多重共线性问题，这时就要剔除其中的一个自变量或把这两个自变量相加，以求得计算过程的简化。,4.对多重共线性问题的消除方法常用的消除多重共线方法有：（1）剔除一些不重要的解释变量，或对某些变量进行合并。（2）增大样本容量。在实际经济问题的多元回归分析中，如果所搜集的样本数据太少，也容易产生多重共线性问题。（3）改变变量的定义形式。对于某些样本变量数据是时间序列资料时，因各变量往往随着时间的变化向表现出共同的变化趋势，回归方程存在多种共线性，此时，对变量彩差分法重新定义，可能取得较好的效果。例如，建立的多元回归方程y=a+bx1+cx2+dx3+ex4，其中当各自量之间可能出现两两变量高度相关出现多重共寿终正寝性问题，则令：y=yi-yi-1x1=x1i-x1(i-1)x2=x2i-x2(i-1)x3=x3i-x3(i-1)x4=x4i-x4(i-1)y=a+bx1+cx2+dx3+ex4，然后去估计回归参数（4）利用已知的信息，进行变量之间的替换。,（1）准则在解决了多重共线性问题之后，多元回归方程的自变量选择应当使所拟合的回归方程的可决系数达到最大R2=（-y)2/（-y)2=S回/S总=1-S残/S总残差平方程达到最小，Sy2=（y-)2/n-p-1对回归系数的检验，若该回归系数不能通过显著性检验，就剔除该自变量，然后重新建立一个新的回归方程，然后再进行显著性水平检验。（2）逐步回归的方法当建立一个多元回归方程时，由于人们事先不知道哪些变量来作为自变量，往往凭经验或定性分析多选择几个自变量建立多元回归模型，然后逐步对方程进行显著性检验，逐步剔除退出或变换增加某个自变量，如此反进行，最后使得整个方程的所有检验都可以通过为止。,多元回归方法自变量的选择和逐步回归的方法,四.多元回归模型的应用,虚拟变量的应用在回归模型分析中经常发生：因变量（y）不仅受诸如产量、价格、成本、身高、温度等可测量的数量变量的影响，而且也受到诸如：性别、文化程度、种族、宗教信仰、战争、地震、季节等及政府政策变化等品质变量的影响；因此，在建立回归方程时，不仅要引入数量变量，也要引入质量变量。当某种品质变量以是（1）非（0）表示时，就称其为虚拟变量。常见的虚拟变量的回归模型有以下三种表现形式：,1.反映政府政策发生重大变化或其他因素发生重大变异的跳跃式，间断式的回归模型，其模型的形式为：=1+2xi1+3DiDi=0ii01ii0图示：yxXi0如果上图由一条址线回归方程来拟合，就会出现较大的误差,2.具有某种转折点的系统趋势的变化模型，其模型的形式为：=1+2xi1+3（xi1-xi0)DiDi=0iFa，即认为存在异方差。,存在异方差情况下的参数估计由于异方差存在时用普通最小二乘法对参数旱进行估计的非有效性，这时回归模型的参数估计就不宜直接采用普通紧小二乘法进行参数估计，这时通常采用加权最小二乘法进行参数估计。对一元回归方程一种解的做法是用xi去除模型的两边各项。y/x=(a/x+bx/x=a/x+bx还有一种方法是先用普通最小二乘法求出回归模型参数a和b，得回归方程=a+bx),然后用（a+bx）去除模型的两边各项，计算y/(a+bx)对1/(a+bx)和x/(x+bx)的无常数项的回归方程，这种方法称为二阶段加权最小二乘法,序列相关,1.序号相关的概念对时间序列资料，往往由于经济经济发展，某一时间的变量值对未来某一时间的变量值的影响就产生了序列相关。例如以前所提到的一元回归方程=a+bx，x为自烃量，y为因变量。而在离列相关时，所建立的回归方程为t=a+byt-i，这时同是一个变量y，但yt-i为自变量。例如美国的轿车一般折旧期为3年，则前三年的轿车销售量往往会对后三年的轿车销售量发生影响，这时建立的序列相关回归模型为：t=a+byt-3。当然在=a+bx的方程中，也会存在序列相关的问题。在有的统计学课本中，所序列相关回归称为自相关，因回归，即自身的变量对滞后时期的本变量发生影响。,某城市历年的GDP和消费表单位：亿元,接上表单位：亿元,根据上述数据建立的回归方程为：=16.769+0.361xR2=0.99285et2=3354.2986(4.9374)(0.0074)DW=/=3217.2167/3354.2986=0.961715，否则很难做出正确判断,序列相关情形下的参数估计当模型存在一阶序列相关时，对参数估计采用的有一阶差方法和方义差分法及选代法等几种。这里年份简单的一阶差分法。令：yt=ytyt-1xt=xt-xt-1,则一阶差分回归模型=a+bx，然后用普通最小二乘法估计其参数。例如对上述某城市资料无截距（常数）项的一元回归模型，得：yt=0.3756xt，R2=0.8495.S残=3166.3395(0.0269)在什么情况可能产生序列自相关现象（1）遗漏某些关键变量时可能产生序列自相关。例如，研究居民消费水平时，漏掉居民可支配收入的有关数据变量，则用居民消费水平数据建立的回归模型可能产生正自相关。（2）经济变量的滞后性会带来序列自相关。例如前述美国轿车一般三年更新的例子。（3）采用错误的回归方式也可能引起。（4）经济上的蛛网现象可能引起。（5）对数据的错误加工可能导致误差项的自相关，例如，在季节性时间序列资料建立模型中，我们要常常消除季节性影响，对数据进行修匀处理后，可能会导致序列自相关。,时间序列模型与预测,（一）简单外推模型。1、简单外推模型。（1）对一元回归时间序列线性模型。y=a+bt,按模型趋势发展时，令时间增长到t0，则y0=a+bt0Sy=对大样本数据（n30），区间预测为y0=（a+bt0）土ZSy，区间为一平行线外推。对小样本数据（n30），区间预测为y0=（a+bt0）土tSy,这时区间为一双曲线。（2）抛物线模型,（2）抛物线模型,一阶：y=a+bt+ct2二阶：y=a+bt+ct2+dt3yytt一阶抛物线二阶抛物线,(3)修正指数曲线模型,y=k+abt对修正指数曲线模型的参数估计：三和法第一段：把序列（y）分为三段，每段都包括相等的几个数据，然后对各段求和，得各数：y,第二段：=nk+abn第三段：=nk+ab2n令（2）-（1）得令（3）-（2）得,令（5）（4）得：bn=b=(4)得：a=（1）得：k=,某城市某产品修正指数曲线模型计算表单位：万台,上述时间序列数据的一阶差分得环比大致为一常数，故拟合修正指数曲线模型。b=0.8011a=(16.41-14.64)=-1.4912K=1/314.64-(-1.4912)*(0.08113-1)/(0.8011-1)=6.0913k=修正指数曲线模型：=6.0913+（-1.4912）（0.8011）t第9年t=9时的预测y9=6.0913+（-1.4912）（0.8011）=5.8917（万台）第10年t=10时的预测y10=6.0913+（-1.4912）（0.8011）=5.9320（万台）,（4）S曲线模型成长曲线模型A.龚析兹曲线模型=对该模型两边对对数得lg=lgk+(lga)*bt(1)令y=lgyk=lgkA=lga代入方程（1）得：Y=K+A*bt,该模型为修正指数曲线模型，仿上例可求出有关参数后再求反对数可求出参数k,a,b的值b.逻辑斯特曲线模型=对该方程求倒数=k+abt，这时方程表现为修正龚柏兹曲线与逻辑斯特曲线的图形区别：S曲线的特征可分为三个阶段，经常用来对某个产品的生命周期或人口的增长状况进行描述和预测。它的第一阶段为萌芽期，第二阶段为增长期，在拐点的左边为边际递增，拐点的右边为边际递减，第三阶段为饱和期，曲线对拐点而言是旋转的对称。,移动平均模型预测,移动平均法是根据时间序列资料，逐项推移，依次计算移动平均，来反映现象的变动趋势时，运用移动平均法，消除这些因素的影响，进行动态数据的修匀，以利于旱灾行长期趋势的分析和预测。(1)简单移动平均,某产品月份销售量移动平均预测表单位：只,对三项移动平均：M4=(y3+y2+y1)/3=(434+358+423)/3=405M5=(y4+y3+y2)/3=(445+434+358)/3=412以下类推对五项加权平均：M6=(y5+y4+y3+y2+y1)/5=(527+445+434+358+423)/5=437M6=(y6+y5+y4+y3+y2)/5=(429+527+445+434+358)/5=439以下类推对移动时间长度的选择，上述分别取三项移动平均和五项移动平均，得出t=13时的预测值分别为419只和452只。但究竟应该取几项移动平均呢？有效的办法是多取几个N，计算其移动平均值，然后分别求其均方误差。MSE=（-y)2/n，然后选取MSE较小的那个N，作为预测时的移动平均的时间长度。从上例中可看出：当N=3时，MSE=（1/9）*（-y)2=28893/9=3210.33当N=5时，MSE=（1/7）*（-y)2=11143/7=1591.86由此可见，当N=5时，MSE较小，选择N=5，t=13时预测M13=452只。如果时间序列数字变化较大，用简单移动平均法就会产生较大的偏差。,（2）加权移动平均法近大远小原则的应用在简单移动平均公式中，第一个数据在计算中的作用是相同的。加权移动平均则对近期的数据认为更重要而给予更多的权数。如下列：,对表中所列出的（yt）作出预测：4=M4=(6.22*3+6.20*2+6.35*1)/(3+2+1)=6.245=M5=(6.60*3+6.22*2+6.20*1)/(3+2+1)=6.44.10=M10=(9.28*3+8.94*2+8.72*1)/(3+2+1)=9.0711=M11=(9.80*3+9.28*2+8.94*1)/(3+2+1)=9.48相对误差=(6.66-6.24)/6.66=6.31%，以此类推上表中，总的相对误差为：1-(t/yt)*100%=1-(52.89/58.44)*100%=9.50%则经过相对误差后的u=9.48*1/(1-9.5%)=10.48(万吨）,(3)趋势移动平均法当现象出现线性增加或减少的趋势时，用简单移动平均或加权移动平均法来预测，就会出现滞后偏差，对此作出的修正的方法是二次移动平均，利用移动平均滞后偏差的规律建立线性方程，作出预测趋势移动平均的线性模型：t+T=at+btT式中：at=2Mt(1)-Mt(2)bt=2/(N-1)(Mt(1)-Mt(2)对下表取N=6，分别计算Mt(1)和Mt(2)列于下表M21(1)=（4107+3770+3514+3277+3093+3006）/6=3461.2M21(2)=（3461.2+3246.7+3046.0+2832.7+2625.0+2435.8)/6=2941.2由公式得：a21=2Mt(1)-Mt(2)=2*3461.2-2941.2=3981.2b21=2/(6-1)(Mt(1)-Mt(2)=(2/5)(3461.2-2941.2)=208得直线趋势模型t+T=3981.2+208T当t+T=22时，T=1得：22=3981.2+208*1=4189.2（亿度）23=3981.2+208*2=4397.2（亿度）,某时闪电某地区发电量一次二次移动平均计算单位：亿度,指数平滑预测模型近大远小原则的应用,（1）一次指数平滑预测模型t+1=ayt+(1-a)t式中a为平滑系数St(1)=ayt+(1-a)St-1(1)式中t+1=St(1)（2）平滑系数的选择当时间序列数字波动不大，发展比较平稳时，a可取小一点，例如（0.1-0.3）；当时间序列数字有明显的迅速的变动倾向，则a可取大一点，例如（0.6-0.8），在实际应用中，可多取几个a值，然后计算均方误差（MSE），看哪一个MSE较小，就选用哪个a作为平滑系数。（3）初始值的确定一般初始值以最初几期的实际值简单平均即可。,某地区某产品销售额的一次指数平滑预测计算单位：万元,上表列出a=0.2，a=0.5,a=0.8时，初始值（1）=(y1+y2)/2=(50+52)/2=51时各年平滑值计算。例如：当a=0.2时，2=ay1+(1-a)1=0.2*50+(1-0.2)*51=50.83=ay2+(1-a)2=0.2*52+(1-0.2)*50.8=51.04以下类推。从上表可看出，当a分别为0.2、0.5、0.8时各年平滑值各不相同；通过计算均方误差（SME）来比较：当a=0.2时，MSE=(y-)2/12=243.14/12=20.26a=0.5时，MSE=252.82/12=21.07a=0.8时，MSE=281.4/12=23.45可见，当a=0.2时，MSE较小，故选择a=0.2做预测13=ay12+(1-a)12=0.2*59+(1-0.2)*49.22=51.176(万元）,(4)二次指数平滑预测模型当时间序列数据出现线性变动趋势时，用一次指数平滑法来进行预测，仍会出现滞后偏差，这时可应用二次指数平滑法加以修正。其计算公式：St(1)=ayt+(1-a)St-1(1)St(2)=St(1)+(1-a)St-1(2)试中St(1)为一次指数平滑值，St(2)为二次指数平滑值。当时间序列数值具有线性趋势时，直线趋势模型：t+T=at+btTat=2St(1)+St(2)bt=a/(1-a)(St(1)-St(2),例：某地发是量一次、二次指数平滑计算表,解：上表中：令S0（1）=S0（2）=676，a=0.3得：S21（1）=3523.1,S21（2）=3032.6a21=2*S21(1)-S21(2)=2*3523.1-3032.6=4013.6b21=a/(1-a)(S21(1)S21(2)=0.3/(1-0.3)(3523.1-3032.6)=210.21则21+T=4013.6+210.21T得：22=21+1=4013.6+210.21*1=4223.81(亿度）23=21+2=4013.6+210.21*2=4434.02(亿度）,季节指数模型,1.时间序列数据的影响分布长期超势因素（T）Trend季节变动因素（S)Season循环变动因素（C）Cycle不规则变动因素（I）Irregular时间序列的四个因素表示为乘法关系：t=TSCI2.季节变动指数测定季节变动是指经济现象在一年内随着季节的变换而引起的比较有规律的变化，例如，某些生活消费品因季节的变化而表现出旺季或淡季有规律周期性的变动。通过对季节变动的分析和研究，可以判断现象的季节变化规律，以作为当前经营活动的依据。同时在长期的时间序列数据分析中，可以消除季节变动的影响，而观察长期趋势的变化及其它因素变化对数据的影响。,（1）按季（月）平均法计算季节指数其步骤：1、