一元线性回归预测

1、2.1一元线性回归预测回归预测在研究社会许多现象之间的定量关系方面有着十分广泛的应用,一元线性回归预测是最根本的、最简单的预测方法,是掌握其它回归预测方法的基 础.一、参数估计一元线性回归预测模型的数学表达式是一元线性议程：y a bx(2-1)式中：y 预测对象,因变量或被解释变量；x 影响因素,自变量或解释变量；a, b回归系数.其含意表示事物y主要受一个因素x的影响,而且这种影响是呈线性关系的.但是,事实上,自变量与因变更的关系并不完全是一条直线,而只是近似一 条直线.但是怎样的直线才能最好地反映了 x与y的关系呢就是说,是否有一种方法使所确定的回归系数a、b是最正确的呢最常用的方法是最

2、小二乘法.即参数 a、b的估计,一般米用最小二乘法.对于预测对象y ,相关因素x ,可以收集到n对数据：(yi,x2), (y2,x2), (y3,x3), (yn,xn)如果经回归分析得到回归预测模型如式 2-1所示,那么对于每一个相关因素x 的值xi 1,2 n)对应有一个y的估计值.? a bx (i 1,2, ,n)那么实际值yi与估计值出一般是不相等的,存在一个偏差,称为估计误差或残差,用i表小0即i Yi ?i(i 1,2,n)或写成i yi a bxi最小二乘法是以误差平方和最小这一原理来估计 a, b系数,从而建立回归预测模型的.设以Q表示误差平方和,那么有:n 2i 1n(V

3、i 1(yi 1(2-2)a bx)2很显然,Q是参数a、b的函数,当求Q最小时,根据微分学中极值原理有:Q a Q bn2(yia bXi)i 1n2 (a bXi yj 0i 1(2-3)n2 Xi(y a bXi)i 1n2 Xi(a bXiyj0i 1(2-4)求解上联立方程可得Xi yi1n2n Xii 1nXii 1 inXi i 1nyii 12(2 5)nn1 b(2 6)a - yi - Xin i 1 n i 1-1 n取 X 1 为为x的平均值,n i 1_1 n _y - y 为y的平均值.n i 1n代入(2-5), (2-6)式中,并将简写为2,那么有b 2Xi Y

4、i xYiZxYi nxy2 7b22_22 xix 2xi2xinxa y bX2 8按式2-7、2-8求得的参数所建立的一元线性回归预测模型具有最小的误差 平方和.二、模型检验回归预测模型建立后,是否与实际数据有比拟好的拟合度其模型的线性关系 的显著性如何能否用来进行实际预测必须进行数理统计和实际意义检验.常 用的统计检验有,标准离差s检验、相关系数r检验、显著性F检验和随 机性W检验1 .标准离差检验标准离差s,用来检验回归预测模型的精度,其计算公式为：s JYi ?i22-9,n 2(2-10)Myy bMxys n 2从式2-9可以看到s反映了回归预测模型所得的估计值 区与实际值y的

5、 平均误差,所以希望s的值越小越好.一般要求(2-11)s二 10% 15% y2 .相关系数检验相关系数r,用来检验两个变量之间的线性相关的显著程度,其计算公式为(2-12)、(xi x)(yi y)(xi x)2 2 (yiy)2或此外,r的另一种算法为Mxx Myy(2-13)(2-14)r ; -Hi 3)2I 1V(yi yi)数学上可以证实2-12式或2-13式与2-14式是完全等价的n如果2(X?i)0即| r | 1当|r| 1时,实际值y完全落在回归直线上,y与x有完全的线性关系.当0 r 1时,y与x有一定的线性正相关关系,即y随x的增加而增加.当1 r 0时,y与x有一定

6、的线性负相关关系,即y随x的增加而减少.当r 0时,那么说明y与x之间不存在线性关系,或许是由于两者之间确实没 关系,或是二者之间不存在线性关系,而存在某种其它关系.由此可以看到,只有当|r|接近于1时,才能用一元线性回归预测模型来描述y与x之间的关系,但在实际预测中,|r |的值不一定十分接受于1,这样,|r| 应该大到什么程度,回归预测模型才有实际意义呢实际检验中是通过与临界相 关系数r.的比拟来判断的,这个过程叫相关性检验,其方法如下：(1)按式(2-12)、(2-13)或(2-14)计算 r；(2)拟定显著性水平a,(一般取a 0.05,即95%的置信度),然后查相关 系数检验表,查说

7、明取自由度v n 2,得到相关系数临界值rao(3)进行判别.当|r| %时,y与x在a显著水平下显著相关,检验通过.当|r| %时,y与x线性关系不显著.3 . F检验F检验用来检验y与x之间是否存在显著的线性统计关系.如果检验结果是否认的,即x与y之间不存在显著的线性统计关系,那么,所建立的回归预测模型无效,不能用来进行预测.F的计算公式为n(? yi)2F (2-15)(yi ?i)2/(n 2)i 1,、_ r2_或F 2 (2-16)(1 r2)/(n 2)由式(2-16)可知F值与r值之间有一定关系,假设显著水平a时,由F表 可查得F的临界值Fa ,可以求出相应的相关系数r临界值r

8、aFara(n 2) Fa(2-17)和相关系数检验一样,F检验也是通过查得F临界值Fa ,然后进行比拟来 进行判断的.具方法如下：(1)按(2-15)或(2-16)式计算F值；(2)拟定显著性水平a (一月取a 0.05),查F检验表,取自由度v n 2, 得F临界值Fa ;(3)进行判别.当F Fa时,认为x与y之间在a显著水平下的存在线性统计关系,检验通 过,所建回归预测模型有效.当F Fa时,认为x与y之间在a显著水平不下存在线性统计关系,所建回 归预测模型无效.4 . DW检验DW检验即为杜宾-瓦特森(Durbin-Watson)检验,又叫序列相关检验,序 列相关是指同一变量前后期之

9、间的相关关系.以一元线性回归预测模型来说.V a bXi i (i 1,2, ,n)为随机误差项.回归模型的统计特征有一个假定,即i是互不相关的.如果这个假定不能满足,就称i是相关的,即存在序列相关,反之,i是独立的,不存在序列相关.应该熟悉到,序列相关是一种常见的现象,如在社会经济系统中,人口的增 加与前一年或几年人口有关,t年的投资可能与t 1年的投资有关,甚至与t 2、 t 3年或更早些时的投资有关,科技进步水平的提升也是与以往的科技水平为基 础的.止匕外,有时间序列数据的处理中,因采用内插、平滑等方法,也会引起序 列相关问题.因此,序列相关在回归分析中是经常遇到的现象.但是,由于存在序

10、列相关,当采用最小二乘法建立回归预测模型时, 将会使 a、b的估计不再具有最小方差,不再是有效的估计量,将会使系统检验功能减 小,置信区间过宽,使预测失效.因而,必须对回归预测模型进行序列相关检验, 以保证预测结果的有效性.DW检验方法如下：(1)计算DW的值.统计量DW定义为n(i i 1)2DWn(2-18)2n 1(2)拟定显著水平a ,查DW检验表,查得在样本个数为n ,变量个数q 1时的临界值du,di o(3)判别.判别的原那么如表2-1.三、回归预测模型的预测和置信区间计算经以上检验并通过后,回归预测模型可用于预测.预测时,先确定自变量 x 的值x.,然后代入所建立的回归预测模型

11、,便可计算得到因变量y的预测值.在 确定自变量x的值时,可能根据计算值得到,也可以通过其它预测模型,如时间 序列模型得到.表2-1 DW 检验判别表DW值检 验 结 果(4 di) DW 4否认假设,有负序列相关0 DW dt否认假设,有正序列相关dv DW (4 dv)接受假设,无序列相关dt DW dv检验无结论(4 dv) DW (4 dt)检验无结论但是,由于回归预测模型是经过数理统计方法得到, 有一定的误差,因而使 预测结果也有一定的误差,即预测结果有一定的波动范围,这个范围称为置信区 问,其计算方法如下：(1)按式(2-10)或(2-11)计算标准离差.(2)确定置信区问(2-19