非线性回归预测法-高斯牛顿法詹学朋

1、非线性回归预测法前面所研究的回归模型，我们假定自变量与因变量之间的关系是线性的，但社会 经济现象是极其复杂的，有时各因素之间的关系不一定是线性的，而可能存在某种非线性关系，这时，就必须建立非线性回归模型。 一、非线性回归模型的概念及其分类非线性回归模型，是指用于经济预测的模型是曲线型的。常见的非线性回归模型 有下列几种：双曲线模型：1yi 12 i(3-59)Xi(2)二次曲线模型：2yi 12Xi3Xii (3-60)(3)对数模型：yii2 1nxii (3-61)(4)三角函数模型：yi12 sin Xii (3-62)(5)指数模型：yi ab i(3-63)X Xyi e 0 12

2、i2 i(3-64)(6)募函数模型： _ b yi aXi i(3-65)(7)罗吉斯曲线：a o 11xiyi T i (3-66)1 e 0 nxi(8)修正指数增长曲线：yi a brx i(3-67)根据非线性回归模型线性化的不同性质，上述模型一般可细分成三种类型。 第一类：直接换元型。这类非线性回归模型通过简单的变量换元可直接化为线性回归模型，如：(3-59)、(3-60)、(3-61)、(3-62)式。由于这类模型的因变量没有变形，所以可以直接采用最 小平方法估计回归系数并进行检验和预测。第二类：间接代换型。这类非线性回归模型经常通过对数变形的代换间接地化为线性回归模型，如： (

3、3-63)、(3-64)、(3-65)式。由于这类模型在对数变形代换过程中改变了因变量的形 态，使得变形后模型的最小平方估计失去了原模型的残差平方和为最小的意义，从而 估计不到原模型的最佳回归系数，造成回归模型与原数列之间的较大偏差。第三类：非线性型。这类非线性回归模型属于不可线性化的非线性回归模型，如：(3-66)和(3-67)式。第一类和第二类非线性回归模型相对于第三类，又称为可线性化的非线性回归模型。本节重点研究第一类和第二类即可线性化的非线性回归模型。二、可线性化的非线性回归模型的模型变换及参数估计1,直接换元法换元过程和参数估计方法，如表3-6所示。例设某商店19912000年的商品

4、流通费用率和商品零售额资料如下表：表3-7直接换元法计算表年份商品流通 费用率%商品零售 额(力兀)符号YiXi1xi-Xi19917.010.20.098019926.211.70.085519935.813.00.076919945.315.00.066719955.016.50.060619964.619.00.052619974.522.00.045519984.425.00.040019994.228.50.035120004.032.00.0313根据上述资料，配合适当的回归模型分析商品零售额与流通费用率的关系，若2001年该商店商品零售额将为36.33万元，对2001年的商品流通

5、费用额作出预测。解：(1)绘制散点图(图略)。从图中可清楚看到：随着商品零售额的增加，流通费用 率有不断下降的趋势，呈双曲线形状。(2)建立双曲线模型。 TOC o 1-5 h z 1人,1Yi12 i V X XiXi得 yi 12Xii(3)估计参数。Eviews4.0 软件,hzz 暴 P92 表 3 7Dependent Variable: YMethod: Least SquaresDate: 03/04/06 Time: 23:08Sample: 1991 2000Included observations: 10VariableCoefficientStd. Errort-Sta

6、tisticProb.C2.5680000.14402717.82994 10.0000 X142.760962.28887718.682070.0000R-squared0.977592Mean dependent var5.100000Adjusted R-squared0.974791S.D. dependent var0.970681 S.E. of regression0.154117Akaike info criterion-0.725347 Sum squared resid0.190018Schwarz criterion-0.664830Log likelihood5.626

7、735F-statistic349.0197Durbin-Watson stat0.741967Prob(F-statistic)0.00000011得回归模型为：y 2.5680 42.7610为2.间接代换法代换过程和参数估计方法如(暴经济预测P96)表3-8所示。三、高斯一牛顿迭代法高斯一牛顿迭代法的基本思想是使用泰勒级数展开式去近似地代替非线性回归模型，然后通过多次迭代，多次修正回归系数，使回归系数不断逼近非线性回归模型的 最佳回归系数，最后使原模型的残差平方和达到最小。高斯一牛顿法的一般步骤为：(1)初始值的选择。其方法有三种，一是根据以往的经验选定初始值；二是用分段法求出初始值；三

8、是对于可线性化的非线性回归模型，通过线性变换，然后施行最小平方法求出初始值。(2)泰勒级数展开式。设非线性回归模型为：y f(x,r) i i=1,2,n(3-68)其中r为待估回归系数，误差项 iN(0,2 ),设：g0(g00),g1(0),g(p0)1),为待估回归系数 r (r。，1,rp)的初始值，将(3-68)式f(Xj,r)在g0点附近作泰勒展开，并略去非线性回归模型的二阶及二阶以上的偏导 数项，得f (Xi, r) f (Xi,g)f(X,r)将(3-69)式代入(3-68)p 1k 0f (Xi, r) f (Xi,g)f(X,r)将(3-69)式代入(3-68)p 1k 0

9、式，则r g(0)gk0)(3-69)yi(o)、f (Xi, g )f(X,r)rkg(0)rk(0) gk移项:Vf(x,g(0)f (Xi,r)rkg(0)J)gk(0)yyf(Xi,g)Dik0)f(X,r)(0) krk(0) rk gkg(0)则：y(0)p 1(0)Dikk 0(0) ki=1,2用矩阵形式表示，上式则为: 其中：Y(0)D(0)B (3-70)y1)V (0)Y n 1yn/(0)、(Xn,g)(0 )10Di0)1DnTDn11(0) 0bP01(0)p 1(3)估计修正因子。用最小平方法对(3-70)式估计修正因子B(0),1则：bD(0)D(0) DY(0

10、)(3-71)bb(0)设g为第一次迭代值，则：g(4)精确度的检验。设残差平方和为：K,当SSR(s)K,当SSR(s) SSR(s1)SSR(s)(5)重复迭代。重复(3-71)式，当重复迭代 S次时，则有:SSR0)yi f (Xi,g(s) , S为重复迭代次数，对于给定的允许误差率i 1k时，则停止迭代；否则，对 (3-71)式作下一次迭代。,1,修正因子：bDDD丫第(S+1)次迭代值：g(s1) gb(s)四、应用举例设12个同类企业的月产量与单位成本的资料如下表:表3-9间接代换法计算表企业 编R单位产品 成本(元)yi月产量x,116010215116311420412825

11、5853169136775408764596651106056116160126065(注：资料来源社会经济统计学原理教科书第 435页)试配合适当的回归模型分析月产量与单位产品成本之间的关系。解：(1)回归模型与初始值的选择。根据资料散点图的识别，本数据应配合指数模型:小abx对指数模型两边取对数，化指数模型为线性回归模型，然后施行最小平方法求出初始值。即：lg % lg aXj|g b 令：y；|gy,a|g a ,b|g b则上述指数模型变为：y； a; bx,y；2.26109 0.00831x,对a ,b分别求反对数，得 a 182.43, b 0.981 ,带入原模型，得回归模型：

12、y, 182.43 0.981Xi高斯一牛顿迭代法初始回归模型：f(xi,g(0) 182.43 0.981Xi残差平方和：SSR0)(yi f(x,g(0)2 1124.1526(2)泰勒级数展开式。先对指数模型yi abXi中的a和b分别求偏导数。a0 bobxia ao b bo0.981xy a a0 b b boax bxi1182.43* x *0.981 x 1a a0b %丫(0)D1 160-150.5866 0.82545 1535.0316151-134.21480.73571 2189.0282114-124.30150.68137 2534.1796128-112.93320.61905 2878.011085-100.65500.55175 3180.7400 a91- 91.4493 =0.50128 3355.938775- 84.69480.4624.6 3453.405276- 76.94880.421810 3529.7593 b66- 68.58290.3759)4 3565.470160- 62.31040.34156 3556.965861- 57.70810.316