非线性回归预测法——高斯牛顿法(詹学朋)

1、1 非线性回归预测法前面所研究的回归模型，我们假定自变量与因变量之间的关系是线性的，但社会经济现象是极其复杂的，有时各因素之间的关系不一定是线性的，而可能存在某种非线性关系，这时，就必须建立非线性回归模型。一、非线性回归模型的概念及其分类非线性回归模型，是指用于经济预测的模型是曲线型的。常见的非线性回归模型有下列几种：(1) 双曲线模型：iiixy121 (3-59) (2) 二次曲线模型：iiiixxy2321 (3-60) (3) 对数模型：iiixyln21 (3-61) (4) 三角函数模型：iiixysin21 (3-62) (5) 指数模型：ixiiaby (3-63) iiixx

2、iey221110 (3-64) (6) 幂函数模型：ibiiaxy (3-65) (7) 罗吉斯曲线：ixxiiieey1101101 (3-66) (8) 修正指数增长曲线：ixiibray (3-67) 根据非线性回归模型线性化的不同性质，上述模型一般可细分成三种类型。第一类：直接换元型。这类非线性回归模型通过简单的变量换元可直接化为线性回归模型，如：(3-59) 、(3-60)、(3-61) 、(3-62) 式。由于这类模型的因变量没有变形，所以可以直接采用最小平方法估计回归系数并进行检验和预测。第二类：间接代换型。这类非线性回归模型经常通过对数变形的代换间接地化为线性回归模型，如：(

3、3-63)、(3-64) 、(3-65) 式。由于这类模型在对数变形代换过程中改变了因变量的形态，使得变形后模型的最小平方估计失去了原模型的残差平方和为最小的意义，从而估计不到原模型的最佳回归系数，造成回归模型与原数列之间的较大偏差。第三类：非线性型。2 这类非线性回归模型属于不可线性化的非线性回归模型，如：(3-66) 和(3-67) 式。第一类和第二类非线性回归模型相对于第三类，又称为可线性化的非线性回归模型。本节重点研究第一类和第二类即可线性化的非线性回归模型。二、可线性化的非线性回归模型的模型变换及参数估计1. 直接换元法换元过程和参数估计方法，如表 3-6 所示。例设某商店19912

4、000 年的商品流通费用率和商品零售额资料如下表：表 3-7 直接换元法计算表年份商品流通费用率商品零售额（万元）符号iyixiixx11991 1992 1993 1994 1995 1996 1997 1998 1999 2000 7.0 6.2 5.8 5.3 5.0 4.6 4.5 4.4 4.2 4.0 10.2 11.7 13.0 15.0 16.5 19.0 22.0 25.0 28.5 32.0 0.0980 0.0855 0.0769 0.0667 0.0606 0.0526 0.0455 0.0400 0.0351 0.0313 根据上述资料，配合适当的回归模型分析商品零售

5、额与流通费用率的关系，若2001 年该商店商品零售额将为36.33 万元，对2001 年的商品流通费用额作出预测。解： (1) 绘制散点图 ( 图略 ) 。从图中可清楚看到：随着商品零售额的增加，流通费用率有不断下降的趋势，呈双曲线形状。(2) 建立双曲线模型。iiixy121令iixx1得iiixy21(3) 估计参数。Eviews4.0 软件， hzz暴 P92 表 3 7 3 3.54.04.55.05.56.06.57.07.5812162024283236XYDependent Variable: Y Method: Least Squares Date: 03/04/06 Time

6、: 23:08 Sample: 1991 2000 Included observations: 10 Variable Coefficient Std. Error t-Statistic Prob. C 2.568000 0.144027 17.82994 0.0000 X1 42.76096 2.288877 18.68207 0.0000 R-squared 0.977592 Mean dependent var 5.100000 Adjusted R-squared 0.974791 S.D. dependent var 0.970681 S.E. of regression 0.1

7、54117 Akaike info criterion -0.725347 Sum squared resid 0.190018 Schwarz criterion -0.664830 Log likelihood 5.626735 F-statistic 349.0197 Durbin-Watson stat 0.741967 Prob(F-statistic) 0.000000 得回归模型为：iixy17610.425680.22. 间接代换法代换过程和参数估计方法如（暴经济预测P96）表 3-8 所示。三、高斯牛顿迭代法高斯牛顿迭代法的基本思想是使用泰勒级数展开式去近似地代替非线性回归模

8、型，然后通过多次迭代，多次修正回归系数，使回归系数不断逼近非线性回归模型的最佳回归系数，最后使原模型的残差平方和达到最小。高斯牛顿法的一般步骤为：(1) 初始值的选择。其方法有三种，一是根据以往的经验选定初始值；二是用分段法求出初始值；三是对于可线性化的非线性回归模型，通过线性变换，然后施行最小平方法求出初始值。(2) 泰勒级数展开式。设非线性回归模型为：iiirxfy),( i=1,2,n (3-68) 其中 r 为待估回归系数，误差项iN(0, 2) ，设：4 )0(1)0(1)0(00),(pgggg， 为待估回归系数110),(prrrr的初始值，将 (3-68)式),(rxfi在 g

9、0点附近作泰勒展开，并略去非线性回归模型的二阶及二阶以上的偏导数项，得)0(10)0()0(),(),(),(kkgrpkkiiigrrrxfgxfrxf (3-69) 将(3-69) 式代入 (3-68) 式，则ikkgrpkkiiigrrrxfgxfy)0(10)0()0(),(),(移项：ikkgrpkkiiigrrrxfgxfy)0(10)0()0(),(),(令：)0()0()0()0()0()0(),(),(kkkgrkiikiiigrrrxfDgxfyy则：ikpkikiDy)0(10)0()0( i=1,2， n 用矩阵形式表示，上式则为：)0()0()0(BDY (3-70)

10、 其中：)0(1)0(0)0(1)0(1)0(0)0(11)0(10)0()0()0(11)0(1),(),(ppnpnppnnnnBDDDDDgxfygxfyY(3) 估计修正因子。用最小平方法对(3-70)式估计修正因子B（ 0），则：)0()0(1)0()0()0(YDDDb (3-71) 设 g(1)为第一次迭代值，则：)0()0()1(bgg(4) 精确度的检验。设残差平方和为：5 21)()0(),(nisiigxfySSR，S 为重复迭代次数，对于给定的允许误差率K，当kSSRSSRSSRsss)()1()(时，则停止迭代；否则，对(3-71) 式作下一次迭代。(5) 重复迭代。

11、重复(3-71) 式，当重复迭代S次时，则有：修正因子：)()(1)()()(sssssYDDDb第(S+1) 次迭代值：)()()1(sssbgg四、应用举例设 12 个同类企业的月产量与单位成本的资料如下表：表 3-9 间接代换法计算表企业编号单位产品成本（元）iy月产量ix1 2 3 4 5 6 7 8 9 10 11 12 160 151 114 128 85 91 75 76 66 60 61 60 10 16 20 25 31 36 40 45 51 56 60 65 (注：资料来源社会经济统计学原理教科书第435 页) 试配合适当的回归模型分析月产量与单位产品成本之间的关系。解：

12、 (1) 回归模型与初始值的选择。根据资料散点图的识别，本数据应配合指数模型：ixiaby对指数模型两边取对数，化指数模型为线性回归模型，然后施行最小平方法求出初始值。即：bbaayybxayiiiilg,lg,lglglglg令：则上述指数模型变为：iixbayiixy00831.026109.2对,ba分别求反对数，得182.43,0.981ab，带入原模型，得回归模型：ixiy981.043.182高斯牛顿迭代法初始回归模型：(0)(,)182.430.981ixif x g残差平方和：(0)(0)2(,)1124.1526iiSSRyf x g6 （2）泰勒级数展开式。先对指数模型ix

13、iaby中的 a 和 b 分别求偏导数。00000.981iia ab bxxiaab byba110000182.43*0.981iiaab bxxia aiib byax bxb然后用泰勒级数展开指数模型，移项整理得( 注：参见 (3-69) 、(3-70) 式 ) ：(0)Y(0)D(0)B160-150.5866 0.82545 1535.0316 151-134.2148 0.73571 2189.0282 114-124.3015 0.68137 2534.1796 128-112.9332 0.61905 2878.0110 85-100.6550 0.55175 3180.74

14、00 a(0)91- 91.4493 = 0.50128 3355.9387 75- 84.6948 0.46246 3453.4052 76- 76.9488 0.42180 3529.7593 b(0)66- 68.5829 0.37594 3565.4701 60- 62.3104 0.34156 3556.9658 61- 57.7081 0.31633 3529.5468 60- 52.4302 0.28740 3473.9702 (3-72) (3) 估计修正因子。解(3-72) 式矩阵，得：a(0) 12.09660288= b(0)0.00180342 第一次迭代值：a1 a0

15、 a(0) 194.5266= b1 b0 b(0) 0.9792第一次迭代回归模型：(1)(,)194.52660.9792ixifx g(4) 精确度的检验。残差平方和：7 (1)(1)2( ,)999.4077iiSSRyf x g给定误差率K=10-3, 则：(1)(0)(1)1124.152610.12482999.4077SSRSSRkSSR作下一次迭代。(5) 重复迭代。将 a1 代入 (3-71) 式作第二次迭代。得估计修正因子：b1a(1) 0.647654043= b(1)0.000066948 第二次迭代值：a2 a1 a(1) 195.1743 = b2 b1 b(1)

16、 0.9791第二次迭代回归模型：(2)(,)195.17430.9791ixifx g残差平方和：(2)(2)2(,)999.1241iiSSRyf x g误差率：(2)(1)(2)999.407710.00028999.1241SSRSSRkSSR误差率达到要求，停止迭代。表3-10 计算结果比较最小平方法一次迭代二次迭代回归系数a 182.43 194.5266 195.1743 回归系数b 0.981 0.9792 0.9791 残差平方和SS R 1124.1526 999.4077 999.1241 误 差 率 % 12.482 0.028 相关指数R 0.95937 0.96396 0.96397 从上表可看出：高斯牛顿迭代法具有收敛快，精确度高的优点，二次迭代就使8 精确度高达99.97%，相关指数也明显提高。理论上可以证明高斯牛顿迭代法经过数次迭代后，估计回归系数将逼近最佳的待估回归系数，使残差平方和达到最小，从而明显地克服了最小平方法的不足。其缺陷是计算量较大，但随着电子计算机的日益普及，这点计算就显得微不足道了。SPSS10.0 软件， hzz暴 P98表 39 根据最小平方法，参数为：Eviews4.0 软件， hzz暴 P98 表 39 或： Quick/generate Series (生成系列 ) lny=log(y)，Lny c x 结果不对？