第6章非线性回归

1、第6章、非线性回归前面所学的多元线性回归，假定被解释变量与解释变量之间是线性关系。本章的非线性回归，就放松了这个假定。例如：CES生产函数（constant elasticity of substitution）1、可以线性化的非线性回归模型1、本质上是线性回归模型的非线性回归模型原模型 变换模型 例子：我们已经多次接触的CD函数。Eviews：ls log(x) c log(l1) log(k1)Dependent Variable: LOG(X)Method: Least SquaresDate: 11/11/04 Time: 20:30Sample: 1929 1967Included

2、observations: 39VariableCoefficientStd. Errort-StatisticProb. C-3.0.-16.614880.0000LOG(L1)1.0.17.431370.0000LOG(K1)0.0.7.0.0000R-squared0. Mean dependent var5.Adjusted R-squared0. S.D. dependent var0.S.E. of regression0. Akaike info criterion-3.Sum squared resid0. Schwarz criterion-3.Log likelihood7

3、7.28607 F-statistic3332.181Durbin-Watson stat0. Prob(F-statistic)0.或者：先转化为新的序列，然后对新的序列进行多元线性回归。series y=log(x)series x1=log(l1)series x2=log(k1)ls y c x1 x2两种方法得到的结果是一样的。Dependent Variable: YMethod: Least SquaresDate: 11/11/04 Time: 20:32Sample: 1929 1967Included observations: 39VariableCoefficientS

4、td. Errort-StatisticProb. C-3.0.-16.614880.0000X11.0.17.431370.0000X20.0.7.0.0000R-squared0. Mean dependent var5.Adjusted R-squared0. S.D. dependent var0.S.E. of regression0. Akaike info criterion-3.Sum squared resid0. Schwarz criterion-3.Log likelihood77.28607 F-statistic3332.181Durbin-Watson stat0

5、. Prob(F-statistic)0.2、Taylor级数展开法例子：CES生产函数（constant elasticity of substitution）Econometrics AnalysisP397取对数有在处Taylor展开，得到此处因此，得到对新方程进行多元线性回归即可。2、非线性回归模型1、非线性最小二乘法假设描述被解释变量和解释变量关系的回归方程为此处f(.,.)是和的函数，其中是t时的K个解释变量数据；是未知的待估计的参数。线性回归是非线性回归的特例：（回忆一下数据矩阵X和y怎样写？）回归模型是线性的，如果被解释变量关于的导数与系数无关；回归模型是非线性的，若被解释变量

6、关于的导数与系数有关。比如，下面两个模型那个是线性的，那个是非线性的：残差平方和：非线性最小二乘法（nonlinear least square estimator，NLS）：选择参数向量最小化残差平方和一般情况下，很难求解上面极值问题。不过，我们也不必一定将表示为y和x的函数，我们的兴趣在于得到的具体数值。使用迭代算法，可以求得最优解。以上极值问题的一阶条件为注意是K1列向量，的一致估计为b的样本协方差矩阵为非线性回归方程的确定系数定义为注意确定系数现在只是个描述性统计量，不一定成立。2、使用Eview实现非线性回归例1：CD生产函数step1，双击数据文件step2，选择Object/Ne

7、w Object/Equation，输入X= C(1)*L1C(2)*K1C(3)Dependent Variable: XMethod: Least SquaresDate: 11/11/04 Time: 21:39Sample: 1929 1967Included observations: 39Convergence achieved after 8 iterationsX= C(1)*L1C(2)*K1C(3)CoefficientStd. Errort-StatisticProb. C(1)0.0.3.0.0030C(2)1.0.12.953220.0000C(3)0.0.9.0.0

8、000R-squared0. Mean dependent var325.9436Adjusted R-squared0. S.D. dependent var143.0171S.E. of regression9. Akaike info criterion7.Sum squared resid3382.361 Schwarz criterion7.Log likelihood-142.3626 F-statistic4118.301Durbin-Watson stat0. Prob(F-statistic)0.点击resid观察回归效果。请与多元线性回归的结果进行比较：ls log(x)

9、c log(l1) log(k1)Dependent Variable: LOG(X)Method: Least SquaresDate: 11/11/04 Time: 21:40Sample: 1929 1967Included observations: 39VariableCoefficientStd. Errort-StatisticProb. C-3.0.-16.614880.0000LOG(L1)1.0.17.431370.0000LOG(K1)0.0.7.0.0000R-squared0. Mean dependent var5.Adjusted R-squared0. S.D.

10、 dependent var0.S.E. of regression0. Akaike info criterion-3.Sum squared resid0. Schwarz criterion-3.Log likelihood77.28607 F-statistic3332.181Durbin-Watson stat0. Prob(F-statistic)0.请问：C和C(1)相同吗？可以直接比较残差平方和吗？点击resid观察回归效果。例2：CES生产函数取对数有请问：如何写出非线性回归表达式，如何在Eviews中实施非线性回归。Dependent Variable: LOG(X)Met

11、hod: Least SquaresDate: 11/11/04 Time: 22:37Sample: 1929 1967Included observations: 39Convergence achieved after 1 iterationsLOG(X) = C(1) + C(2)*LOG(C(3)*K1C(4)+(1-C(3)*L1C(4)CoefficientStd. Errort-StatisticProb. C(1)-3.0.-15.189780.0000C(2)1.0.1.0.2932C(3)0.0.2.0.0476C(4)1.1.1.0.2925R-squared0. Me

12、an dependent var5.Adjusted R-squared0. S.D. dependent var0.S.E. of regression0. Akaike info criterion-3.Sum squared resid0. Schwarz criterion-3.Log likelihood77.97151 F-statistic2237.432Durbin-Watson stat0. Prob(F-statistic)0.3、需要注意的问题 回归方程必须写出y=f(X,b)的形式，即被解释变量必须放在左边。 option中系数的初始取值为“starting coeff

13、icient values”，可以更改。 停止迭代的原则：迭代次数和收敛水平。可以更改。3、非线性回归的统计推断1、非线性回归模型的非线性约束检验：Wald检验非线性回归模型为此处，为K1待估计的参数。非线性约束表示为如下原假设H0：表示J个约束方程。直观上，若H0为真，则数值将很小。定义如下wald统计量此处b是无约束的参数估计，V是b的方差此处，e是无约束方差。定理：若H0为真，Wald统计量的渐近分布为2、线性回归模型的线性约束检验这是以上检验的特例。线性回归模型为约束为H0：使用以上的Wald统计量因此这就是我们在“推断”一章所学的形式3、例子例1：生产函数是规模报酬的递增吗？step

14、1：点击数据文件step2：实施回归，输入X= C(1)*L1C(2)*K1C(3)Dependent Variable: XMethod: Least SquaresDate: 11/12/04 Time: 09:50Sample: 1929 1967Included observations: 39Convergence achieved after 8 iterationsX= C(1)*L1C(2)*K1C(3)CoefficientStd. Errort-StatisticProb. C(1)0.0.3.0.0030C(2)1.0.12.953220.0000C(3)0.0.9.0.

15、0000R-squared0. Mean dependent var325.9436Adjusted R-squared0. S.D. dependent var143.0171S.E. of regression9. Akaike info criterion7.Sum squared resid3382.361 Schwarz criterion7.Log likelihood-142.3626 F-statistic4118.301Durbin-Watson stat0. Prob(F-statistic)0.Step3：View/coefficient tests/Wald-coeff

16、icient restrictions输入C(2)+C(3)=1Wald Test:Equation: UntitledNull Hypothesis:C(2)+C(3)=1F-statistic189.0066Probability0.Chi-square189.0066Probability0.请对比如下线性化的回归模型和wald检验。LOG(X)=C(1)+c(2)*LOG(L1)+c(3)*LOG(K1)Dependent Variable: LOG(X)Method: Least SquaresDate: 11/12/04 Time: 09:48Sample: 1929 1967Included observations: 39LOG(X)=C(1)+C(2)*LOG(L1)+C(3)*LOG(K1)CoefficientStd. Errort-StatisticProb. C(1)-3.0.-16.614880.0000C(2)1.0.17.431370.0000C(3)0.0.7.0.0000R-squared0. Mean dependent var5.Adjusted R-squared0. S.D. dependent var0.S.E. of regression0. Akaike info criterion-