非线性回归分析江南大学张荷观

1、第三章 非线性回归分析,讨论直接对非线性回归模型的回归分析方法, 即非线性回归模型的参数估计、假设检验和预测方法。,第一节 非线性回归模型,一、简非线性模型简介 非线性回归模型在经济学研究中有着广泛的应用。有一些非线 性回归模型可以通过直接代换或间接代换转化为线性回归模型, 但也有一些非线性回归模型却无法通过代换转化为线性回归模型。,消费函数模型,生产函数模型,二、非线性模型的建立和假设,第二节 非线性回归模型的参数估计,一、非线性计量经济分析的基本思路 建立非线性计量经济模型的基本思路与建立线性计量经济模型是相似的, 也是根据经济理论或实际数据建立初步模型, 然后估计模型中的未知参数,通过对

2、模型的检验, 最后确定模型。 非线性计量经济分析仍以回归分析为核心, 也称为非线性回归分析。,最小二乘估计,二、搜索法 1.直接搜索法,直接搜索法是把参数的所有可能取值都代入 S , 使 S 达到最小的取值即为参数的估计值。 直接搜索法原理简单, 但只适用参数个数少, 且参数的可能取值也少(或对参数估计的精度要求不高)的情况。,2.格点搜索法,格点搜索法的效率高于直接搜索法。格点搜索法不是是把参数的所有可能取值都代入 S , 而是按一定规律把部分取值代入 S 。 例1 设只有一个参数 , 的可能取值为区间 。先把区间10等分, 然后分别把,代入 S , 设 使 S 最小, 再把新区间 10等分

3、, 重复上述方法, 使参数的可能取值范围不断减小, 直到满足精度要求或收敛标准, 即得参数的最小二乘估计。 上述算法表明,当S 存在唯一最小值时, 格点搜索法才是有效的。,例2,设有二个参数 , 的可能取值为图 31 的矩形。先把矩形等分为10 行10 列, 然后分别把所有的可能取值代入 S , 设 使 S 最小。再以 相邻的4个小矩形作为参数新 的可能取值范围, 重上述方法, 使参数的可能取值范围不断减小, 直到满足要求, 即得参数的最小二乘估计。 直接搜索法和格点搜索法都是低效的, 在实际工作中很少采用。,三、高斯牛顿(Gauss - Newton)法,(1),先取参数的一组初值 , 根据

4、泰勒级数并只取线性项, 得,其中 为 和泰勒展开式的高阶项之和。整理得,(3-6),最小二乘估计,(2),把 作为新的初始值, 再次利用泰勒展开式 , 可得到一组新的估计 。重复上述方法, 直到参数估计值收敛或满足要求的精度, 最后所得的估计 就是参数的估计值。,高斯牛顿法的另一种思路,四、牛顿拉夫森(Newton Raphson)法,牛顿拉夫森法可以看作是高斯牛顿法的改进。牛顿拉夫森法不是作非线性函数 f 的线性近似, 而是直接对残差平方和 S 取最小的一阶条件作一阶泰勒展开式近似。,一个参数时的牛顿 拉夫森法,多元非线性回归模型的牛顿 拉夫森法,五、迭代算法的初始值和收敛性,高斯牛顿法和牛

5、顿拉夫森法都是迭代算法, 从而都有初始值的选择和迭代收敛性问题。 (一)初始值问题 (1) 对给定的非线性回归模型, 初始值越接近真值, 迭代速度则越快。 (2) 当残差平方和不满足整体唯一最优解的条件时, 不同的初始值可能会有不同的结果(不同的局部最优解)。 通常, 初始值应尽量接近真值。但初始值的选择并没有一般的法则, 而只有一些经验方法。,(1) 利用参数的经济意义,(2) 模型函数及其导函数在特定点的性状,(3) 变换模型及其分析,对于回归模型,由于,(3-15),(3-16),即,根据一元线性回归, 求出 和 的估计, 从而得 和 的估计, 并可把它们作为初始值。,(4) 降维法,对

6、于回归模型,令 , 则(3-17)成为一元线性回归模型,(3-17),(3-18),并在 的条件下求得 的估计 。则可取 作为初始值。,避免失误的方法,由于初始值的选择并没有一般的法则, 通常可用几组不同的初始值分别进行迭代计算, 这是避免失误的一种重要方法。当从不同的初始值得到不同的估计值时, 可能是采用的算法有问题, 也可能是回归模型的问题。,(二) 收敛性和收敛标准,理论上, 参数估计值 b 应使 , 即满足残差平方和最小的一阶条件。但由于计算中的误差和实际的运算次数, 收敛不是以 为标准。对给定的 , 判断收敛和停止迭代的常用标准有以下3种。 (1)若残差平方和趋于稳定,即 时可停止迭

7、代。 (2)若参数估计值趋于稳定, 即 时可停止迭代。 (3)若近似满足残差平方和最小的一阶条件, 即 时可停止迭代。 在实际工作中这几个标准可替换, 但无明显优劣, 一般可同时使用。,第三节 非线性回归评价和假设捡验,与线性回归分析一样,非线性回归分析在建立回归方程后进行评价和捡验。主要有回归方程拟合度的评价,以及回归方程和回归系数的显著性捡验等。非线性回归的最小二乘估计不是BLUE, 但一般条件下是一致估计。,一、决定系数,二、 t 捡验和 F 捡验,采用高斯牛顿法进行参数估计时, 根据泰勒级数把非线性回归模型线性化。从而,对于非线性回归模型的回归系数和回归方程显著性捡验也可转为对线性回归

8、模型的捡验,即对最后一次线性近似作捡验。但是,这时的统计量只是近似地服从相应的分布。,三、参数显著性的F 捡验,对于非线性回归模型, 也可以直接作显著性捡验。对回归系数的一般捡验, 也可转为对线性回归模型的捡验,(3-21),近似服从 , 是全模型(未受约束的回归模型)的残差平方和, 而 是约简型(满足约束的回归模型)的残差平方和, g 是约束条件的个数。当 时在 水平上拒绝原假设。,四、似然比捡验(likelihood ratio test)统计量,设误差项服从均值为0的正态分布, 则对数似然函数为,(3-23),(3-24),其中 e 是残差向量。从而似然比统计量,对于大样本, 近似服从

9、。从而当 时在 水平上拒绝原假设。 非线性回归检验的方法还有沃尔德捡验和拉格朗日乘数捡验等,这些方法本质上都相似。,(3-25),第四节 非线性回归分析的预测,非线性回归分析与线性回归分析一样, 可利用回归方程作预测。若解释变量取值为 , 则 y 的预测为,但非线性回归不能给出一般的区间预测公式, 通常只能采用各种近似方法, 从而在实际工作中很少使用区间预测。,第五节 非线性回归参数估计示例,设消费函数模型,(3-28),其中C 是消费, y 是总收入, 是三个参数。当 时上式成为线性回归模型, 而只有当 时才是非线性回归模型。所以, 该模型是否为线性可归结为检验 是否成立。 样本数据列于表3

10、-1。,表3-1,消费函数的相关数据,高斯 牛顿法估计参数,采用高斯牛顿法估计未和参数。记参数的初始值为 ,由于,根据一阶泰勒级数展开式,(3-29),整理得,(3-30),高斯 牛顿法,记,则(3-30)为,这是二元线性回归模型。 首先由一元线性回归模型,求得,于是取,由二元线性回归模型(3-30)迭代求解, 迭代5次的结果如下。,(3-30),一元线性回归分析表,5次迭代的结果,计算表,二元线性回归分析表,t 捡验,根据二元线性回归分析表, 可作如下近似的 t 捡验,由于 , 从而可认为应采用非线性回归模型。,SPSS非线性回归分析的主要步骤,对非线性回归模型，SPSS 可以直接通过迭代完成分析。 (1)输入数据,(2) 依次单击 Analyze Regression Nonlinear,(3) 非线性回归分析的主对话框, 把被解释变量移到“Dependent”栏内, 在“Mo