第九章 非线性回归与极大似然估计

1、整理ppt第九章第九章 非线性回归与极大似然估计非线性回归与极大似然估计一、非线性最小二乘估计一、非线性最小二乘估计 之前我们讨论的单方程回归模型都是因之前我们讨论的单方程回归模型都是因变量关于参数线性的，都可通过一定的变换变量关于参数线性的，都可通过一定的变换化为标准线性回归模型。化为标准线性回归模型。 本质上非线性的回归模型因变量关于参数本质上非线性的回归模型因变量关于参数是非线性的，不能变化为线性回归模型。是非线性的，不能变化为线性回归模型。uXXY2122110如整理ppt非线性回归模型：非线性回归模型：uXXXfYpk),(2121其中其中f是是k个自变量和个自变量和p个回归系数的非

2、线性函数。个回归系数的非线性函数。 用来决定系数估计值的标准与线性回归的用来决定系数估计值的标准与线性回归的标准一样，即误差平方和最小化，称为非线性标准一样，即误差平方和最小化，称为非线性最小二乘估计。最小二乘估计。 在线性回归情况下，求最小乘估计在计算在线性回归情况下，求最小乘估计在计算上很简单。对于非性方程，有若干不同的寻找上很简单。对于非性方程，有若干不同的寻找使误差平方和达到最小的系数估计方法。使误差平方和达到最小的系数估计方法。整理ppt泰勒级数展开法（循环线性法）：泰勒级数展开法（循环线性法）：uXXXfYpk),(2121对非线性函数:,02010后的所有高次项得并略去所有二次项

3、和以展开为泰勒级数在该处附近将对给定的初始值，fpufXXXfYiipiipk)(| )(),(0102010210uffXXXfYpiiipiiipk00| )(| )(),(1100201021整理ppt0| )(if 令左边为一个新的因变量，右边令左边为一个新的因变量，右边 为一组新的自变量，为一组新的自变量， 为未知参为未知参数，则原模型转化成线性模型，可以用普通最小数，则原模型转化成线性模型，可以用普通最小二乘法来估计这些参数。二乘法来估计这些参数。),(21p得到新的线性回归方程值并把它们作为新的初始的第一次估计值记为将,),(),(1211121ppuffXXXfYpiiipii

4、ipk11| )(| )(),(1111211121对这个方程运用普通最小二乘法，得到一组新估计对这个方程运用普通最小二乘法，得到一组新估计值值 。不断重复这个重新线性化的过程直。不断重复这个重新线性化的过程直到估计的参数收敛。到估计的参数收敛。),(22212p整理ppt二、极大似然估计法二、极大似然估计法1、极大似然估计的思想、极大似然估计的思想.);(max);();(,);(.);(, );();(:,.),;(1111MLnnnin，XLXL，。XLXXX，LXLXXXpXLXXXp记为极大似然估计值的作为的用满足所以值越大因此被抽取的真实概率越接近越接近真实值的估计值为似然函数称被

5、抽取的概率反映度函数为因此随机样本的联合密取自总体相互独立的随机样本为未知参数为设总体分布的密度函数整理ppt.);(ln.0);(ln);(ln);(称为对数似然函数估计值来得到参数的极大似然求导并使之等于对所以一般通过将有相同的极值点与因为XLXL，XLXL2、标准线性模型的极大似然估计、标准线性模型的极大似然估计)(21exp21)(),(,2222iiiiiiiiiXYYpXNYY，uXY为其概率密度函数可表示即服从正态分布每一个标准线性模型整理ppt则似然函数是密度函数在所有则似然函数是密度函数在所有N个观测处取值个观测处取值的连乘积：的连乘积：)(21exp)2(1)()()(),

6、(22222121iiNNNXYYPYPYPYYYL。，Y，YN值和达到大的即求使对数似然函数的值和的参数测值寻找最可能生成样本观极大似然估计的目标是1222)()2/()ln()2/()2ln()2/(iiXYNNLnL对数似然函数整理pptNXYXYXXYYXXiiMLMLiiiML222)(;)()(:,极大似然估计量得求偏导并令它们等于零令对数似然函数对。，OLS，MLMLMLML的渐近有效估计量仍是但可以证明的有偏估计量却是虽然是一致的但是最优线性无偏估计量和因此估计量完全相同的极大似然估计量与显然2222)(整理ppt3、非线性模型的极大似然估计、非线性模型的极大似然估计),(21

7、exp21),(0),(22121222121pkiiiiiipkXXXfYXYp，YX，uu，XXXfY的密度函数可写成和那么给定的正态分布服从均值为假设对非线性函数2212122),()2/()ln()2/()2ln()2/(),(pkiiiiiiXXXfYNNXYpLnLN数为个观测值的对数似然函则整理ppt。，pp，渐近有效的量都是一致的和但最终的极大似然估计求解过程较复杂个非线性方程组未知数可得到关于求偏导并令它们等于零和个令对数似然函数对每一11三、似然比检验和拉格朗日乘数检验三、似然比检验和拉格朗日乘数检验 这两种检验所用统计量都是基于极大似然这两种检验所用统计量都是基于极大似然

8、估计法的计算估计法的计算,可用于检验数据是否支持某些参可用于检验数据是否支持某些参数限制条件。数限制条件。整理ppt1、似然比检验（、似然比检验（LR）.)()(,)(,)(0URRRURLnLLnLLnLLnL，则似然比定义为的极大值似然函数代表有限制条件时对数的极大值数似然函数代表没有限制条件时对设的原假设如果我们希望检验一些 LnL越大表明对数据的拟合程度越好，分母来自越大表明对数据的拟合程度越好，分母来自无条件模型，变量个数越多，拟合越好，因此分子小无条件模型，变量个数越多，拟合越好，因此分子小于分母，似然比在于分母，似然比在0到到1间。分子是在原假设成立下参间。分子是在原假设成立下参

9、数的极大似然函数值，是零假设的最佳表示。而分母数的极大似然函数值，是零假设的最佳表示。而分母则表示在在任意情况下参数的极大似然函数值。比值则表示在在任意情况下参数的极大似然函数值。比值的最大极限值为的最大极限值为1，其值靠近，其值靠近1，说明局部的最大和全，说明局部的最大和全局最大近似，零假设成立可能性就越大。局最大近似，零假设成立可能性就越大。 整理ppt用来对原假设进行检验的似然比统计量定义为：用来对原假设进行检验的似然比统计量定义为：)()(ln2)(ln)(ln2URRURRLLLLLR。，LR。mLRmm0,22不全为即所希望检验的认为限制条件不成立则拒绝原假设临界值的大于给定显著性

10、水平下若为限制条件的个数整理ppt 例：我们要讨论线性回归模型是否应该加例：我们要讨论线性回归模型是否应该加入一些重要变量的问题：入一些重要变量的问题：似然比检验在计量经济模型选择上的应用似然比检验在计量经济模型选择上的应用 )(:)(:22112210无约束条件的饱和模型有约束条件模型uXXXYHuXXYHkkmkmkmkmk在零假设成立的条件下，约束模型的极大对数在零假设成立的条件下，约束模型的极大对数似然函数为似然函数为 ；非约束模型的极大对；非约束模型的极大对数似然函数为数似然函数为)(RLnL)(URLnL2)()(ln)(ln2mURRLLLR。，LRm约束条件不成立则拒绝原假设反

11、之约束条件成立则接受原假设若;,2)(整理ppt2、拉格朗日乘数检验（、拉格朗日乘数检验（LM）)(:)(:22112210无约束条件的饱和模型有约束条件模型uXXXYHuXXYHkkmkmkmkmk检验思路：检验思路：. 0. 0,RURRURURLnL，LnL即非常接近的极大似然估计量应与不施加约束条件下的极大似然估计量则施加约束条件下若约束条件成立有估计量对于非约束的极大似然。，LnLLMR则约束条件不成立显著地不为零检验的原理是若整理pptLM检验的实际步骤检验的实际步骤 ：假定已经估计了约束模型假定已经估计了约束模型 12 1ttqqttyxxu 考虑是否将剩余的考虑是否将剩余的k-

12、q个变量加入模型，构成个变量加入模型，构成一个无约束条件的模型一个无约束条件的模型1211(1)ttqqtqqttkkttyxxxuxu检验的假设检验的假设 01:0qkH11:,qkH至少一个不为零至少一个不为零整理ppt 首先，用首先，用OLS法估计约束模型，计算残差序列法估计约束模型，计算残差序列qtqtttxxye221然后，建立然后，建立LM的辅助回归式如下：的辅助回归式如下：ttkktqqtvxxe, 110 如果辅助回归式中另外加上的变量都是如果辅助回归式中另外加上的变量都是“无关紧无关紧要要”的，系数显著为零，的，系数显著为零，R2非常小，则当我们从有约非常小，则当我们从有约束的模型变动到无约束的模型时，加进来的束的模型变动到无约束的模型时，加进来的k-q个变量个变量的系数应该为零，原假设成立。的系数应该为零，原假设成立。 反之，辅助回归式的拟合优度十分好，反之，辅助回归式的拟合优度十分好，R2非常大，则非常大，则从有约束的模型变动到无约束的模型时，加进来的从有约束的模型变动到无约束的模型时，加进来的k-q个个变量的系数至少有一个显著不为零，则接受备择假设。变量的系数至少有一个显著不为零，则接受备择假设。 整理ppt 最后，用辅助回归式