第六章非线性回归模型

1第六章 非线性回归模型经济模型本来就存在许多非线性形式，我们在引言与第一章就曾经处理过“可以线性化的非线性模型” ，即经过简单函数变换后可以化为一元或多元线性回归模型的非线性回归模型。但是在一般情况下，非线性模型难以精确地线性化，这就需要予以特别的考虑。一般的非线性回归模型可以表示为（6.0.1）,XfY这里 X 是可观察的独立随机变量， 是待估的参数向量，Y 是独立观察变量，它的均值依赖于 X 与 ， 是随机误差。函数形式 f（ ）是已知的。Cobb-Douglas 生产函数是非线性回归模型的典型例子：（6.0.2）21KaLQ这里 Q 是经济部门的产出， L 是劳动力投入，K 是资本投入，待估参数是 ， 1 与 2。定义 Y=Q，X =(L,K)， =( ， 1, 2) ，以及 ，则 Cobb-Douglas 生产21,aLXf函数就可以写为(6.0.1)的形式。另一个例子是消费函数（6.0.3）321YC这里 Y 是居民收入，C 是居民消费。其中参数 3 的估计问题就很有必要。如果贸然假定 3=1，那就是线性函数了，可是实际资料也许会否定 3=1。有些经济模型到底能不能线性化，取决于误差项的假定。例如 Cobb-Douglas 生产函数，如果将误差假定为与函数部分相乘，即（6.0.4）eKaLQ21则取对数后可以线性化：（6.0.5）lnlln21另一方面，有些线性回归模型也可以视为非线性问题，例如广义最小二乘问题（6.0.6）2 ,0 , VarEXY的极大似然估计就可以被看作非线性问题。本章就讨论这些非线性回归模型的性质与计算问题，涉及到一些大样本理论，介绍了非线性强度度量的几何意义。作为特别的非线性回归模型，重点是介绍了增长曲线模型与失效率模型。2第一节 非线性回归模型最小二乘估计的计算为了引进非线性回归的最小二乘方法 (Gauss-Newton 算法 ) ，我们先考虑一个简单的单参数模型：, （6.1.1）iiiiii XXfY21, 2 ,0iiVarE定义残差平方和 niniiifYS1 21,（6.1.2）i ii2回归的原则还是要使残差平方和最小，于是对 S ( )求导得： ni iii dXffYdS1 ,2（6.1.3）02 121 i iiii整理得：（6.1.4） ni ni niininiiiii YXXX11 111222232这是关于 的三次方程， 就有 3 个可能的解，将这三个解分别代入 S（ ） ，取 S（ ）最小的那个解 为回归模型的最终解。这一节就专门介绍非线性回归模型参数最小二乘估计的计算方法，一个是 Gauss-Newton算法，一个是 Newton-Raphson 算法。为了清楚易懂，我们都是先介绍单参数的，再介绍多参数的。一、非线性模型 LSE 的 Gauss-Newton 算法先考虑单参数的非线性回归模型（f（ ）已知）：（6.1.5）iiiXfY,其残差平方和函数为（6.1.6）21,niiifS要使 S( )取极小值，其一阶条件为 0,21 dXffYdiniii（6.1.7）3现在的问题是要求出上述方程的解 ，并且判断出整体最小值解 。一个近似办法是用 f (Xi, )的一阶 Taylor 近似展开去代替 f (Xi, )。设 的初值为 1，则在 1 点附近函数 f (Xi, )有近似 Taylor 展式（6.1.8）1111, dffi于是求得导数值为（6.1.9）11 ,1Xffdf简记（6.1.10）1,1dfZi则 ni iiiXfYS1 2111 ,（6.1.11）i iZ2这里（6.1.12）111,iiii XfY对于给定的初值 1， 以及 Zi( 1)都是确定的，可计算的。于是(6.1.11)所表达的残差)(i平方和正是线性回归（6.1.13）iiiY11的残差平方和。Malinvaud(1980)将上式称作拟线性模型，其最小二乘估计是（6.1.14）11121112 YZZniii 这里（6.1.15）11111 ,nnYZ于是我们看到，如果我们有待估参数 的一个初值 1，就可以得到 的一个新值 2。重复使用这个方法，又有一个拟线性模型2ZY（6.1.16）4其解为（6.1.17）2123 YZZ继续下去，我们会得到一个序列 1， 2， n。我们可以写出一般迭代表达式 nnn1nZfYZZ ,（6.1.18 ）nnn X1这里 f (X, )=f (X 1, ), f (X2, ), f (Xn, ) 。由于 S( )取极小值的一阶条件(6.1.7)可被写作（6.1.19）0,fYZ故若在迭代过程中有 n+1= n，则由(6.3.18) 知必有(6.3.19) 成立，即 ，此时 S ( )取0d得一个极值。下面要考虑的问题是，这样的迭代解是使 S( )取极小值还是极大值 ?如果是极小值，它是不是整体最小值?我们可以用不同的迭代初值去计算，如果不同的迭代初值导致不同的极小值 S，则其中最小的那个 S 是整体最小值。至于为什么这些迭代过程只会导致极小而不是极大，可以分析 的表达式d（6.1.20）,2XfYZd于是迭代公式(6.3.18)可被写作（6.1.21）ndSnn 112由于 ZZ 是一些平方和，它总是正的，( ZZ)-1 也是正的。当 为正时， ，于nn1是函数值 S 将走向极小；当 为负时， ，于是函数值还是走向极小。ndSn1为了避免迭代时间过长或迭代来回反复，可以引进步长控制函数 tn，ndSZtnnn 11 nnn XfYt,21（6.1.22）5tn 由计算程序根据误差自动调整。上述算法一般称为 Gauss-Newton 算法。图 6.1.1.1由于非线性模型函数形式复杂，一般难以建立有限样本的统计性质。然而我们可以考虑它的渐近性质。一般来说， 是一致估计， 的极限分布为正态分布，均值为 0，n方差为 ，其中 。于是在作假设检验时，可以用渐近正态分布1*2/nZZlim*去作近似：（6.1.23）12,N（6.1.24）2nS具体检验过程与线性回归的假设检验是一样的，不过以 Z ( )Z( )代替 XX。再考虑多参数非线性回归模型(f () 已知)：（6.1.25）2 ,0 , iiiii VarEXfY其中 是 m1 未知参数。采用矩阵记法，模型是（6.1.26）,XfYnIar2 0残差平方和为（6.1.27）,XfYfS它取极小值的一阶条件为（6.1.28）0,2fXfSnn0nd0ndS6这里 是一个(mn)的矩阵。记( nm)矩阵f（6.1.29）则残差平方和取极小值的一阶条件为（6.1.30）0,XfYZ为了使用 Gauss-Newton 算法，需要对多元函数 f (X, )在初值 1 附近作多元 Taylor 展开：（6.1.31）111, iii ffXf将这些展式合并在一起有（6.1.32）111,Zff这样非线性回归模型(6.1.26)就成为（6.1.33）111,XfY如果记（6.1.34）111,Zf则非线性模型就线性化了（6.1.35）11nknnY我们可以写出这个线性回归模型的最小二乘解，也就是原非线性回归模型的第一次迭代解 11212 YZZ（6.1.36）11211 ,Xf继续这个过程，我们得到一般迭代形式 nnn fYZZ,11 （6.1.37）如果出现了 n+1= n，则意味着mnnffXffXfZ,111 7（6.1.38）0,nnXfYZ此即意味着 。同样可以分析出，极值必定是极小值。虽然我们不能保证整体最小值0S已经被发现，但总是可以通过改变迭代初值而获得不同的极小值并加以比较。这样整体最小值被遗漏的机会就大大减少了，计算程序对多元情形也有迭代步长的设置选择。在合适条件下， 的最小二乘估计 的渐近分布是正态分布，均值为 ，方差阵为（6.1.39）12Z这里（6.1.40）mnS2这样我们可以作出假设检验。关于 的渐近分布为正态的合适条件，可以从三个方面考虑。首先是残差假定。我们已经假定 i 是 i.i.d.样本，均值为 0，方差为 2，这对于保证的渐近分布为正态已经够了。其次是函数 f (Xi, )的假定。从分析过程可以看到，我们需要假定 f (Xi, )关于 Xi 是连续的，关于 有二阶连续导数。最后，由于我们使用了 Z( )Z( )及其逆，因此需要假定（6.1.41）Zn1lim存在且其极限非奇异。以渐近分布为假设检验的根据总令人不放心，因为我们不知道到底样本需要多大。可是小样本的分布特性又难以推出，因为我们只知道非线性，到底 f ()是什么具体形式又难以说定。这是困难之所在。二、非线性模型 LSE 的 Newton-Raphson 算法上一段非线性回归模型 Y=f (X, )+ 的解法，其线性化过程是取一阶 Taylor 展开，线性化结果是得到一个标准的线性回归模型，然后使用 Gauss-Newton 的最小二乘法。最后的迭代公式（6.1.42）nnXfYZ,11修正部分是一个 Gauss-Newton 最小二乘法的形式。这一段介绍的非线性回归模型的 Newton-Raphson 算法，线性化过程作的是二阶 Taylor展开，不过是对 S 而不是对 f 的展开，这样推导出来的迭代公式是（6.1.43）ndShnn118这两种算法有什么联系与区别呢?下面将予以比较分析。考虑回归模型（6.1.44）,XfY其中 E( )=0， Var( )= 2In,f ()已知。基本考虑还是取 使残差平方和最小（6.1.45）niiiXfYfS12, 现在我们考虑 S ( )的二阶 Taylor 展开：（6.1.46）1211 11dSdS由此解得（6.1.47）12111 这给我们以差分代微分的启示。在(6.1.46)两边对 求导得（6.1.48）111hdS这里（6.1.49）121为使 S( )取极小值，可令其导数为 0，则（6.1.50）0111hdS于是解的第一次迭代值（6.1.51）1212dS如果 S( )是二次函数，则上式正好是最小二乘估计。在一般非线性回归情况下，S( )当然不是二次，上式只是一个近似解。继续上述迭代过程，得（6.1.52）ndShnn11如果在迭代过程中有 n+1= n，则必有9。此时也有两个问题，一是迭代最终值 n 使 S( )取极小值还是极大值?二是如何0ndS从这些极小值中取得最小值?当 h( 1)取正值时，即 S( )的二阶导数为正，在 1 的充分小邻域里 h( 1)总是为正，此时可保证迭代过程朝 S( )的极小值方向移动。为了使迭代不致反复，同样需要引进可变的迭代步长 tn，使（6.1.53）ndShtnn 11同时在迭代开始时应检验对于初值 1 是否有 S( n+1)B(2) : 6 : Y=exp(-B(1)*X)+e 一级不可逆化学反应模型 2 B(1)B(2) : 7 : Y=(1./(B(1)-B(2)*B(1)*(exp(-B(2)*X)-exp(-B(1)*X)+e 一级不可逆化学反应模型 3 B(1)B(2) : 8: Y=1-1./(B(1)-B(2)*(B(1)*exp(-B(2)*X)-B(2)*exp(-B(1)*X)+e按回车键继续下翻 一级不可逆化学反应模型 4 B(1)=B(2) : 9 : Y=exp(-B(1)*X)+e 一级不可逆化学反应模型 5 B(1)=B(2) : 10 : Y=B(1)*X*exp(-B(1)*X)+e 一级不可逆化学反应模型 6 B(1)=B(2) : 11 : Y=1-exp(-B(1)*X)-B(2)*X*exp(-B(1)*X)+e 传导系数与温度的关系 : 12 : Y=B(1)*exp(B(2)/(X+B(3)+e 张应力, 曲应力与伸长率的关系 :13 : Y=B(1)+B(2)*X*(-B(3)+e 化学反应速度与催化剂含量, 反应物含量的关系 :14 : Y=B(1)*B(2)*X(1)/(1+B(1)*X(1)+B(2)*X(2)+e 饱和蒸气压力与温度的关系 : 15 : Y=B(1)*10*(B(2)*X/(X+B(3)+e 结冰量与温度的关系 :16 : Y=B(1)*X*(B(2)+e 按回车键继续下翻 风速与高度的关系 :1417 : Y=B(1)*alog(B(2)*X+B(3)+e 消费函数 : 18 : Y= B(1)+B(2)*X*B(3)+e BOX-COX 变换(如选此项, 需输入参数 lamda ) :19 : Y=B(1)+B(2)*(X*lamda-1)/lamda)+e Cobb-Douglas 生产函数, 二要素 :20 : Y=B(1)*(X(1)*B(2)*(X(2)*B(3)+e Cobb-Douglas 生产函数, 三要素 :21 : Y=B(1)*(X(1)*B(2)*(X(2)*B(3)*(X(3)*B(4)+e Cobb-Douglas 生产函数, 四要素 :22 : Y=B(1)*(X(1)*B(2)*(X(2)*B(3)*(X(3)*B(4)*(X(4)*B(5)+e Cobb-Douglas 生产函数, 五要素 23 : Y=B(1)*(X(1)*B(2)*(X(2)*B(3)*(X(3)*B(4)*(X(4)*B(5)*(X(5)*B(6)+e 请选择非线性回归函数形式, 请键入函数代号 （0）请键入待估参数个数 Nc, Nc=? （3）要输入迭代初值吗? 0=自动选择(均为 1.0), 1=逐个输入 （0）要打印目标函数迭代过程吗? 0=不打印, 1=要打印 （0）非线性回归函数形式是: 示例函数, Cobb-Douglas 生产函数 , 二要素, 三参数 :0 : Y=B(1)*(X(1)*B(2)*(X(2)*B(3)+e 参数回归结果是: B(1)= 1.3317B(2)= .7230B(3)= .6906残差平方和是: .5519要作回归预测吗? 键入 0=不预测, 1=要预测 （0）要打印拟合数据吗? 0=不打印, 1=打印 Y 的观测值 Y 的拟合值 差值 .2569 .3927 -.1358.1836 .1914 -.00781.2129 .9649 .2480.5226 .6914 -.1688.8479 .6615 .1864.7634 .4384 .3250.6231 .5810 .04211.0315 .9389 .0926.5695 .9414 -.3719.8825 .9938 -.1113.1088 .1369 -.0281.0264 .0911 -.064715.0038 .0064 -.0026.4616 .2976 .1640.2684 .3039 -.0355.1687 .2407 -.0720.0206 .0572 -.0366.1002 .1608 -.0606.2523 .4060 -.1537.1033 .2872 -.1839.0789 .0433 .0356.0058 .0338 -.0280.7232 .6953 .0279.7764 .6437 .1327.2165 .2668 -.0503.5412 .4526 .0886.3163 .2353 .0810.1238 .1180 .0058.3863 .3844 .0019.2794 .3407 -.0613计算结束。 -下面是本例资料图像，拟合效果相当好。圖 6.1.2.100.20.40.60.811.21.41 3 5 7 9 11 13 15 17 19 21 23 25 27 29原 始 数 据拟 合 数 据第二节 非线性强度的曲率度量与 LSE 的大样本性质16上一节我们研究了非线性回归模型参数最小二乘估计的迭代算法，这一节要介绍与曲率有关的非线性强度的度量。这方面的研究在统计领域有一定特色，大家可以看看微分几何是怎样进入数理统计领域的。我们还要介绍非线性模型 LSE 的若干大样本性质。这方面内容很多，我们择两个典型作介绍，一个是关于非线性回归模型误差方差估计的 Bootstrap 逼近，一个是关于带约束的非线性回归诊断混合模型分析。一、非线性模型非线性强度的曲率度量先介绍一些基本概念。非线性模型的向量形式是（6.2.1）,XfY其中 Y=(Y1,Yn), =( 1, n)，X=(X 1,Xp)，X 1， ,Xp 也都有 n 个观察。参数向量在这一节都记作 ， =( 1, p)。 t 独立同分布， E ( t)=0，Var ( t)= 2，t=1,，n。为讨论方便引进记号（6.2.2）nfff,1（6.2.3）Ye（6.2.4）pitfVit , ;, , （6.2.5）intfWjit ,1 ;, ,2 （6.2.6）fYffYS2上述记号中，f ( )，e ( )是向量，S ( )是数量，V( )是 np 矩阵。有趣的是 W( )，它有三个下标，它的元素可记作 Wtij，t=1,n；i,j =1,p。可以把 W( )称为三维立体阵。尽管W( )不好写出来(可以逐个断面地写出来)，但总算是能想象出来。如果是四维、五维立体阵呢? 已经不好想象了。其实采用脚标记法也就没有什么神秘了，比如 Nijkl，等等。我们也可以把 W( )理解为一个 pp 的方阵，不过方阵的每一个元素是一个 n 维向量而已。如果将模型作一阶 Taylor 展开得Yf( 0)+V( 0)( - 0)+ （6.2.7）它近似是一个线性模型。Gauss-Newton 迭代法正是从它出发计算迭代解的。线性模型的几何意义是求 n 维样本空间中一个向量(这里是 Y f ( 0)+V( 0) 0)到 p 维子空间 V( 0) 的投影，当然也可以看作是求 Y 到一个平面 f ( 0)+V( 0)( 0)的投影，使残差平方和最小。现在的问题是模型是非线性的，Y=f (X, )+ ，当样本 X 抽定后，f (X, )=f ( )是 n 维向量，随参数 而变，它就确定了一个曲面。它在 0 处有切平面(因为不一定过原点，也许不宜称作切空间)。Gauss-Newton 等算法第一次迭代也可以看作是 Y 向此切平面的投影(图6.2.1.1)。显然，如果曲面 f ( )与切平面近似程度越好，迭代效果就越好。因此我们想找到一个指针来度量曲面弯曲的程度。这自然是曲率。17曲率并不是什么陌生的概念。二维平面上曲线的曲率大家都知道，曲线在一点的曲率定义作切线方向对弧长的转动率，就是曲线在该点与曲线相切的曲率圆的半径的倒数。常用计算公式对 y=y(x)有 K=|y|(1+y 2)3/2，对参数方程 x=x(t),y=y(t)有 ，232/yxyK对三维空间曲线 r(t)=r 1(t),r2(t),r3(t)有 ，其中分子是两向量的叉积再取模3/rK长。比如对空间圆柱螺纹线 r=acost, asint, bt ,可算得（6.2.8）bta ,cosin（6.2.9）0i ,r（6.2.10）2 ,cos ,sin0sincoi atbtattabkjr 于是曲率（6.2.11）2/32batK与 t 没有关系。图 6.2.1.1懂得了空间曲线的曲率，再来谈曲面上的曲线的曲率就不难了。我们先建立几何印象再谈计算。在曲面 ：r= r(u,v)上任取一点 P，过 P 能在 上作任意多条曲线。对每一这样的曲线 P： r=r(s)，它是一条空间曲线，在 P 点应该有一个曲率。这样在曲面 上一个定点 P有无穷多个曲线曲率，太多了。我们在 P 点作曲面 的法向量 n： 。它是唯一vur确定的( 大家可以想象在地球的北极， n 是极轴) 。过 n 作任一平面与曲面 相交有一交线，Y)(f18称为法截线(即地球经线)，法截线在 P 点也应该有一曲线曲率称为法曲率。但因为法截线还是有无穷多条，所以还是太多了。幸而在微分几何里证明了，在一个固定点的法曲率中，有一个最大值，一个最小值，对应的法曲率称为主曲率。现在大家可以想象将地球压扁成椭球，经线是一些椭圆，那么在北极点，这些经线有一个最平，即曲率最小，有一个最弯，即曲率最大。总之，在曲面 上任一非脐点，有两个主曲率，称曲面的主曲率。下面谈曲面主曲率的计算。已知曲面为 ：r=r( u,v)，其上一条曲线 ：u= u(t)，v=v(t)，由于 dr=rudu+rvdv，设曲线弧长为 s，则（6.1.12）222 drddvvuu记（6.1.13）2v2rG , ,vuurFE则（6.1.14）221dd称为曲面 的第一基本齐式，而 E、F、G 称为 的第一类基本量。计算曲线弧长、曲面面积、判断曲线正交，常用第一类基本量。而在推导曲面的切平面上一点到曲面的距离时，可推出曲面的第二基本量（6.1.15）vuvu nrNnrMnrL , ,这里 ruu 是向量 r(u,v)=r 1(u,v),r2(u,v),r3(u,v)对 u 的二阶导数 ，等2321,urru等。n 是 在 P 点的法矢。L=nr uu 表示向量 n 与向量 ruu 的点积。称（6.1.16）2222 dvLdsn为曲面的第二基本齐式。由于 ds2 是第一基本齐式，故（6.2.17）12sr再由于曲线 ：r= r(s)的曲率可以表示为 ，而|n|=1，故（6.2.18）12cosK这里 是曲面法矢 n 与曲线 法矢 之间的夹角。取法截线，无外乎是使 =n，而有法曲率（6.2.19）rnn12而微分几何里证明了确定两个主曲率的方程为 0NGKMFLEnn（6.2.20）19主曲率所在法截线的切向称为主方向，微分几何还证明了，在曲面上一个非脐点，两个主方向互相垂直。剩下的事是要解释一下脐点。称满足 LM N =EFG 的点为脐点。各项均为 0 的脐点称为平点，各项均不为 0 的脐点称为圆点。曲面为平面的充要条件是它的点全部为平点，曲面为球面的充要条件是它的点全部为圆点。有了微分几何里曲面曲率的概念，再来讨论非线性模型里非线性强度的曲率度量，困难就少一些。要注意的是两件事。一是要将三维曲面概念扩展到 n 维超曲面，三维曲面主曲率概念扩展到 n 维，二是现在的 n 维曲面 f ( )也依赖于样本点 X，计算曲率时这些 X 的函数也许演变成某种参数的估计量 。其具体推算过程与微分几何类似，先在曲面上找曲线，计算曲线曲率，再求法截线曲率，最后求主曲率(最大最小法截线曲率) 。先在曲面 =f ( )上找一条线，称提升线。在参数空间中通过 0 的任一直线可以使用一元几何参数 b 表示为（6.2.21）hb0其中 , 0,h 都是 p 维向量。方向 h=(h1,hp)。这条直线通过映像 =f ( )产生解轨迹曲面上一条曲线：（6.2.22）fh0称为提升线。它在 b=0 处的切向量是（6.2.23）piitipiitbhtt nthVdbfd1010 ,1 0 提升线 ht(b)在 b=0 处的二阶导数是 pj jjiiththt dbdb1020（6.2.24）pijjit ntW1, ,如果我们想象在样本空间沿曲线 k(b)运动的一个点，在时刻 b 它正处在 h(b)，那么向量 与 的物理解释是，切向 是在 b=0 时的速度向量， 是在 b=0 时的加速度向量。h h h加速度向量可以写为三个分量， 与曲面的切平面垂直， 平行于曲线的切向量 ，Nph平行于曲面的切平面且与 垂直。所以Gh h= + + （6.2.25）hPGh右边三项分别称为法向加速度，测地加速度与切向加速度。要注意这里 h 对 b 的导数按照微分几何的习惯应该记作 等等，因为它们不是对弧长的导数。微分几何里约定是将对h,弧长的导数记作圆点。我们可以把 , 用关于弧长的导数表示出来：h20（6.2.26）dbssdbh（6.2.27）222这里的 才是微分几何里的 ， 才是微分几何里的 。这样 分解为互相垂直的两dsrdsrh项。从第二项 决不可能分离出 ，从第一项 可以计算出法截线曲率 Kn，2bNh2dbs因为(6.2.28)2222hNnnNNn dbsdsrK 前面我们已经获得 与 的分量表示式，nh， ， 。在引进向量表达式的时候，先作如下理解。piithtV1piujithtW1nt,1记向量 V=(V1,，V p)，其中每一元素 Vi 是一 n 维向量；记二维矩阵 W=(Wij)，其中每一元素Wij 是一 n 维向量。这样有（6.2.29）h（6.2.30）于是法曲率（6.2.31）22VhWKNhNn法曲率与方向 h 有关，但它与参数没有关系，所以又称固有曲率。如果对一切 h 取 的最NK大值最小值，就可以得到在该点的曲面的主曲率。在分离出 以后还有一项，记作 ， 。仿照处理法NThThNGhP,曲率，可以得到另一种曲率（6.2.32）22VWKThT由于 里至少有一项 ，它依赖于参数 b，所以 不仅与方向 h 有关，而且与参数Thdbs2Thb 有关，就称 为参数效应曲率。NhK21还可以定义各种各样的曲率，我们就不再介绍了。我们可以看到，这方面是一个有待研究的领域，问题还不少。一些曲率既为几何度量，却未建立直观的几何意义。有关文献著作的记述尚有一些值得推敲的地方。计算复杂，却未必有很好的实用性。这方面也许是非线性模型研究的难点，但不一定是重点。二、非线性模型误差方差估计的 Bootstrap 逼近赵林城(1986)研究了线性模型误差方差估计的 Bootstrap 逼近的问题，其 Bootstrap 渐近分布是正态分布。申维博士推广这些结果至非线性回归模型中，在一定条件下，得到了非线性模型误差方差估计的 Bootstrap 渐近分布亦是正态分布。下面介绍这方面的研究成果。设非线性模型（6.2.33）ntxfytt ,21 ,其中 xt 为可观测的已知向量，y t 为可观测的随机变量， t 为不可观测且有零均值和有限方差 20 的独立同分布 F 的随机误差( 2，F 未知) ， =( 1，, p)为未知参数，f 为函数形式已知的模型函数。在本段记号中， fnynyny ,11其余 f( )，V( )含义与上段相同。现在对模型(6.2.33)再作一些假定：(1) yt=f (xt, )+ t ， t=1,2,。f (xt, )是欧氏空间紧子集 上已知连续函数。 1, n,i.i.d.于分布函数 F，E 1=0，。21210arE(2)当 n 时, 在 上一致收敛到函数 Q( , )。ntttnffQ12, 且 Q( , 0)在 上存在唯一的极小值点 = 0。(3)f ( )在 上二阶导数存在且连续，向量 f ，矩阵 ，立体阵 之间的乘itfjitf2法运算都可以进行，并且 nVn,1(4)真参数 0 是 的内点，且 ( 0)是非奇异。(5)当 n 时， 在 上一致收敛到 W( , ),ittn ffW14,且 W( , 0)在 上存在唯一的极小值点 = 0。对模型(6.2.33)施行各种改进的 Gauss-Newton 迭代法，可得模型中 的最小二乘估计 。n22令 ，作 ，给 赋与nnfyn, 1 ni1nini ,1质量 ，构成所谓中心化残差的经验分布函数 。易见 。给定 y(n)后，从分布1 nF0nxd的总体中抽出 i.i.d.样本 。记 *(m)=( )，则可得一新的模型，称作加星nF *1,n *1,号模型：（6.2.34）fyn由上式得到 y*(m)后，再从形式上求它的最小二乘估计 。令*m 1* , ,mf 我们知道， 2=E( )的基于残差平方和的估计为1nn12而 可用 加以估计。2nVar1142inis及 的 Bootstrap 量分别为S（6.2.35）mimimS121*4*2*2* , 显然， 的条件分布可以通过直接计算得到。由下面的结果可知，在一定条2*2*E件下， 的条件分布近似地作为 的分布估计。m2m在本段，用 E*记在 y(n)给定时所取的条件期望。凡带*号的量的分布，均是指 y(n)给定的条件分布。为了证明的需要，引述 Banach 空间中的 Mallows 距离定义。设 B 为一可分的 Banach 空间，范数记为，D 为 B 中所有开集生成的 域。令 p= p(B)为 D 上使 X p (dX)0 为常数，则当 m,n 时，定理 6.2.1 中(1)，(3)两款可改换为：(1) 的分布弱收敛于 N(0，Var( )。2*nm21(3) / 条件分布弱收敛于 N(0，1)。mS这个定理的证明在这里略去。三、带约束的非线性回归诊断混合模型分析在这一段，我们研究带有约束的均值漂移和方差加权的混合非线性回归模型，分析其中相应的一阶和二阶诊断统计量，同时证明带约束的均值漂移非线性模型和带约束的资料删除非线性模型，它们相应的估计量相等。基本内容取材于申维博士的研究成果。我们先为引入一阶诊断统计量作理论准备。设带有线性约束的非线性回归模型（6.2.49） Antxfyttt ,21 ,其中 xt 为可观测的已知向量，y t 为可观测的随机变量， t 为不可观测且有零均值和有限方差 20 独立同分布 F 的随机误差( 2 未知) 。 =( 1, p)为未知参数，f 为函数形式已知的模型函数。A 为 pm 阶矩阵 (mp)。 为已知的 m 维向量。本段中记号 Y，f ( ),V( ),W( )的含义与本节第一段相同。其中 W( )为三维立体阵,它的每一个面为 Wt(t=1,2,n)，这是以 Wtij 为元素的 pp 阶矩阵，关于立体阵的运算可参见韦博成(1989)附录。26模型(6.2.49)可表示为向量形式（6.2.50） AIVarEfY2 ,0 ,其中 I 为单位矩阵，记 为以上模型 的最小二乘估计量。已有文献研究了均值漂移和方H差加权的混合线性回归模型，得到了相应的诊断统计量，这里我们将推广到带约束的非线性回归模型中，得到一阶和二阶诊断统计量。我们考虑均值和方差同时有扰动的混合非线性模型。（6.2.51） AVarEDfY 12 ,0 ,其中 表示一个 k 维参数向量，D nk=(di1,dik)，d ik 表示一个 n 维向量，其中第 ik 个分量为 1，其它值为零。 为正定矩阵。令 J=i 1,ik为指针集。如果 =0，则模型(6.2.51) 化为带约束的方差加权模型（6.2.52） AVarEfY12 ,0 ,如果 =I，则模型(6.2.51)化为带约束的均值漂移模型（6.2.53） IrDf2 , ,我们记模型(6.2.51)的最小二乘估计量为 ，记模型（ 6.2.52）的最小二乘估计量为JNwa.，记模型（6.2.53）的最小二乘估计量为 。JNwa. .定理 6.2.3 对于模型(6.2.51)，其 和 的一阶近似公式表示为JNwa.eVEAFAEeDFVEJHNwa 1. （6.2.54）A1eeGFI 1 （6.2.55）eDFE1其中 HfY11.11 VVVEWa271.1WaHDVF（6.2.56）.GHWa1.以上 V 与 都在 处计值。WaH.证明 将模型(6.2.51)第一式乘以 1/2 可得：（6.2.57） IVarEADfY2/12/12/2/1 ,0 记 , 00. HHwaJ2/12/12/1, DfYSwa /, /,waS2,2,wa（6.2.58）0 /12,2, WWaa其中 a,w= 1/2f( )+ 1/2D 。根据 Lagrange 乘数法，可令（6.2.59）ASwa,其中 为 m 维参数向量。对该式求导可知 和 应满足以下方程（6.2.60）bHa02,其中 ，将 在 处进行一阶展开可得