（应用数学专业论文）一列非线性模型的ls估计及非线性度量.pdf

摘要 鬯s 1 4 2 3 l 本文考虑一列非线性模型 y = ，( z ，8 ) + = x a + 风( a ) + e e n ( 0 ，盯2 l ) 其中x 为列满秩的”( p 一2 ) 设计变量矩阵，a 为p 一2 维的未知参数向量，0 = ( a l ，”，a p - 2 , 卢，a ) 7 为户维未知参数向量，g ( a ) = g ( a ，x ) 为形式已知的关于未知 数a 的非线性连续函数，e 为均值为0 的”维正态变量，y 为n 维观察向量o e ， 为p 维参数空间，孩模型与普通线性模型相较，估计难度加大，且容易推广 到一般的非线性模型。 本文首先研究了该模型回归系数基于局部线性近似的最小二乘估计，证明了 其收敛性，研究了最小二乘估计的渐近性质及迭代过程中初值的选取，具体内容见 第二章。 其次研究了该模型的曲率度量，并给出了一种新的度量非线性模型的非线性 程度的方法：局螂率，并用该方法提高了迭代收敛速度，具体内容见第三章。 最后，将本模型推广到非正态，列降秩的情形，并研究了更为一般的可分离非 线性模型的参数估计及非线性度量。 关键词：一列非线性模型，最小二乘估计，非线性度量，局部曲率 i a b s t r a c t i nt h i sp a p e r ，w ec o n s i d e rt h ep a r t l yn o n l i n e a rm o d e l y = f ( x ，0 ) + = x a + 詹( a ) + e n ( 0 ，d 2 i 。) w h e r exi saf u l l r a n k 咒( p 一2 ) d e s i g nm a t r i x 0 7 = ( a l ，一，一2 ，p ， ) a r eu n k n o w p - d i m e n s i o n a lp a r a m e t e r g ( a ) i so o n t i n u o s l y f u n t i o n ( i n c u d e x ) ，ea n dy a r e 拈1r a n d o mv e c t o r s 一 t h em e t h o do fe s t i m a t i o na n dm e a s u r e so fn o n l i n e a r i t ya r em o r ed i f f i c u l tt h a nt h e u s u a ll i n e a rm o d e l t h e s et h e o r i e sa r ee a s ye x t e n d e dt ot h eu s u a ln o n l i n e a rm o d e l f i r s t ，i nt h i sp a p e rw es t u d yt h el e a s ts q u a r e se s t i m a t o ro ft h em o d e l an e w m e t h o da b o u ta p p r o x i m a t i o ne a l u l a t ei sg i v e n ，t h ec o n v e r g e n c ei sp r o v e d w ea l s oc o n s i d e rt h ea s y m p o t o t i ep r o p e r t yo fl e a s ts q u a r ee s t i m a t o r s e c o n d t h ec u r v a t u r em e a s u r e so fn o n l i n e a r i t ya r es t u d i e da n dt h ep r o p e r t yo f l e a s ts q u a r ee s t i m a t o ra r es t u d i e db yn e ww a y s w eg i v ean e wm e t h o dt om e a s u r et h e m o d e l sn o n l i n e a r i t y a tl a s t w ee x t e n dt h em o d et ou n n o m a l 、n o n - f n l l - r a n kc a s e ，a n dd i s c u s st h ee s t i m a t ep m p e r t yo fam o r eg e n e r l i z e ds e p a r a t e dn o n l i n e a rm o d e l k e yw o r d s ：p a r t l yn o n l i n e a rm o d e l ，l e a s ts q u a r ee s t i m a t o r ，m e a r s u r e s o fn o n l i n e a r - i t y ，l o c a lc u r v a t u r e a x e x v & r x g 鲫( x ，y ) f r ( a ) “( a ) k n 一 k 1 n b i a s ( a ) 慨 z p a p t p n a + s ( 护) v ( p ) ( 口) a 7 毒( a ) r j p 符号说明付丐阢明 “定认为”或“记为” 矩阵a 与立体x 的方括号乘法 随机向量x 的均值( 期望) 随机向量x 的方差 随机向量x 与y 的协方差 方阵a 的迹 矩阵a 的列向量张成的子空间 模型固有曲率 模型参数效应曲率 模型的局部曲率 估计量a 的偏差 立体阵 z 的向量化运算 矩阵a 产生的投影阵 切空间的投影阵 法空间的投影阵 矩阵的加号逆( m o o r e p e n r o s e 逆) 二二i ie ( 日) j j2 = l iy f ( 口) l j 2 f ( 口) 的一阶导数阵n x p 阶矩阵 f ( 口) 的二阶导数阵n p x p 阶立阵 矩阵的转置 系数g ( a ) 对a 的一阶导数 单位矩阵 固有曲率立体阵 参数效应曲率立体阵 1 1 引言 第一章引言及预备知识 本文研究一列非线性模型 f y = ，( 0 ) + e = x 承+ 詹( a ) + ( 1 1 ) 一一l n ( o ，d 2 l ) 其中x 为列满秩的n ( p 一2 ) 的设计矩阵，a 为p 一2 维的未知参数向量0 7 = ( o l ， ，a p 一2 ，卢，a ) 为p 维未知参数向量g ( ) = g ( a ，z ) 为形式已知的关于未知参数 a 的非线性连续函数且含有回归变量z ，e 为均值为0 的n 维正态变量，y 为n 维 观察向量o e ，为p 维参数空间。 我们知道，在线性回归模型中出现的参数都是线性的( 此处是指模型函数， ( 口) 关于该参数的一阶导数不含有任何未知参数) 。而在非线性回归模型中至少有 一个参数是非线性的，这时对其估计量的研究及非线性的评价显得比较复杂。近 些年来，有关这方面的深入研究甚为少见。事实上，现实中严格的线性模型并不多 见，为了更好地解决实际问题，研究非线性模型是非常有意义的。对于非线性模型 的研究，通常要解决两个主要问题：( 1 ) l s 估计的求法、性质；( 2 ) 模型的非线性评 价。模型( 1 1 ) 很容易推广至更为一般的情形，如可分离非线性模型。文 3 、 2 2 、 3 53 多次提到模型( 1 1 ) ，并指出模型( 1 1 ) 中可l s 估计的求解方法是一个 值得考虑的问题，然而现在已有方法仅是高斯一牛顿迭代法或是在其基础上的变形 l ( 文 3 ) 。文 1 、 5 中研究了局部线性近似问题，但未与传统方法相比较，没有证 明其收敛性，也未涉及呈非线性参数的初始值的选取方法。文 1 ， 4 ， 5 ， 3 4 从不同的角度研究了模型( 1 1 ) 的非线性度量方法，基本上来源于传统的几何曲率 理论或偏差理论。本文在运用这些理论研究模型( 1 1 ) 的同时发现了很多不适应 的“症状”，文 3 中也提及了类似的“症状”，但未指明原因，本文试图寻找模型( 1 1 ) 的非线性度量方法，文 1 3 考察了部分非线性模型的收敛速度，本文试图寻找提 高收敛速度的迭代方法，另外文 9 ， 1 0 1 1 研究的半参数回归模型形式上与模 型( 1 1 ) 相似，关于半参数回归模型的研究目前已非常深入，但与模型( 1 i ) 相比有 相当大的差距， 1 1 中的非线性参数部分的估计理论的研究还有需多问题需要解 决，如最d x - - 乘估计的求法与渐近性质等的研究。 本文研究了模型( 1 1 ) 的最小二乘估计的基于局部线性近似的迭代法，从新盼 角度给出了渐近性质的证明，并从理论上研究了迭代初值的选取。研究了模型( 1 1 ) 的非线性度量，找到了区别于b a t e 和w a t t e 提出的固有曲率和参数效应曲率的 新的度量方法：局部曲率，并证明了其与参数变换无关，只与模型数据有关，并将模 型( 1 1 ) 的有关结果推广到更为一般的情形。本文还根据这种新的度量方法提出 了一种改进了的迭代法，提高了模型( 1 1 ) 参数l s 估计迭代过程的收敛速度。 1 2 矩阵与立体阵 定义1 1 设a 是n 阶实对称阵，o e r , 称r ( 日) = 铲，口o 为矩阵a 的 r a y l e i g h 商 r a y l e i g h 商的性质 ( 1 ) r ( 目) 是0 的连续函数 ( 2 ) r ( 口) 是0 的零次齐次函数 2 计 定理1 3 目的l s 估计序列a 。为a 的相合估计且孑；= 去s ( a ) 为a 2 的相合估 定理1 4 口的l s 估计序列a 。为渐近正态的，厶( a a ) - - n ( 0 ，0 - 2 n ( a ) ) 一般地，对式( 1 3 ) 考虑高斯一牛顿迭代法： 巩+ 1 = 馥+ v 7 ( 或) v ( 馥) 一1 v 7 ( 只) ) y f ( 哦) ( 1 7 ) 反夏迭代达指定精度即可得到近似解考虑到初值的选取及迭代收敛速度，可采取 改进了的方法如梯度法，正交梯度法，高阶渐近法等。 1 4 非线性模型的曲率度量 在求解模型( 1 2 ) 的参数估计时使用了模型函数的线性近似。其合理或拟合 程度显然强烈地依赖于模型( 1 2 ) 的非线性程度，一般地从几何特征出发，模型的 非线性强度可分为两个部分：( 1 ) 固有非线性，它取决于解轨迹在a 附近的曲率； ( 2 ) 参数效应非线性，它基于下列事实，当口有相当的增量( 即口) 时，这些口值对 应的解轨迹上的点的间距不再相等。 直线 我们借用微分几何中的曲率定义，考虑参数空间中过a 。以h 为方向的一条 l h ：口( 6 ) 20 0 + b h 通过7 = 厂( 日) 映射到r ”中解轨迹上一条曲线7 = f ( 日o + m ) 定义1 8 模型( 1 2 ) 沿 方向在处的固有曲率k 和参数效应曲率k f 分 别定义为 耐全器= 噼 砑全屿娥p 6 ( 1 8 ) ( 1 9 ) 其中n 表切平面法分量丁为其正交分量( 在切平面中) 在0 。处最大固有曲率和最大参数效应曲率 k n 竺m a x k k t = 竺呻n 簖 为了简化运算考虑v 的q r 分解 f r l 。v x p x ( q , n ) 【oj 5 。v p 。r ， 令= r ( 0 0 0 ) l = r 叫u = l 7 w l 定义1 9 模型( 1 2 ) 的固有曲率立体阵j 和参数效应曲率应体阵芦 7 = n 7 u 芦= q ， q 1 5 一列非线性模型 在生物、农业、工程、经济科学等领域中很多模型均可视为或转化为一列非线 性模型( 1 1 ) ，我们举几例以加深对( 1 ，i ) 的背景认识 例1 生长模型中较为广泛的l o g i s t i c 模型 y = 1 + e x p 量( ? 一- r x ) 经过参数变换( 同时对y 施以变换) 可转化为一列非线性模型。 例2 单层增长模型 设y 的生长极限为a ，生长速度与生长余量且一y 成正比 血d t = k ( a y ) 一 解出y 得到y = a ( 1 一卢e 一如) + e 如桔子树干的周长y 与生长天数t 的关系适用此模型 例3 渐近回归模型 y = & 一廖p + e 0 r o 总存在多项式p ( z ) = 。善n z 7 使得 。掀f f a b l g ( z ) 一户( z ) i 此引理即为数学分析中著名的魏尔斯特拉斯逼近定理 在模型( 1 1 ) 中若g ( a ) 为a 的线性函数即g ( x ) = 口+ 娃，则( 1 1 ) 可写为 y = a l z l + + a 声一2 x p 一2 + 肛+ r 6 + e ( 2 3 ) 其中r = 陬，a 与b 均为x 的函数，( 2 3 ) 显然是一线性模型其求解方法文 2 6 已 圆满解决，若g ( ) 是非线性函数，总可以找到多项式户( a ) 来代替g ( a ) 考虑到现 实中非线性模型的固有非线性均较弱( 见 3 ， 2 2 i ) 式的前两项代替g ( a ) g ( a ) g ( a ) + ( a 一 o ) 毒( a o ) 则模型( 1 1 ) 近似为 y - - x & + 摩( a o ) + , - g ( a o ) + = f ( 口) + 其中r = 口( a 一 o ) 口7 = ( a l ，a p - 2 ，卢， ) 令s ( o ) = | | y f ( 口) 1 2 我们利用g ( a ) 的幂级数展开 ( 2 4 ) ( 2 5 ) ( 2 6 ) s o ( 口) = | | y 一，( 日o ) | | 2 = | | y 一( x a + 詹( a o ) + 舌( a o ) i 2 a ( 0 0 ) = ( x ，g ( a o ) ，鸯( a o ) ) 因g ( a ) 中含有x 中的元素，我们不妨假定nx p 阶矩阵a ( 口) 为列满秩( 列降秩情 形将在第四章中讨论) 、 于是模型( 1 1 ) 可进一步写为 y - - f ( 日o ) + a ( 日o ) ( 口一日o ) 十e ( 2 7 ) 其中( 口7 0 = ( a 1 i 一，0 p - 2 ，j 臼，2 0 ) ，此处实际上只需给定a o 的初值。显然，对模 型( 1 1 ) ，其解轨迹在口。处的切空间f o 由矩阵a ( 口o ) 的列向量a ( 0 0 ) 生成 引理2 2 模型( 1 1 ) 中若模型函数，( a ) 在上关于口存在一阶连续编导数 且口的最小二乘估计a 存在，则残差向量；= y 一，( a ) 在a 处重直于该点的切空 间，从而a ( 目) 的各列均与；垂直 证明因a 是方程( 1 4 ) 的解即s ( a ) 2 口i n f s ( 目) 故。= 群k 壹 m 叫百，掣u = 一2 ；7 配( 口) 从而0 = 一2 e a i ( a ) ，即；与a ( a ) 的各列垂直 其中u ( a ) ，a ，( a ) 表示矩阵n ( ，a ( 9 ) 的第i 列 s ( 口) = ： y t 一 ( 日) 2 下面我们考虑模型( 1 1 ) 中l s 估计的近似解法 由模型( 2 5 ) ，该模型参数8 的l s 估计为 a = ( a ，a ) 一1 向= ( a 7 0 ，口o ，；- o ) ( 2 8 ) 其中只给定 的初值；l o ，而a 7 0 = ( a 1 ，0 ，一2 0 ) j 。确+ 爰 ( 2 9 ) 以i o 取代( 2 5 ) 中的 o ，再由式( 2 8 ) 得 d 1 = ( y l ，声7 l ，；1 ) 考虑迭代式a t + 1 2 a i + 象 ( 2 l o ) 利用( 2 8 ) 逐步迭代，直到j i8 i + 。一馥0 或0a ；+ 1 一a ；l i 小到指定正数占即可 得到模型( 1 1 ) 的近似解 特别地，若g ( z ) = ( a ) z 2 ( x ) 即参数与回归变量x l 可分离，并进一步假定 口= l 则模型( 1 1 ) 可化为 f y = x a + ( a ) 厂2 ( x 1 ) + ( 2 1 1 ) 【- - n ( o ，口2 j 。) 令m = ( x ，2 ( x 1 ) ) 。 则口= ( ，1 ( a ) ) 的精确的l s 估计为 a = ( m m ) 。1 m y 从而得到a l ，- 一，a p _ 2 的线性最小二乘估计，他们是无偏的、正态的、并在所有线 性无偏估计中具有最小方差， ( i ) 为厂l ( a ) 的无偏估计且服从正态分布，又因 - 1 2 n ( o ，d 2 1 。) 故a 亦为( 2 1 ) 的极大似然估计，从而a 的极大似然估计为 j = ，i 1 ( a ) ( 2 - 1 2 ) 事实上，许多一列非线性模型均可经由参数变换化为( 2 1 1 ) ，此时得到的l s 估计显然优于由模型( 1 2 ) 得到的近似解 下面我们证明该方法的迭代解收敛于模型( 1 1 ) l 攀j i d x = 乘估计 定理2 1 设模型( 1 1 ) 中( 口) 在岛某邻域内有二阶连续导数 均为列满秩矩阵则有 i s ( 0 ) 一s o ( 0 ) f = o p ( f f0 0 0f f2 ) 证明： 帮= 一癣m 叫刚掣卜2 e ；( o ) v ( o ) 一一一 帮= 一碡盼舢，哿+ 嚏獬掣 = 一2 e7 ( 口) 眠i ( 口) + 2 7 ( 0 ) ( 日) v ( 口) ，a ( o ) ( 2 1 3 ) 其中v ( 8 ) 为立阵阵w ( 日) 每面中的元构成的向量，从而有 鲫) = 掣= 一2 州班( 口) s ( 护) = 2 y 7 ( 口) v ( o ) 一2 f7 ( 口) ( 目) 其中 x y 表示立体阵方括号乘法( 定义( 1 5 ) ) 考虑s ( 口) 在o o 点的二阶展开 s ( o ) = s ( o o ) 一2 e 7 ( 0 0 ) v ( 0 ) ( 日一0 0 ) 一( 口一0 0 ) 7 v 7 ( 口o ) v ( 0 ) ( 0 0 0 ) 一( 0 0 0 ) e7 ( 口o ) w ( o o ) ( 口一日o ) + r08 一日oi | 2 ( 2 1 4 ) 其中r 一0( 当日一日。时) 由于s o ( o ) = j jy 厶( 口) 一a ( ) ( 8 一o o ) l j 2 = s ( o o ) 一2 e7 ( 如) a ( 如) ( 0 0 0 ) + ( 0 0 0 ) ，a7 ( 0 0 ) a ( 岛) ( 0 0 0 ) 1 3 故 s ( 日) 一s o ( 口) l = 1 ( 0 0 0 ) 7 b ( 日一日o ) + 2 e 7 ( 0 0 ) ( v ( 0 0 ) 一a ( o o ) ) ( d 一0 0 ) + ( 日一0 0 ) 7 c ( 口一口o ) j + o ( j lp 一日o | i ) 2 其中b = e 7 ( 目o ) w ( 目o ) c = v 7 ( 口o ) v ( 口) 一a7 ( 0 0 ) a ( 0 0 ) 均为对称阵 设a l ( b ) ，a 2 ( c ) 分别为矩阵b 与c 的绝对值最大的特征根 。 由定理1 1 有 业借酱掣州b ) 一一 监群踹掣以c ， 由式( 2 1 4 ) 及引理2 2 知式( 2 1 3 ) 成立 定理2 1 说明在充分小的范围内s 0 ( 口) 与s ( 口) 可以任意接近，因此可以预料 由( 2 8 ) ，( 2 9 ) ，( 2 1 0 ) 所得到的迭代解收敛于模型( 1 1 ) 的最小二乘估计a 事实上j e n r i c h 在 6 中研究一般非线性模型y = f ( x ，日) + e 时曾证明了这样 的结论：若初值取自真参数某邻域内一点，则高斯一牛顿迭代法求得的近似解必然 收敛到口的最小二乘估计a ，注意到本文中的定理2 1 ，可知此节给出的迭代法( 2 8 2 1 0 ) 得到的解必然收敛到模型( 1 1 ) 的最小二乘估计舀由此我们有 定理2 2 设模型( 1 1 ) 中的参数空间为r p 上的紧子集，( 口) 关于口在 上存在四阶连续偏导数，且满足1 2 中的正则条件i 一及 ( v ) 戛丢壹掣锱= 岛 + o 。 一t-盂_。l，纠耋f瓣osf,(o)j12 = ( 口) + 。 ( 此处实意是上极限存在) ( ) 当n 一。时，( ，：) = 景耋五一工，j 2 - = 丢( 乃，) 7 ( 力：) = o ( 1 ) 其中 正，= 端 j 表示指标集 i 为指标集中指标的个数 则由( 2 8 ) ，( 2 9 ) ，( 2 1 0 ) 得到的解收敛于模型( 1 1 ) 的最小二乘估计。 定理2 1 说明用s o ( 口) 近似s ( o ) 只能达到l io o oj | 的一阶，不可能达到二 阶，从理论上讲为求s ( 8 ) 的极小值点，可以不取s o ( e ) i 而i 对g ( ) 进行更高阶的近 似如二阶近似g ( a ) = g ( a o ) + 孝( a o ) ( a a o ) + 告蕾( a o ) ( a a o ) 2 ，再采用类似( 2 8 ) ，( 2 9 ) ，( 2 1 0 ) 的方法，显然此时收敛速度达到了二阶，但这时计算是相应增大 事实上若采用近似表达式 y = x a + 3 ( a + b a 七以2 ) 十e ( 2 1 5 ) 令s ( 0 ) = i | y x a + f l ( a + 锨+ d 2 ) l f 2 求解方程组掣= o ，显然可得到公式解( 因为方程的阶数只到3 阶) 值得指出的是，由引理2 1 ，总可以找到一个多项式p ( ) 来代替g ( a ) ，从而 ( 1 1 ) 4 9 为 f y = x a + 励( a ) + i e n ( 0 ，0 2 j 。) ( 2 1 6 ) 采用类似的方法( 2 1 6 ) 的l s 估计是容易求出的，在p ( a ) 的次数不高的情况 下，甚至可以得到精确解而不必迭代即使p ( a ) 的次数较高，需要迭代，也只需要 给出 的初值即可 为了给出较好的a 的初始值，我们可寻求用伯恩斯坦各项式 蹦a ) = 盏g 侩) 国k ( 1 一胪_ ( 2 1 7 ) 1 5 代人模型( 1 1 ) ，通过参数变换可将( 1 1 ) 转为线性模型，运用 2 6 中的方法即可得 到a ，f l , a 的估计，以此估计中的 值作为本节迭代过程中 的初始值即可，而这在 计算机相关软件中是很易实现的我们知道，选取一个好的初值比寻找好的迭代方 法更重要 当然g ( a ) 也可由幂级数展开至月次多项式，( 2 1 4 ) j 吝”= 1 的情形， 2 2 一列非线性模型l s 估计的性质 定理( 2 2 ) 说明上节得到的模型( 1 1 ) 的解收敛于( 1 1 ) 的最小二乘估计a ，但 a 的性质如相合性，无偏性等究竟如何? 显然它们不再是具备有线性模型l s 估计 的优良眭质如无偏性，正态性，最小方差性( 在指定类中) 等由2 2 的结尾部分及定 理2 1 可知可用一个与g ( z ) 极为接近的多项式代替( 1 1 ) 而成为( 2 1 6 ) ，此时通 过参数变换，( 2 1 6 ) 可视为线性模型，从而得到的a 1 一，o p 一2 ，p 的l s 估计具有正 态性、最小方差性等优引性质，同时得到地0 = 做的估计a 也为正态的，估计a 与声 均为正态的，从而也可求出j 的精确分布由此可充分说明，a l 一，a 。一2 ，卢的估计 ( 按2 2 中的近似方法所得) 的收敛值a ，具有渐近无偏，渐近正态等性质 一 下面将( 1 1 ) 视为普通非线性模型，研究其最小二乘估计的渐近性质 引理2 3 若实数序列( 口f ) ( 产1 ，2 ，) 满足条件 一u m i 。壹口2 - a o 0 只要n 充分大必存在m 使得 p | 去c 删l m t 一 p 旧l 蔷 - 一专 故p f 去( a ，e ) 矗i 占净户 ( i 去( n 钏 m ) n ( 蔷) 1 p 1 - - - 1 ( n e ) i m t + p 旧i ，故0 = 口o 由0 2 一目。可知，巩一口o ，由( 2 2 3 ) 式有 l 。s ( o 。) - - ，d ( o 。，0 0 ) = 盯2 定理2 4 模型( 1 1 ) 中0 的l 5 估计量a 。为渐近正态的，且有以下关系式成 寺： ( a 。一o o ) 翱( o ，一2 d 1 ( 8 0 ) ) i n o 。) a 。一0 0 = v 7 ( 0 0 ) v ( o o ) 。v ，( 8 0 ) + 丸 其中 i a 。一o ( n o o ) 证明：利用引理2 2 的证明过程中的方法将s ( 巩) 展开： g ( o 。) = s ( o o ) + s ( o o ) ( a 。一o o ) + r a o = 0 ( 因a 。为g ( o ) = o 的解 1 8 ( 2 2 4 ) ( 2 2 5 ) 其中a 0 = a 。一目o ，当口一0 时，r o ，由定理2 1 的证明过程有 一v 7 ( 口o ) p ( 0 0 ) + v 7 ( 口o ) y ( 目o ) 一 p7 ( 目o ) ( o o ) a 6 + n 街2 0 而e ( 口o ) = e ，故 日= v 7 ( 口o ) v ( 口o ) 一1 v ( 口o ) e + 丑。 其中a 。= v 7 ( 口o ) v ( o o ) 。 ， w ( o o ) , o 一枷 = 丢v 7 ( 口。) y ( 日。) 一1 音 s ( 如) 日一丢r 日 a 。= 丢v ，( y ( 1 志 s ， ( 如) 出一去蒯 当n 一。时，扣加从而 占，口o ( 。- o 。) ，” 一一 一一一 而w ( o o ) 为五的二阶导数阵，由条件及引理2 4 ，有 告( 口。) 凹一o 、( 雄一。) ， 7 1 e7 v 矿( 口o ) 日- o ( n - - - o o ) 由条件( i i i ) 昙v 7 ( 岛) b ( 岛) 一1 一n 一1 ( 口。) ( ”一一) 从而 砜枷( 2 2 5 ) 式得证 顺 瓴喝) i 丢y 7 ( o o ) v ( o o ) 叫半+ 佩 由条件( i i i ) 及引理2 3 得一 旦掣生+ n ( o ，n ( 氏) 盯2 ) ( n 。) 2 2 4 式得证 推论2 1 模型( 1 1 ) 的l s 估计a 。是渐近无偏的 证明：显然有e ( 瓦一日。) = o ( n - 1 ) 从而e ( o ，一o o ) 一0 推论2 2 模型( 1 1 ) 中v a r ( a ) 一 v 7 ( 口o ) v ( 0 0 ) 一1 口2 ( n 一。) 证明：利用2 2 5 式及2 2 4 式 ( a ) = ( a 。一口o ) = v 7 ( 日o ) v ( o o ) 一1 口2 + o ( ”一2 ) 故结论成立 2 0 第三章一列非线性模型的非线性度量 3 1 一列非线性模型的曲率度量 目前对非线性模型( 1 2 ) 的处理几乎全部基于对f ( o ) l 鬟j 线性近似，但一旦模 型选定或获得了模型数据，模型的“非线性”成分便已固定，若这些成份相当“强”， 对模型采用线性近似是极为不合理的，故如何衡量一个非线性模型的非线性程度一 是一个热门话题，也是一个急需解决的问题。 非线性回归模型与线性回归模型的不同之点在于前者参数的l s 估计量是有 偏的，非正态的，且其示差比可能的最小方差要大，至于偏差的幅度，非正态的程 度，“超出”方差界的多少将因模型而异，而且差别很大。当然，当样本容量不断增 大时，l s 估计量的性质越来越接近于线性。b 阳z ( 1 9 6 0 ) 首先认真研究了非线性的 度量问题，且提出一个估计l s 估计量的偏差的公式文 2 ，b a t e 和w a t t e 根据几 何上的曲率概念发展了一套度量非线性的强度的新方法( 文 2 3 ) ，他们指出：模 型的非线性可分为两部分：( 1 ) 固有非线性，它取决于解轨迹的曲率，( 2 ) 参数效应 非线性，它其于下列事实，参数线在解轨迹的切平面上的投影一般不是直线，不互 相平行，参数线间也不是等距的( 文 2 2 ) 。此处参数线是指参数空间的参数直线 映射到期望曲面中的曲线。他们还指出了3 e a l ( 1 9 6 0 ) 的度量与他们的度量间的关 系：实际上b e l l ( 1 9 6 0 ) 的度量相当于参数效应非线性度量。 2 、 3 、 2 2 中进一 步提出了曲率立体阵概念，并指出非参数模型的统计性质几乎完全取决于曲率立 2 1 体阵，从而可进一步研究l s 估计的渐进无偏( 偏差) 、方差信息损失等，本章运用这 些理论给出了模型( 1 1 ) 的非线性度量相关结论，但同时发现运用b a t e 和w a t t e 定 义的曲率理论在某些情形有很大缺陷如文 2 中实例模型：热敏元件电阻与温度 关系的模型计算出的参数效应非线性强度的曲率度量很显著，但模拟研究结果却 指出该模型接近线性性态， 3 中f i l l e r c r e a s y 模型也同样有矛盾现象，基于此， 本章提出了一种新的曲率度量，解决了类似 2 3 中遇到的“矛盾现象”问题，特别 是本文的一列非线性模型的绝大部分参数都量线性的，我们最为关心的只是“一列 非线性模型”中不呈线性的那一个参数，首先我们给出如下定义。 定义3 1 非线性模型( 1 2 ) 的l s 估计量a 的偏差 b i a s ( a ) 金e ( 0 一a ) ( 3 1 ) 定义3 2 模型( 1 2 ) 的l s 估计量a 的信息损失定义为 ，( a ) 金_ ，( y ) 一j ( o )( 3 2 ) 其中j ( y ) 和j ( a ) 分别表示观察值y 以及估计量d 所包含的关于参数0 的f i s h e r 信息 考虑模型( 1 1 ) 记v = v = ( 掣泸) _ 趾，詹 ( 3 3 ) h ，n j = 1 ，- “，p 毒= 掣 又记v = ( v l ，v 2 )v 1 = ( x l ，一2 ，g ( a ) ) ，n = 鹰( a ) w = g r ( 0 h 驾铲) 一 o0 0 ： o 毒( a ) 0 鸯( ) 障( a ) 2 2 ( 3 4 ) 川，川一_ 1 ，p 鼬) = 掣 此处w 为n p p 立体阵，它的每一面为对称阵，且此对称阵只有三个非零 元素：一1 p = ，p i = 毒( ) ，嘞= 詹( a ) 记口= f ( 口)( 3 5 ) o 的l s 估计为a 定理3 1 模型( 1 1 ) 的最大固有曲率 k n ：丁丽1 崤坠珧丽 ( 3 6 ) “ | jp j | j j ( j p 1 ) 毒( a ) j j 2 、。0 7 其中矿( a ) 表示向量罾( ) 的法分量。j 为单位矩阵 p 1 为矿t 生成的投影阵，a 与卢在其l s 估计值处计值，口 证明：给定方向向量h = ( h l ，一，h 。) 7 由( 3 4 ) 式 赫= h w h = 2 h p 一1 矗瘩( ) + 肛罾( r ) 它可分解为三个分量，垂直于切平面的法分量矿与在切平面上平行于切方向 稚及垂直于切方向的分量搬和谚( 这二者构成了切分量掘) 即 孙= 秽+ 谚= 秽+ 谚+ 猫( 3 7 ) 由于毒( a ) 属于切空间，因此有 谚= 2 h p 1 j l 瘩( a ) + 庳蕊) 彬= 摩戮) 由定义i 8 磷= 群= 崤掣 即 磷= 地掣v凡y ，2 3 ( 3 8 ) 令唧：( o ，o ，1 ) 侧科= 恻刈一( 川l 篾蠕 令v 7 v = a 2 ，于是有 娅一 ! 堂2 ：! 垒：立壁 v 7 v h ，a 2 ，z ( ，( 垒丝! 垒2 堕4 ：! 生2 、 ，a 2 = 8 0 ( v 7 v ) 叫e p 上式当a h = a 一1 e p 即 = a 一2 e p 时达最大值，由定义1 8 故有 k n = 恻i l ( a ) i l ( e7 p ( v 7 v ) - 1 ) = 恻i l ( a ) i ic ； c i 为( v 7 v ) 。右下角的元素 令v = ( v - ，v 2 ) ，由分块矩阵求逆公式得 c ；2 = | ；9 2l | ( 卜- p 1 ) 童( a ) i l 2 ( 3 9 ) 耻而柑 口 我们没有给出定义1 8 中的非参数效应曲率k 是因为下一节的研究结果表 明此时的k f 不能很好地描述模型( 1 1 ) 的非线性程度。另外由式( 3 8 ) 我们发现 k 搿取决于罾( a ) ，若g ( a ) 关于a 的二阶导数为o ，则模型的固有曲率为0 。 如g ( a ) = a + 醵，则非线性项詹( a ) = 陋+ 陬6 令新参数= 艘，则模型( 1 1 ) 化为线性模型，必有磷= 0 ，当然若g ( a ) 与人无关，由该定理的证明过程可知 砑= k n 。= 0 以下讨论模型( 1 1 ) 的固有曲率立体阵( 定义1 9 ) 定理3 2 一列非线性模型( 1 1 ) 的固有曲率立体阵 f00 i = ： l0 阳韬n ( ) n p p p 其中每面只有一个非零元素一l p t , = 阳暂( i ) ，c 刍由( 3 9 ) 式规定 证：对v 进行q r 分解 f r v = ( q ，n ) 11 = q r( 3 1 0 ) ”9 【0j h xpp xp 其中q 和n 的列向量为标准正交基，分别为p 列和n p 列，r 为非退化上 三角阵整个正交化过程相当于对参数进行一个变换 = r ( o 一0 0 ) 0 = 0 0 + l l 2 r 一! 一 一 q 的列向是就是切空间关于新坐标中的一组标准正交基 由_ = 口( ) = f ( o o + p ) 我们有匆= 舅筹= v l = q ( 3 1 1 ) 定义瞧嘉= l 7 w l( 3 1 2 ) 从而u = 00 0 西( t t ) 0 西( i ) 塘( i ) + 西( i ) 其中口= l p - 】 p l 。o p 、 b = 2 l p 一1 ，p 一1 l p ，p 。 c = l ；，p k 为l 的元素，由于宣( j ) 属切空间( 由t h 3 1 证明过程) 故j = n ， u 中只有一个非零元素 易，= c n 耆( j ) ，其他l = o ( n 7 为n 的转置) 2 s 其中了。表示立体阵i 在i 行，j 列处的( ”一户) 维向量 又此处l j p 为l 7 l 的右下角元素，l l = ( w ) - 1 ( n 7 v ) - 1 ( 由3 1 0 及3 1 1 ) 从而l ；，p 是矩阵( v 7 、，) 一1 的右下角元系c ；( 式3 9 ) ，实际上，定理3 1 与定 理3 2 的结论是一致的。 由文 3 知，h 方向的固有曲率 k = l l 锄| | = ；i p | 1 ln 耆( a ) i i = 2 ，2 p 恻l i 一( j ) | | 其中h 。= 1 时，k 弘达最大值因而有 k = c ；恻f f ( j ) f i 与t h 3 1 一致，但方法更直接些。 一 我们将在下一节给出具体实例计算固有曲率与固有曲率立体阵 同理可得如下定理 、 。 定理3 3 一列非线性模型( 1 1 ) 的参数效应曲率立体阵 f 0 0 肚【oc 秘丁p 户 1 3 从而由文 3 及定义3 1 知a 的偏差 一 b i a s ( o ) = 一扛r _ ( 3 1 4 ) 其中打 是p 维向量( f 炉l 一，一) = c 纨7 ( i ) - 它说明估计量的偏差仅与参数效应曲率有关 下面考察模型( 1 1 ) 的方差v a r ( o ) 令= 可露( 3 1 5 ) 睇= 未。笔e ，o 。= ( 巧历荔) ( 3 1 0 ) 其中z ，只表立曲率立体阵7 ，f 的第t 面，耳。表示f 在( 女，z ) 处的p 维向 记e = ( o ，0 ，1 ) 7a = l q 耆( a ) = ( v 7 v ) 叫v 罾( a ) 并令模型( 1 1 ) 中卢l ( 若p = 1 只是形式复杂些) 在上述规定下，我们有 定理3 4r ( a ) ：d 2 ( v 7 v ) 一l + d 2 c 刍一ll | p 詹( a ) t l2 k l7 + 鲁4 c 备一1 袄 ( 3 1 7 ) 其中p n = n ( n n ) - 1 n 7 为投影阵，v 在a 处计值 证明：此时 v ( o ) = ( z 1 ，一，印一2 ，鸯( a ) i 一一一 f 00 w ( 口) = 1 【0 罾( a ) j ， 对y 进行q r 分解，沿用定理3 2 中使用的符号 y = ( 。0l ；一。二。罾。， = 。0c ；一：。，【l ；一- 户一t 罾( a ) j【c ；一t 罾( a ) j 它只有一个非零向量一l ，p 一1 = c ；一l 罾( a ) ，c ；一l 为l l = ( y 7 v ) 1 的右下 角元素从而 f 0 0 1 i = f l， 1 0c j 一。( i ) j ：f 0 0 1f 0 0 1 肛1 0c “张a ) j _ | 0c 2 _ l 吲a ) jlc ；一- 矿( a ) jlc ；一。q 罾( a ) j 由( 3 1 5 ) 及( 3 1 6 ) f 0 0 1 即l oc “j i 赡旷j v = c ；一 q 罾( a ) q 罾( a ) 7 从而有 l v l l7 = c j l | ip 遁( i ) | 12 如，l 7 l 耻7 = 吾c ；一。“ 代人3 1 4 v a r o = d 2 ( v 7 v ) 一1 + d 4 c ；一1l ip 霸l 2 k ，l7 + 号c ；一l 舐， 下面我们考察模型( 1 1 ) 的信息损失a j ( o ) 引理3 1 模型( 1 2 ) 中l s 估计口的信息损失可由原样本的信。g j ( y ) 和固 有曲率立体阵了表示为 a j ( a ) = 0 4 j ( y ) ( l l7 ) ，( y ) + 0 ( ”一1 ) 证明参阅文 3 、 一 引理3 20 的方差距阵和信息损失有如下关系： v a ，( a ) ：，一1 ( y ) + ，一1 ( y ) a l ( o ) j 一1 ( y ) + 盯4 l v f l ， 证明参阅文 3 在与定理3 4 相同的条件下我们有 定理3 5 模型( 1 1 ) 在舟= 1 时有 j ( 净) = c ：一l8p _ n 蕾( i ) | | 2 7 + 0 ( n 一1 ) ( 3 1 8 ) 证：根据定理3 4 证明过程中的的表达式有 z x j ( a ) = c j ll i 聪( i ) 1 l2 r e e r + 0 ( n 1 ) ( 3 1 8 ) 设r 的右下角元素为r p t ，p t ( l = r - 1 ) ，则r p q ，p 1 = l i ! l ，p 叫 故 c ；一1 r 么，r = l 4 一i ，p l r ；一l 。p l 7 = l ；一1 p l e e = c ；一1 韶7 从而乃= c ；一1 p ni | 西i j2 7 + o ( n - 1 ) 口 2 只 3 3