（概率论与数理统计专业论文）固定设计下半参数回归模型估计的r阶平均相合性.pdf

华中科技大学硕士学位论文 摘要 由于半参数回归模型有着广泛的应用背景，因而近十几年受到人们极大的关注， 本文将对半参数回归模型的研究做进一步的讨论考虑如下半参数回归模型： ) ， 时= 毫帕+ g ( 0 町) + 0 ，i = 1 ，2 ，胆 ( 1 ) 其中，胄，0 ”) 仨r ，f ，0 ”) 是已知设计点列，是未知参数，g 是紧集一上的未 知函数，0 。) 是均值为零的随机误差对于模型( 1 ) 的背景知识应用比较广泛，由于它 既含有参数分量，又含有非参数分量，所以它比经典的线性或非参数回归模型更具 有灵活性和解释能力。对于该模型假设误差为独立情况下已有许多相当深刻的结果， 由于在许多实际应用中假设误差为独立是不大合适的，因而考虑误差为相依情况下 的模型( 1 ) 是很有意义的本文主要对误差为不同相依情形固定设计的模型( 1 ) 估计的，阶平均相合性进行了讨论，在总结前人工作的基础上，进行了推广。尸刁 半参数回归模型从理论上来说是一种特殊的回归模型，论文首先简要地介绍了 经典的线性回归模型和非线性回归模型的基本知识，进而概述了半参数回归模型及 相合性、权函数估计等相关知识，最后把研究工作集中在讨论半参数回归模型估计 的r 阶平均相合性上。当误差分别为r m i x i n g a l e 序列和n a 序列对，我们对前人的 工作进行了总结，给出了模型估计的，阶平均相合性必须要满足的条件及主要结果， 在此基础上我们把误差分别推广为鞅差序列、局部广义g a u s s 序列、p 混合序列相依 f 情形时对模型乓 善。我们得到了估计量的r 阶平均相合性对模型分别在误差为不同相 依情形下所要满足的条件进行了讨论，并在理论上给予了严格的证明，得到一系列 平行的结果。 关键词：平均相合性半参数回归模型p 混合局部广义g a u s s 序列 华中科技大学硕士学位论文 a b s t r a c t t h er e c e n td e c a d e s ，t h es t u d yo nt h es e m i p a r a m e t r i c r e g r e s s i o nm o d e l h a sb e e n b e i n g p a i e dc l o s ea t t e n t i o nt o ，b e c a u s eo f t h em o d e l sh a v i n ge x t e n s i v ea p p l i c a t i o nb a c k g r o u n d a n d p r o s p e c ta n dh a v i n gm u c h m o r et h e o r e t i c a ls i g n i f i c a n c e t h u s ，i nt h i st h e s i s ，t h ew o r k i st og oas t e pf u 曲e ro nt h es t u d yo f s e m i p a r a m e t r i cr e g r e s s i o nm o d e l c o n s i d e rt h ef o l l o w i n gs e m i p a r a m e t r i cm o d e l ： 一帕= 0 呻+ g ( ，f 砷) + 4 ，i = 1 ，2 ，行 ( 1 ) w h e r e ，r ，砷r ，( ，帕) a r e t h ek n o w nd e s i g n e d p o i n ts e r i e s ，i s t h e u n k n o w n p a r a m e t e r ，g i st h eu n k n o w nf u n c t i o no nc o m p a c ts e ta ，a n d 毋) a r er a n d o m e r r o rw i t hz e r om e a n t h em o d e l ( 1 ) h a sq u i t ee x t e n s i v e a p p l i c a t i o nb a c k g r o u n d k n o w l e d g e ，w i t h n o to n l yp a r a m e t r i ce l e m e n t sb u t n o n p a m m e t r i ce l e m e n t s ，s oi th a sm u c h m o r ef l e x i b i l i t yo fa p p l i c a t i o na n da b i l i t yo ft h e o r e t i c a l e x p l a n a t i o nt h a nt h ec l a s s i c a l l i n e a ro rn o n p a r a m e t r i c r e g r e s s i o nm o d e l u n d e r t h ea s s u m p t i o nt h a tt h er a n d o me r r o r sa r e i n d e p e n d e n t ，m a n yd e e pa c h i e v e m e n t sh a v eb e e no b t a i n e di np r e v i o u sl i t e r a t u r e b u ti n m a n yp r a c t i c a l c i r c u m s t a n c e st h ei n d e p e n d e n ta s s u m p t i o nh a v i n gb e e np r o v e dt ob c i n a p p r o p r i a t e ，t h u s ，i ti ss i g n i f i c a n tt oc o n s i d e rt h em o d e l ( 1 ) b ya s s u m i n gd e p e n d e n t r a n d o me r r o r a s s u m i n gt h er a n d o me r r o rh a v i n gd i f f e r e n t d e p e n d e n ts i t u a t i o n s ，t h i st h e s i s i sm a i n l yt os t u d yt h er - t h m e a n c o n s i s t e n c yo f t h ee s t i m a t eo f m o d e l ( 1 ) ，a n dg e t ss o m e g e n e r a l i z a t i o nb ys u m m i n gu p t h e p r e v i o u sw o r k f i r s t l y , w ec o n c i s e l yi n t r o d u c et h eb a s i ck n o w l e d g eo f l i n e a ra n dn o n l i n e a r r e g r e s s i v e m o d e l ；f u r t h e r l n o r e ，s u m m a r i z et h er e l a t e dr e s u l t so fs e m i p a r a m e t r i cr e g r e s s i v em o d e l ， c o n s i s t e n ta n de s t i m a t eo fw e i g h tf u n c t i o ne t c ；t h e nw em a i n l yd i s c u s st h er - t h m e a n c o n s i s t e n c yo fe s t i m a t eo fs e m i p a r a m e t r i cr e g r e s s i v em o d e l w h e nt h er a n d o me r r o ro f m o d e l ( 1 ) a r e 1 5 一肌打f ，唧f es e q u e n c e a n dn a s e q u e n c e ，w er e v i e w t h ep r e v i o u sw o r k i i 华中科技大学硕士学位论文 r e s p e c t i v e l y , a n do b t a i ns o m e c o n d i t i o n sa n di m p o r t a n tr e s u l t so f t h er - t h m e a n c o n s i s t e n c y o ft h ee s t i m a t e m o r e o v e r , b ya s s u m i n gt h er a n d o me r r o ra r em a r t i n g a l ed i f f e r e n c e s e q u e n c e ，l o c a lg e n e r a l i z e d g a u s ss e q u e n c eo r 妒r n i x e ds e q u e n c e ，w eg e tt h er - t h m e a n c o n s i s t e n c yo f t h ee s t i m a t eo fm o d e l ( 1 ) ，a n ds h o wt h a ts o m ec o n d i t i o n so fw h i c ht h e m o d e lc o u l df i tu n d e rd i f f e r e n ta s s u m p t i o n so ft h er a n d o me r r o r ，a n dy i e l ds o m ep a r a l l e l r e s u l t s k e y w o r d s ：r - t h m c a nc o n s i s t e n c ys e m i p a r a m e t r i cr e g r e s s i o nm o d e l i i i 华中科技大学硕士学位论文 1 绪论 1 1 半参数回归模型研究的历史与现状 近十几年来，半参数回归模型受到了广泛的关注，由于该模型既含有参数分量 又含有非参数分量，因而它比经典的线性或者非参数回归模型更具有灵活性和适用 性。对于半参数回归模型在文献中已有许多工作研究了托，f s n ) 是独立同分布或者 独立不同分布的情况。s c h i c k l 9 】得到了的渐近有效估计。当( ，) 是随机误差时， 王国c 拥册【1 0 采用偏样条建立了的估计的渐近正态性。c h p ，l 【“1 使用分段多项式光滑 考察了( 葺，) 是随机变量时的估计的渐近正态性和g ( t ) 的估计的收敛速度。在 ( ，) 是固定和随机设计两种情况下，商集体和赵林城【1 2 】【1 3 1 分别采用核和近邻方法 建立了的自适应估计并且得到了它们的最优收敛速度。 由于在许多实际情况应用中假设误差是独立的是不太合适的，所以考虑误差是 相依情形下的半参数模型是有意义的对于此种情况下的非参数回归模型， r o u s s a s 1 4 l 证明了误差是口一混合时，g ( ，) 的估计是渐近正态的。l l 面t r a n ! ”1 则得到了 误差是线性时间序列时g ( t ) 的估计的渐近正态性。口一混合的条件比其他的许多混 合，例如m 一相依，9 混合，p 一混合和绝对正则等要弱，因而其在实际应用中要更 广些。在适当的假设下，自回归滑动平均( a r m a ) 时间序列和双线性时间序列是 强混合的，并且具有混合系数a ( n ) = o ( e 一) ，此处j 0 ；而一般的线性时间序列在某 些假设下，也是强混合的。这方面的研究有成效的工作并不多f l 6 】。对于他，i ” 是 相依的情形下的半参数回归模型的研究，文献中也有一些工作。当( t ，) 是固定设计 点列：并且误差为某些相依情形时，胡舒合等f 17 】考察了模型( 1 ) ，得到了估计量的强 相合性。施沛德和郑忠国采用口一样条方法研究了当 ，薯，x ) 是绝对正则的情况下模 华中科技大学硕士学位论文 型( 1 ) 中和的估计的收敛速度【1 8 】。然而文献中和模型( 1 ) 相关的其他工作却不多， 还需要做进一步的讨论，比如在较一般弱的条件下，所做出的结果却不多。 1 2 本文的工作意义及工作安排 我们首先简要地回顾了线性回归模型和非线性回归模型的基本知识，进而概述 了半参数回归模型及相合性、权函数估计等相关知识，最后把研究工作集中在讨论 半参数回归模型估计的，阶平均相会性上。当误差分别为f m i x i n g a l e 序列和n a 序 列时，我们总结了前人的工作，给出了误差在这两种相依情形下要得到模型估计的， 阶平均相合性模型必须要满足的条件及主要结果，在此基础上我们把误差分别推广 为鞅差序列、局部广义g a u s s 序列、尹混合序列相依情形时对模型( 1 ) 我们得到了估 计量的，阶平均相合性对模型分别在误差为不同相依情形下所要满足的条件进行了 讨论，并在理论上给予了严格的证明，得到一系列平行的结果。 2 华中科技大学硕士学位论文 2 线性回归的回顾 对于理解我们后面将要讲到的半参数回归模型和非线性回归模型来说，切实地掌 握线性回归模型是必要的，所以本章首先简要回顾线性模型的基本知识。关于线性 模型的系统阐述，我们可以参阅有关文献。此处主要涉及到两个方面：线性最4 , - 乘的估计和模型假设条件及评估。 2 1 线性回归模型 给定模型 = 屈矗l + 屈2 + + 岛+ 乙 = ( l 一，) 卢+ 乙 ( 2 1 ) 线性回归提供了参数= ( 届，几) 的估计以及其他推断结果。在模型( 2 1 ) 中， 随机变量k 表示第一个响应变量，一= l ，2 ，n ，它可分为确定性部分和随机性部分。 确定性部分( _ 1 ，) 依赖于参数和预测变量或回归变量，p = l ，p 随机变 量乙表示随机部分，它是干扰相应响应变量的一个随机扰动。上标”p 表示矩阵的 转置。 上述模型可以表示为 y = x 卢+ z ( 2 2 ) 其中y 为观测数据的随机向量，x 为n x p 阶的回归变量矩阵， z = 而p 屯p ： x , v p 而随机向量z 表示随机扰动。( 本章用斜体大写字母表示随机向量) 确定性部分x , a 是参数和回归变量的函数，它确定了响应变量的数学模型或模 3 华中科技大学硕士学位论文 型函数。因为乙的非零期望值可以并入模型函数，我们假定 e z 】= o ( 2 3 ) 这等价于 e r l = x p 所以我们称x 口为回归模型的期望函数。矩阵x 称为导数矩阵，因为矩阵x 的第”行 第p 列元素是期望函数第n 行相对于第p 个参数的导数。 若进一步假定z 服从正态分布，且 v a , z - - e z 7 z 】= 盯2 ， ( 2 4 ) 这里，表示阶单位矩阵，于是，给定口和方差口2 的条件下，y 的联合概率密度函数 为 砷舟( z 呐却唧 业些字塑 邓圳2 唧 掣 其中l4 表示向量的长度，y 为响应向量。 2 2 最, b - - 乘估计 ( 2 5 ) 关于和盯的似然函数，或简称为似然，够，盯与联合概率密度( 2 5 ) 有相同 的形式。它们之间的区别仅在于，前者把，( ，仃l y ) 看作给定数据条件下关于参数的 函数，而后者可以看作固定参数条件下关于响应变量的函数。忽略常数项( 2 z ) 一州2 似然函数可以表示为 当残差平方和 邶引加盯屯冲 掣 ( 2 6 ) 4 华中科技大学硕士学位论文 s ( ) = l l y x p l l 2 = 牡睁以 2 眨， 取到最小值时，似然函数关于达到最大值。因而使s ( ) 达到最小值的统计量夕，称 为p 的极大似然估计。这个彦也称为p 的最小二乘估计，并可表示为 p = ( z 7 x ) 一1 x 7 y ( 2 8 ) 因为最小二乘估计p 是的最小方差线性无偏估计量，所以最小二乘估计可以通过 样本方法导出，或者亦可假设卢和盯服从无信息先验密度，采用贝叶斯方法导出。 在贝叶斯方法中，夕为p 的后验边缘密度函数的众数。上述三种推断方法：似然方 法，样本方法和贝叶斯方法，都导出了夕相同的点估计。它们导出了类似的合理的 参数值所在的区域。首先，重要的是要认识到对于模型( 2 1 ) 来说，如果随机扰动 满足假设条件( 2 3 ) 和( 2 4 ) ，那么最4 - 乘估计是唯一适当的方法。换一种方式 来表达，在最4 - - 乘估计的应用中，我们假设：( 1 ) 正确的期望函数。( 2 ) 响应变 量等于期望函数与随机扰动的和。( 3 ) 随机扰动独立与期望函数。( 4 ) 随机扰动服 从正态分布。( 5 ) 随机扰动具有零均值。( 6 ) 随机扰动具有方差齐性。( 7 ) 各随机 扰动之间相互独立。当上述假设是合理的并且用通常诊断图方法进行检验是合适的， 这时才能对回归模型进行进一步的推断。 2 2 i 样本理论的推断结果 最小二乘估计有许多良好的性质： ( 1 ) 最小二乘估计量p 服从正态分布。这是因为夕是y 的线性函数，从而夕 亦是z 的线性函数。因为已假定z 服从正态分布，故务服从正态分布。 ( 2 ) q 向= p ：最小二乘估计是无偏的。 ( 3 ) 哳【角= d 2 ( z 7 x ) ：最小二乘估计量的协方差阵依赖于随机扰动的方差 华中科技大学硕士学位论文 和导数矩阵x 。 ( 4 ) 对于参数口，其置信水平为1 - 口的联合置信区域是椭球 ( 一幻r x r r ( 一f 1 ) p s 2 c ( p ，n p ) ( 2 9 ) 其中 。z ：盟 n p 是自由度为j 一p 的均方残差，即方差的估计，而只( j p ，n - p ) 是自由度为p 与一p 的费歇f 分布的上侧口分点。 ( 5 ) 对于参数屏，其置信水平为l 一口的边缘置信区间为 成朋( 屏) 白2 ( 一d ( 2 1 0 ) 其中t ( n - p ；c t 2 ) 是自由度为n - p 的学生化r 分布的上侧酬2 分点，而 s e ( 扉) = s 瓜丽 ( 2 1 1 ) 是参数估计量忽的标准差，其中 ( z 7 x ) 。) ，是矩阵( x x ) 一1 的主对角线上第p 个元 素。 ( 6 ) 对于的预测响应，其置信水平为1 - o r 的置信区间为 夕s 0 飘叉夏i ：飘：( 一p ) ( 2 1 2 ) ( 7 ) 对于一切x 的响应，其置信水平为1 一口的置信带为 ，夕s 归西丽丐4 p f = ( p , n - p ) ( 2 1 3 ) 表达式( 2 1 2 ) 和( 2 1 3 ) 的形式是不同的，这是因为( 2 1 2 ) 为单个特定点处的区间 估计，而( 2 1 3 ) 考虑无穷多个x 处的同时区间估计所形成的置信带。 2 2 2 似然推断的结果 似然，( ，仃陟) ，即方程( 2 ，6 ) ，仅通过炒一x 纠i 依赖于，因而似然边界线的形 6 华中科技大学硕士学位论文 式为： l l y - x 硎2 = c ( ：1 4 ) 其中c 为常数。当 p 。= s ( 舢+ 南吒( p , n - p ) 时，似然边界线所围成的似然区域与样本方法导出的置信水平为1 一口的联合置信域 具有相同的形式。 2 2 3 贝叶斯推断的结果 如果假设和盯的无信息先验密度为 p ( p ，盯) a c 盯一1 ( 2 1 5 ) 则的贝叶斯边缘后验密度为 p ( 咖川+ 蛙唑半丝) _ ( 一m t s ， 这是未知参数为夕，尺度矩阵为j 2 ( z 7 x ) 一，而自由度为v = 一p 的p 维学生化巧 布的形式a 此外，单个参数屏的边缘后验密度是位置参数为扉，尺度参数为 s 2 ( 石7 z ) - 1 ) 。，而自由度一p 的一维学生化f 分布。在处y 的均值的后验边缘密 度是位置参数为夕，尺度参数为j 2 ( x 7 x ) 一1 ，而自由度为n p 的一维学生化， 分布。 置信水平为1 一口的最大后验密度( h p d ) 区域定义为参数空间的一个区域r ，它 满足p r r ) = 1 一口，且对任意的届r 与岛r ，都有p ( 届i _ y ) p ( 屈i y ) 。对于无 信息先验的线性模型，h p d 区域就是( 2 9 ) 所定义的椭球。类似地，关于以和 的边缘h p d 区域与样本方法所得的区域( 2 1 0 ，2 1 2 ，2 1 3 ) 在数值上相同。 虽然上述三种方法在统计推理上差异相当大，但它们却导出本质上相同的结果。 特别是由于联合置信域，似然区域和贝叶斯h p d 区域的形式相同，所以统称为推断 华中科技大学硕士学位论文 域。对于线性最t b - - 乘来说，上述三种推断方法均可使用。 2 3 假设条件和模型的评估 统计上采用最d r - - 乘估计，需要若干条件，这包含回归模型几个不同的方面。 正如其他统计分析一样，如果有关模型和数据的假设不合适，那么由此所得的分析 结果就不正确。 因为我们不能事先保证有关模型的各项假设都是正确的，所以必须采用一种循 环的模式。我们先考虑有关数据的一个可能的合理统计模型，由此进行相应的数据 分析，然后回来对有关的假设条件进行诊断，诸如使用残差图等诊断方法。如果诊 断结果显示，模型确定性部分的假设，和随机扰动部分的假设不合适，那么必须对 原模型进行分析或修正。如此重复上述循环过程。 在一个特定实验中，我们要充分认识到实验设计和数据收集方法的重要性，因 为它们可能影响到假设条件的正确性。特别是，随机化对于保证假设条件的合理性 是十分有用的，而重复试验为检验特定假设的正确性提供了更大的可能。 2 3 1 假设条件及其意义 如同2 1 节所列举地一样，假设条件为： ( 1 ) 正确的期望函数。从某种程度上来说，保证这个假设条件的正确性是各门 学科的目标，因为我们希望所建立的模型可以预测自然界的现象。在建立有关期望 函数的数学模型分析过程中，我们假定期望函数是正确的，但是如果数据分析发现 了问题，就必须修正模型。对于几乎所有的线性回归和大量的非线性回归来说，我 们往往不知道真实的模型，但可以通过情况分析，观察散点图和相关关系等方法， 来选择一个较为合理的模型。在分析过程中，我们可以修改期望函数以及随机扰动 的假定，以其获得一个更为合理，更为有用的模型。假设条件( 1 ) 是一个非常强的 假定，因为它指出期望函数包含了所有正确形式的重要预测变量，而且不包含不重 要的预测变量。 ( 2 ) 响应项等于期望函数与随机扰动的和。这个假设在理论上是重要的，因为 它使得响应随机变量y 的概率密度函数可以通过随机变量z 的概率密度函数加以计 华中科技大学硕士学位论文 算。因而有 p r ( y l ，盯2 ) = p ：( _ y x p l 盯2 ) 在实践中，这个假设条件总是与随机扰动方差齐性的假设紧密地联系在一起的。在 许多现象中噪声水平随着信号水平的增强而增加。这种随机扰动缺乏可加性，在诊 断图上表现为异方差性。这可以采用加权最小二乘或对响应项进行变换加以纠正。 ( 3 ) 随机扰动独立于期望函数。它与假设( 2 ) 有着紧密联系，因为它 们都涉及到可加模型的合理性。它要求我们必须很好的测量控制变量或预测变量， 此条件表明了任何不包含在模型中的重要变量都不会与响应项有系统性的关联。 ( 4 ) 随机扰动服从正态分布。有关随机扰动的正态假设是重要的，因为它给 出了描述响应随机变量的样本分布，并由此得到参数的似然函数，由此导出了最小 二乘的准则。从某种意义上讲，它是具有最小方差的线性估计。关于正态性假设， 可以应用中心极限定理加以验证，如果随机扰动中各个单项的影响都很小，那么其 合成扰动项就趋于正态分布。 ( 5 ) 随机扰动具有零均值。此假设把未知参数个数减少到易于处理的水平。 主要意义在于我们假设随机扰动项之间不存在由于某种意外变量引起的系统偏差。 ( 6 ) 随机扰动具有方差齐性。该假设的意义主要在于，所有数据具有不确定 性，所以可以采用简单的最小二乘准则。对拟合后的模型作残差关于拟合值的残差 图，可以检验这一假设的合理性。 ( 7 ) 随机扰动项相互独立。它要求不同试验的随机扰动相互独立。这个假设 条件的主要意义在于，不同试验点的随机扰动不系统相关，而这往往可通过随机化 使之更为合理。对于不独立的随机扰动，可以使用广义最小二乘，但是对于异方差 的情形，有关模型的修正要么从相应数据获得更多的信息，要么对相依性给予更多 的假设条件。 2 3 2 模型评估 验i e a i 苤假设条件合理性的方法，主要是残差图法。作学生化残差乙s 1 一关 于预测变量以及其他一些重要的潜在变量的残差图，是检验模型合理性的有效方法。 9 华中科技大学硕士学位论文 作残差关于拟合值允的残差图也很有用，因为它能够暴露异常点或者揭示期望函数 形式上的不合适。对于揭示方差齐性的假设是否合适也是非常有效的。对于含有重 复的实验，我们可以进行假设合理性的进一步检验。比如，即使在给定期望函数之 前，我们也可以检验方差齐性的假定。这可以采用方差分析的方法，以获得每组重 复试验的平均值和方差，并作出方差与标准差关于均值的图象。如果图象中呈现出 系统性的关系，那么可采用方差稳定化方法，使之变化到常数方差。 华中科技大学硕士学位论文 3 非线性回归模型 为了更好的理解和掌握半参数回归模型，下面我们简要的回顾非线性回归模型 的一些基本知识。 3 1 内蕴线性模型 在回归分析中，多数回归模型的回归参数是线性的，这类模型称为线性回归模 型( l i n e a rr e g r e s s i o nm o d e l ) 。例如以下模型 y i = b o + b l x , i + b 2 x , 2 + _ 。+ b p x 七e i 是自变量为一阶( f u _ s - t - o r d e r ) 的线性模型。 另有一些模型的回归参数虽然不是线性的，但是经过转换可以变为线性的参数。 这类模型称为内蕴线性回归模型( i n t r i n s i c a l l yl i n e a rr e g r e s s i o nm o d e l ) 。例如以下模 型 m = o o e x p ( g x , ) e , 对两边分别取对数，该内蕴线性回归模型可以转换成线性回归模型 l o g y l = l o 9 0 0 + q 薯+ l o g e s ， 设= l o g y ，6 0 = l o g 岛，6 i = 岛，4 = l o g e ，以上模型可以改写成 一= b o + b l x s i + e 1 内蕴线性回归模型转换成线性回归模型以后，便可以采用常规的回归分析方法 分析。 但是仍然有一些模型，其回归参数不是线性的，也不能用转换的方法使其变为 线性的参数。这类模型称为非线性回归模型( n o n l i n e a rr e g r e s s i o nm o d e l ) 。 3 2 常用非线性模型 以下我们系统的介绍几类常见的非线性模型。 华中科技大学硕士学位论文 一、生长模型 生长模型是农业，经济，生物，化工等领域中应用极广泛的一类模型。常用的 模型有 y = e x p ( o i 0 2 西) + 占，( g o m p e r t z 模型) y：丁k+占，(logisti-1 c 模型) y 2 鬲而+ 占， 。模型 y = 毋- 0 2e x p ( - o ：8 ) + 占( w e i b u l l 模型) 在生长模型中又可分为所谓经验型和机械型。经验型即根据行之有效的经验公 式得到。以上各式都可认为是经验型。机械型是根据某种规律或假定求出微分方程 或差分方程的解，再分析考虑随机因素的影响而得到。以下我们来看几种常见的机 械型生长模型。 设j ，的生长极限为a ，而生长速度与“生长余量”口一y 成正比。这时y 满足微 分方程 生d t = 七( 口一_ y ) 由此解出y ，得到模型 y = a ( 1 一p e 。) + 占 ( 单层增长型) 假定y 的相对增长速度与相对“生长余量”成正比，则y 满足微分方程 影：生丝二盟 ya 由此解出y ，得到模型 y = a ( 1 + f i e 4 ) 。+ 占 ( 对数型) 此模型被称为对数型是因为，若令z = l o g y ，则 z = 7 - l o g ( 1 + f i e 4 ) + s ( 对数型) 若假定相对速度与“对数余量”l o g a - l o g y 成正比，c u y 满足微分方程 华中科技大学硕士学位论文 d r v a t = k ( 1 0 9 a l o g y l y 解出y 可得到模型 y = a e x p ( - f l e “) + 占，( g o m p e r t z 模型) 如果令z = l o g y ，并取乘法误差，则模型化为 z = y 一伽“+ 占( 渐进回归模型) 二、产量密度模型 设石表示某种作物的种植密度，y 表示每株作物的产量，则作物单位面积的产量 就是砂。x 确定以后，则单位面积产量取决于y ，而y 则受到天气、环境等多种因 素的影响，一般可表示为y = ，d + 占，其中口为待定参数，占为随机误差。以下 h o l l i d a y 模型是效果比较好的常用模型 y = ( b + 岛x + 岛x 2 ) 一1 + f ， 当上式中取只= 0 ，则称为渐进模型，即 y = ( 岛+ 岛x ) 一1 十占 三、渐进回归模型 最简单的渐进回归模型为 y = 口一所+ 占( 渐进回归模型) 其中0 ， l 。这在生物及工程中都是常用的模型，如化学反应中反应物的分解量y 与时间x 的关系：鱼的长度y 与其年龄x 的关系等都经常采用这种模型。 其它常用的渐进回归模型有 y = 三一研l + s 。 a y = 口一e x p 一( 十，。) ) + 占 华中科技大学硕士学位论文 四、其它模型 在非线性模型的文献中，以微分方程的解，特别是线性微分方程组的解提出非 线性模型问题是常见的，而且形式多种多样。为了说明应用的广泛性，我们列举一 些实例如下。 热敏电阻的传导系数y ( 即电阻的倒数) 与温度x 的关系可表示为 y = qe x p 0 2 ( x + 0 3 ) 。1 ) + 占 某种化学品的反应速度y 与催化剂的含量一及反应物的含量屯之间的关系可表 示为 y = 9 0 3 x 1 ( 1 + o l x , + 岛屯) - 1 + 占 饱和蒸汽的压力y 与温度t 的关系可表示为 y = a ( 1 0 ) 加( + ，) 一+ ， 在某种条件下，水的结冰量y 与温度t 的关系可表示为 y 2 a t p + 占 大气层中风速计的额定高度x 与风速y 的关系可表示为 y z q l o g ( 0 2 x + 0 3 ) + 占 五、非线性回归模型的多维表示 上面的非线性回归模型我们是以一维的形式给出的，但在应用中更多的是多维 的形式。我们可以用一个通式来表示 咒= 八五，一) + e j ；f = 1 ，2 ，n 这表明第f 个相依变量m 是第i 个自变向量置和回归参数向量0 的非线性函数， 并且具有加性的随机误差岛n ( 0 ，盯2 ) 其中x i 是一个( 1 x m ) 的已知常数向量，0 是 一个未知的参数向量。 1 4 华中科技大学硕士学位论文 其中 由于相依变量仍然是随机误差b 的线性函数，因而它也是一个随机变量 只( ，( 置，护) ，口2 ) 非线性回归模型也可以用矩阵形式来表示 】，= f ( x ，口) + e y 是一个( 珂1 ) 的观察值向量 0 是一个( p x l ) 的回归参数向量 x 是一个( ? i x m ) 的自变量常数矩阵 e 是一个( n x l ) 的独立正态随机向量，具有多元正态分布 e m v n ( o ，盯2 ，) ，1 为一维单位矩阵。 这些向量和矩阵的表达式如下： y = 【只】= 咒 ： m ： 虬 ，0 = 【嘭】= 日 ! q ： 易 ，e = 岛】= q ： q ： 巳 ，x = 1 葺， x i 以上用矩阵形式表示的非线性回归模型也可以简化为： y = f 徊) + e 其中f ( o ) 是一个( 玎1 ) 的向量，它的每一个元素都是回归参数向量0 的函数 ，( 曰) = ，( 五，e ) 厂( 薯，0 ) ，( 矗，0 ) 石( 口) ： 当对第f 个函数中的回归参数向量护的每一个参数e 求偏导数时，可以得到一个向量 华中科技大学硕士学位论文 一a f ( o ) 一巡巡l 0 0 7 l 粥啤j 如果对所有的函数【，( 口) 】中回归参数向量0 的参数求偏导时，可以得到一个矩阵 面a f ( o _ ) = 萌( 口) a 以 锐( 口) a 巴 既( 口) a 9 n 这是一个( n x p ) 的矩阵，称为f ( o ) 的j a c o b i a n 矩阵，可定义为 z c o ) = 万o f ( o ) 3 3 非线性回归参数的估计 用最d , - 乘估计法可以推导出非线性回归参数的估计公式，从而使 q = e t e = 【y 一厂( 口) 】r 【】，一，( 口) 】 为最小值。对q 中的回归参数求偏导， 参一z 【y - 朋) 】r 弓势 = - - 2 y 一，( 日) 】r z ( o ) 设以上偏导为零，并用估计量舀替代式中的参数口，可得到一组偏微分方程， z ( 口) 7 y - f ( o ) 】_ 0 这一组方程的解便是非线性回归参数的最小二乘估计值舀。 实际上这组偏微分方程中仍含有回归参数的非线性函数，是很难直接解出的 1 6 盟b 盟岛 盟q型明；幽鹅；幽粥 华中科技大学硕士学位论文 一般只能通过迭代法求出近似解。 非线性回归分析中，应用最多的参数估计方法是g a u s s n e w t o n 迭代法。这一方 法是运用泰勒级数( t a y l o rs e r i e s ) 展开原非线性回归函数，以线性函数来逼近非 线性回归函数。从而可以采用线性回归分析方法，估计回归参数的最t j 、- - 乘估计百的 近似值。 回归参数的非线性函数f ( 8 ) 可以用以下泰勒级数近似地表示， f ( o ) z 厂( 岛) + z ( 岛) ( 口一岛) 因而近似地有 】，= 厂( s o ) + z ( e o x e 一岛) + e ， l r f ( 8 ) = z ( o o ) ( 目一皖) + p 其中岛是用于估计回归参数的迭代初始值，可以凭经验或实际数据的初步分析 而人为地确定。厂( 岛) 是根据初始值计算的常数向量，z ( e o ) 是根据初始值计算的常 数矩阵。 以上等式是经过线性化的多元线性回归，用常规的多元回归分析可以得到回归 参数的第一次估计值只， 岛= 岛+ 【z 7 ( e o ) z ( o o ) 】1 2 7 ( 岛) y 一厂( 岛) 】 然后再用品代入上式，可以得到回归参数的第二次估计值岛。采用这一方法进 行迭代估计，直到获得的回归参数估计值收敛为止，即增加迭代次数不再明显改变 估计值。 采用g a u s s - n e w t o n 迭代法获得的回归参数估计矿是最小二乘估计的近似值。如 果迭带法估计是收敛的，估计量矿与回归参数的关系是可以用以下泰勒级数近似的 表示 毋= 口+ 【z 7 ( 口) z ( 口) 】_ 1 2 7 ( 目) 【】，一( 口) 】 华中科技大学硕士学位论文 当实验样本数量足够大时，0 具有渐进多元正态分布 谷m v n p ( 0 ，盯2 z 7 ( 口) z ( 口) 】一1 ) 随机误差方差盯2 的估计量，残差均方m s e ，可由下式算得 m s e = s s e ( 百) ( n p ) ：i v 一厂( 台) r 【y 一，( 占) 】( 甩一p ) 随机误差平方和与误差方差盯2 的比值渐进地具有z 2 分布 s s t e ( e ) ：( n - p ) r m s e z 2 ( n - p ) 盯1 7 3 4 非线性回归参数的推断 由于非线性回归参数的估计蚕渐进地具有多元正态分布，并且。一p ) m 5 ：渐 进地具有z 2 分布。因而回归参数估计量和参数之差与估计量标准差之比渐进地具有 f 分布， ， ( 口，一o , ) i s e c o , ) ，( 一一p ) ，j = 1 ，2 ，一，p 其中 c b = 、m s e t z s e ( o a | l m s e t z 7 ( 刍) z ( 否) 班 = 1 ( 口) z ( 口) 吲 所以可以用f 分布对非线性回归参数作统计推断回归参数b 1 0 0 ( 1 一口) 置信 区间是 b , - t ( c e 2 ；n p ) s e ( b ) q 0 上述收敛性对0 是一致的，则雪可以叫做g ( o ) 的一致相合估计。 由上述所定义的相合性有时称为弱相合性( w e a kc o n s i s t e n c y ) ，与之相对应的所 谓强相合性( s t r o n gc o n s i s t e n c y ) 是由下式来定义的， 另( 1 i m 謇( 置，以) = g ( 臼) ) = 1 ，对任何0 o 由概率论知，若雪有强相合性，则必有弱相合性。 从大样本的观点说，相合性是一个估计量最起码的要求。这个要求也是最容易 满足的要求，这主要是由于概率论中的大数定律。然而，在一些情况下证明一个估 计的相合性并不容易，而且，用常见的方法造出的估计量也可以没有相合性。比如， 我们注意到，在上述定义中，并没有要求墨，五，为独立同分布的。如果条件比较 弱的话，要证明估计的相合性是很困难的，比如，在m 一相依，p 混合，p 一混合和 华中科技大学硕士学位论文 绝对正则，口一混合等条件下。 定义4 2 一般，设孝，磊，最都是随机变量， o 为常数。若熙e l k 一玎= 0 ， 则称序列豫) 依r 阶矩收敛于孝，记为点山孝( 当，= 2 时也常称为均方收敛) 。若 乎是被估计的量而磊是其估计量，则称点为孝的，阶矩相合估计。 若 r ，则由阶矩相合必推出r 阶矩相合。又对任何r 0 ，由r 阶矩相合必 推出弱相合( 依概率收敛) 。但强相合与矩相合彼此之间没有关系。 4 2 估计量的相合性的性质定理 定理4 1 设反( 五，以) ，k = l ，p ，分别为g t ( 0 ) ，k = 1 ，p 的相合估计，假定 函数9 ( m ，) 满足如下的条件： 1 对任何一及而，而，( 晶“，) ，g ， ，) ) 落在妒的定义域内；对任何 0 ，( 蜀( p ) ，( 口) ) 落在伊的定义域内。 2 对任何目o ，函数伊在点( 蜀( 口) ，g 。( 口) ) 处连续。 贝i j 9 ( g l ( 墨，x n ) ，g p ( 置，x d ) 为妒( 9 1 ( 口) ，g ，( 口) ) 的相合估计。 证明：任取o e ，找，7 0 充分小，使得当 i y l g ，( 口) l t ，i = 1 ，p 时有l p ( m ，蚱) 一矿( 蜀( 口) ，g ，( 口) ) i o 为事先给定的数。由宣的相合性 知，存在嵋 ) ，使得当玎吩( 0 时，有 b ( i 雪。( 五，x d - g , ( o ) l ，7 ) l - f p ，i = l ，p ， 记甩( s ) = m a ) 【( 占) 则当n n ( 占) 时有 j g s 口 b ( i 雪，( 五，x ) - g ，( 口) i l s ， 2 l 华中科技大学硕士学位论文 由此可知，当 t n ( e ) 时有 b ( 1 伊( ；，( _ ，以) ，；，( x i ，以) ) 一妒( “既g ，( 锄f l 一占 即证明了这个结果。 顺便指出，相合性只是反应了当甩寸o o 时估计量的性质，而对任何有限的h ，相 合性是没有意义的。相合性本身不能说明为使碗达到一定精度h 必须至少为多少， 事实上，相合估计可以不止一个，它们之间是有差异的，这种差异往往可由估计量 的渐近分布的渐近方差反映出来。 4 3 权函数估计 设有d 维自变量x 与1 维因变量】，x 、y 假定均为随机的。以( 墨，墨) ，( 以，j ：，) 记( z ，y ) 在 次观测中所取的值，总假定它们是独立同分布的。假定y 的均值存在，