（概率论与数理统计专业论文）非线性回归模型参数的经验似然推断.pdf

摘要 摘要 非回归线性模型是为了更准确地描述数据之间的联系而引人的，该模型 可用来描述物理分析，化学分解，生物医学等方面的许多现象，在自然界的各 种学科研究中有着广泛的应用 本文研究的对象是独立同分布数据下的非线性回归模型，回归函数是已 知的，但其中参数未知，假定其误差项均值为零，方差相等本文所采用的研 究方法是经验似然方法，这一方法在1 9 8 8 年才正式提出，它的历史并不长， 但是有许多优点，除了具有传统非参数方法的共性外，还有b a r l e t t 纠偏性 在已有的研究中，都得到了良好的结果由于计算的复杂性，最小二乘方法在 非线性回归模型中参数估计的效果并不是明显把经验似然方法应用到非线 性回归模型，有很好的理论和实际意义 本文首先提出了非线性回归模型中参数的经验似然比，在比较宽松的条 件下，证明了该对数经验似然比有渐近卡方分布，这与对应的线性模型的结论 类似；其次我们给出了模型中的未知参数最大经验似然估计的渐近分布，由此 结果可以做未知参数的假设检验和区间估计；随后给出了标准经验似然比的 表示，用已知函数来刻画标准经验似然比本文最后用最大经验似然估计做了 数值模拟，给出区间估计和点估计的描述 关键词：非线性回归模型经验似然渐近卡方分布标准经验似然比 北京工业大学理学硕士学位论文 a b s t r a c t t h en o n l i n e a rr e g r e s s i o nm o d e lc a nb eu s e dt oe x p l a i na c c u r a t e l yt h er e l a t i o n - s h i pb e t w e e nd a t a i tc a nb eu s e dw i d e l yi nm a n ys c i e n t i f i cr e s e a r c h ，e s p e c i a l l y , i n t h ef i e l do fp h y s i c s ，c h e m i s t r y , b i o l o g ya n d8 0o n t h i sp a p e rc o n s i d e r st h en o n l i n e a rr e g r e s s i o nm o d e lw i t ht h ek n o w n r e g r e s s i o n f u n c t i o na n dt h eu n k n o w np a r a m e t e r ，t h er a n d o me r r o r se is a t i s f i e se ( e i ) = 0a n d e e ；= 口2 w ej u s tc o n s i d e rt h ei i d d a t af r o mc u r t a i nd i s t r i b u t i o n t h em e t h o d u s e di nt h i sp a p e ri st h ee m p i r i c a ll i k e l i h o o d ，w h i c hw a sf o r m a l l yp u b l i s h e di n1 9 8 8 i t sh i s t o r yi sn o tl o n g ，b u ti th a sm a n ya d v a n t a g e s e x c e p tt h eg e n e r a lp r o p e r t i e s o fn o n p a r a m e t r i cm e t h o d ，i ti sa l s ob a r l e t tc o r r e c t i b l e b e c a u s eo ft h ec o m p l e xo f c o m p u t a t i o n ，t h el e a s ts q u a r em e t h o dc a n tw o r ke f f i c i e n t l yt ot h en o n l i n e a rr e g r e s s i o nm o d e l ，s ot h i sp a p e rh a si t sa c a d e m i ca n dp r a c t i c a lm e a n i n g t h ew o r ki nt h i sp a p e ri sf o u r f o l d ：f i r s t ，t h ee m p i r i c a ll i k e l i h o o dr a t i oi sc o n s t r u c t e df o rn o n l i n e a rr e g r e s s i o nm o d e l w ep r o v e dt h a tt h el o ge m p i r i c a ll i k e l i h o o d r a t i os t a t i s t i c si sa s y m p t o t i c a l l yc h i s q u a r e dd i s t r i b u t e d ，t h ec o n c l u s i o ni ss i m i l a r t ot h eo n ef o rl i n e a rm o d e l s e c o n d ，w es h o wt h em a x i m u me m p i r i c a ll i k e l i h o o d e s t i m a t i o nf o ru n k n o w np a r a m e t e ri sa s y m p t o t i c a l l yn o r m a ld i s t r i b u t e d ，w h i c hc a n b e u s e dt oc o n s t r u c tt h eh y p o t h e s i st e s ta n dt h ec o n f i d e n c er e g i o n ；t h i r d ，w es u g g e s t an o r m a l i z e de m p i r a c a ll i k e l i h o o dr a t i o ，i nw h i c hi se x p r e s s e db yt h ek n o w nf u n c t i o n g a tl a s t ，w em a d es o m es i m u l a t i o nt os h o wt h ee f f i c i e n c yo ft h em e t h o dd i s c u s s e d k e y w o r d s ：n o n l i n e a rr e g r e s s i o nm o d e l ，e m p i r i c a ll i k e l i h o o d ，a s y m p t o t i c a l l y ) 2d i s t r i b u t i o n ， n o r m a l i z e de m p i r i c a ll i k e l i h o o dr a t i o 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及 取得的研究成果尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 北京工业大学或其它教育机构的学位或证书而使用过的材料与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示了谢意 签名：盖至日期：2 塑丛：61 呈 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即： 学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以 公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保 存论文 ( 保密的论文在解密后应遵守此规定) 签名：蔓垂导师签名蘑星盈日期理丛：厶：盘 第1 章绪论 第1 章绪论 本文应用经验似然方法对非线性回归模型进行研究，主要研究内容有两 点：一是针对非线性回归模型提出了一个新的经验似然比，然后给出了该似然 比的渐近分布，是自由度为p 的x 2 分布；二是用经验似然方法给出了非线性 回归模型中未知参数的最大经验似然估计，证明了该估计量的渐近正态性 另外本文还给出了标准经验似然比的表示在论述本文的主要内容以前，先对 所研究的模型，采用的估计方法，以及已有的工作做一下介绍 1 1 非线性模型简介 近年来，以最小二乘估计为核心的线性回归已经在许多领域得到广泛的 应用，取得可喜的成绩但是，现实世界中严格的线性模型并不多见，它们或 多或少都带有某种程度的近似；在不少情况下，非线性模型可能更加符合实 际非线性回归模型是为了更精确的描述数据间的关系而引入的，当数据可以 用线性的参数来描述时，线性回归是分析该数据的强有力工具但是，当研究 人员建立响应变量与预测变量之i 萄关系的数学表达式时，这些模型中的参数 往往是非线性的针对这种情形，我们必须扩展线性回归方法，引入非线性回 归模型，当然会由此增加问题的复杂性由于人们在传统上常把“非线性”视 为畏途，非线性回归模型的研究和应用还不够普及实际上，非线性回归模型 在生物医学和化学分析等方面有着广泛的应用前景在b a t e s 和w a t t s 的著作 【1 】中有许多应用实例，如嘌呤酶素，油页岩的高温分解等都是用非线性回归 北京工业大学理学硕士学位论文 模型来描述问题的b a t e s 和w a t t s 是上世纪8 0 年代以来国外非线性回归分 析理论与应用研究的先驱他们不但在非线性回归的几何理论方面有卓越的 贡献，而且对许多实际数据与模型进行过深入的分析与研究他们从n 维响 应空间的欧氏几何方面考虑的多一些，用n 维向量定义了一个p 维曲面，称 为响应空间中的期望曲面，从几何的角度来研究问题本文采用经验似然方法 对非线性回归模型进行探讨 考虑非线性回归模型 m = 9 ( 置，卢) + e i ，i = l ，n ， 其中g 是一个回归函数 ( 置，k ) ，1 i n ) 是来自总体( x ，y ) 的i i d 样 本，x r p ，卢r p 是未知参数， e i ，1 i n ) 为随机误差 对于大量的非线性回归来说，我们往往不知道“真实”的模型，但可以通 过情况分析，观察散点图和相关关系等方法，来选择一个较为合理的模型随 机扰动独立于期望函数表明人们必须很好地测量控制变量或预测变量，还表 明不包含在模型中的重要变量都不会与响应项有系统性关联，随机扰动具有 零均值这是一个简化的假设，它把未知参数的个数减少到易于处理的水平 对于线性回归来说，该假设并不重要，因为所有观察值的非零期望值都可在期 望函数中引入一个常数项但是，对于非线性回归，该假设是重要的，因为许 多期望函数不包含常数项这个假设的重要意义在于，我们假设随机扰动项之 间不存在由于某种意外变量引起的系统偏差随机扰动具有方差齐性假设的 实际价值要比理论价值更为重要因为，对于异方差的情形，从实际的观点来 说，人们必须描绘方差的变化情况，而这需要给出进一步的假设条件，或者把 第1 章绪论 重复试验得到的信息结合到已有的分析中，或者进行数据变换当方差为常数 时，似然函数非常简单，因为这时的参数估计独立于多余参数a 2 本假设的主 要意义在于，所有的数据值具有相同的不确定性对拟合后的模型作残差关于 拟合值的残差图，可以检验这一假设的合理性，但重复试验的效果更好随机 扰动项相互独立表明不同试验点的随机扰动不系统相关，而这往往可通过随 机化使之更为合理 对于非线性回归模型的研究已有许多研究方法，如：似然方法，贝叶斯方 法，样本理论方法等，它们都有各自的特点，其中线性似然方法最易于应用 除了参数估计以外，许多非线性回归的程序还给出了参数的线性近似的标准 差和参数之间近似的相关矩阵就线性近似而言，主要缺点在于我们不知道有 兴趣的区域内的近似是否合理这种近似涉及到平坦性和均匀坐标的假设，往 往其中一个或两个假设都不正确，均匀坐标假设不正确是最常见的 推断的其它方法可得到由边界线定义的联合置信域一般来说，具体的 确定并展示边界线很费时，但展示截面t 图、截面迹图和截面配对图却非常 实用这种方法所需的计算量要稍大一些，但它却提供了有关边缘和联合区 域性态的有价值的信息幸运的是，计算过程只需对标准的非线性程序略作 修改即可虽然不能很好地定义似然区域的置信水平，但与线性近似区间相 比，似然区域仅需平坦性假设类似地，与线性近似相比，研究近似边缘和联 合h p d ( 最大后验密度) 区域能提供更多的信息当模型函数趋于一条渐近线 时，贝叶斯先验使似然边界线有节制地张开，这样贝叶斯先验更为合理与似 然方法类似，联系h p d 的区域的概率是由期望曲线近似得到的，它仅要求平 北京工业大学理学硕士学位论文 坦性假设对于概率或区域的水平来说，贝叶斯方法的理由往往要比似然方法 更充分值得注意的是先验密度不依赖于参数变换，但先验依赖于实验的设计 方案却令人重视，它有很好的实际意义因为所有的科学实验都不是在完全无 知的状态下进行的，而先验分布是实验者通过设计来表达他目前的认识 在样本理论的方法中，我们利用残差向量分量长度比来确定区域，而不是 残差向量的整体长度，这样导出的区域可能包括不合理的参数此外，就一般 情况而言，我们很难定义边缘区域，所以此种方法完全不适用 1 2 经验似然方法 经验似然是由o w e n 【2 】在完全样本下提出的一种非参数统计推断方法，它 有类似于b o o t s t r a p 的抽样特性该方法的提出主要是基于经验分布函数是样 本所在分布的非参数极大似然估计这一点这实际上是w i l k s n 的参数似然比 理论的非参数扩展版本这一方法与经典的或现代的统计方法相比较有很多 突出的优点，如用经验似然方法构造置信区间除有域保持性、变换不变性及置 信域的形状由数据自行决定等诸多优点外，还有b a r l e t t 纠偏性因此，这一 方法提出后引起了许多学者的兴趣，他们把这种方法应用到各种统计模型及 各种领域中 经验似然的思想至少可以追溯到t h o m a s & g r u n k e m e i e r l 4 j 1 在那篇文章 中，他们在随机删失下发展非参数似然比方法构造生存概率置信区间，也就是 说经验似然的思想实际上起源于随机删失数据的统计分析，然而他们所使用 的方法是通过分解生存概率为条件概率的乘积而使用乘积型约束条件下非参 第1 章绪论 数似然比乘积型约束条件显然限制了这一方法应用到其它情形注意到此方 法的本质是在约束条件下极大化非参数似然比，感兴趣的参数由约束条件带 入这一极大化似然比中o w e n 2 】将这一思想方法应用到完全独立同分布样 本下总体均值这一简单而重要情形的统计推断由于o w e n l 2 】使用线性约束条 件，从而表明了这一方法有非常一般的应用，这是因为统计中许多估计方程关 于感兴趣的参数或参数的某已知函数是线性的，或许多统计模型的参数可由 关于该参数或它的某已知函数的线性方程决定，它的应用范围是很广的下面 我们介绍下什么是经验似然 设x 1 ，x 2 ，j 0 是r 4 中独立同分布( i i d ) 的样本，具有共同的分布函 数f ，那么f 的非参数似然是 nn 工( f ) = f ( x ；) ) = i - f ( x d f ( 置一) ) i = li = 1 这里f ( x d ) 是分布f 在置处的概率质量，江l ，m 经验分布函数f 竹= n n - 1 曲；使上式达到最大，其中屯( a ) = i x 刎也就是说f n 是f 的非参 t = 1 数极大似然估计 在参数推断中人们利用参数似然比进行假设检验与置信区间的估计类 似地，在分布完全未知的情况下，非参数似然比 r ( f ) = l ( f ) l ( r ) 也可以用于统计推断不像参数似然比，非参数似然比中不包含未知参数一 个自然的问题是如何使用它对参数作统计推断注意到一些参数0 是总体分 布的泛函，即0 = t ( f ) r p 其中丁( ) 是分布f 的某泛函，f 属于某分布类 北京工业大学理学硕士学位论文 ，如总体均值及分位点等就是有上述形式泛函的例子，为了对t ( f ) = 口作 检验，o w e n 2 】定义如下经验似然比检验统计量 宠( p ) = s u p r ( f ) i t ( f ) = 8 ，f ， f 很显然，经验似然比实际上是一种非参数似然比函数，它要求f 在满足约束 条件t ( f ) - p 下使非参数似然比达到极大( 在无约束条件下，极大非参数似 然比是1 ，只需取f = f n 即可) 而参数日由这一约束条件引入这一极大似然 比中，从而得到关于参数口的极大非参数似然比函数用这一非参数似然比 作假设检验，区间估计或进行其它统计推断，这一方法就是所谓的经验似然方 法如果r ( p o ) 0 ，i = 1 ，n ，并记这样的分布函数f 为昂，即易= ：1 p ：j x ， 注意到工( r ) = r 。因而，计算冗( p ) 就成为关于p ，z = 1 n 求极大，即 第1 章绪论 即) _ 跏。彗：。婴( 叫譬1a = lt ( 昂) = 日主s 显然，这是带有约束条件的极值问题，可以应用l a g l a n g e 方法计算n 0 ) 经验似然应用于推断的另一个问题是如何确定i 临界值r 0 ，这样才方便我们 构造未知参数的置信区间和做出估计这一问题实际上归结为求冗( 目) 的渐近 分布我们知道参数似然比的一个重要特性是似然比的对数是渐近卡方分布 的，即所谓的w i l k s 定理，幸运的是经验似然比也有相同的特性，这一特性形 成了经验似然统计推断的基础 当然 t ( f ) ln ( e ) c ) 所给出的区域也并不是处处适用的比如，当f 0 是 绝对连续的，t ( f ) 是f 的跳跃点的数目时，上式就完全失效了对均值而言，对 任意的c 0 ，使其在 一m ，m 】上有支撑我们可以把分布限制在样本集上有支 撑，也就是说，分布要满足条件f r 因为统计学家可能不是很乐于去找一 个明确的边界m ，而且这样也把问题限制到了有限维，所以这一点是可行的 1 3已有成果 经验似然方法的历史并不长，本身又有一些优良的性质，因此，它有很好 的应用前景这一方法提出后引起了许多学者的关注，他们把这种方法应用到 不同的模型和不同的数据类型中，得到了十分理想的结果 北京工业大学理学硕士学位论文 w a n gj - l f 2 4 】，w a n g & l i 【2 5 j 和l i & w a n g 2 6 在随机删失下发展了生存分布 一类范函，随机删失线性及部分线性模型的统计推断p a n & z h o u 2 7 也提出 了一种不同的推广经验似然到随机删失模型的方法w a n g 与r a o 2 2 】在核实 数据的条件下，将经验似然方法推广到协变量有测量误差的线性模型，定义 了一种渐近分布是加权卡方的被估计的经验对数似然 z h o n g ，c h e n r a o 【2 8 j 及c u i c h e n 2 9 】在假设可加的误差模型结构的条件下，发展了误差模型的经 验似然关于数据缺失时的经验似然推断，已有的工作还不是很多，w a n g & r a o 【3 0 i 33 的几篇文章分别在线性和非参数核回归下发展了数据缺失时的经验 似然推断 o w e n 【3 4 】在2 0 0 1 年对经验似然方法做了一个系统的回顾，从估计、光滑 性、不完全样本和高阶的近似性等多方面做了总结，并指出经验似然方法所面 对的挑战王启华【3 5 】近年来对于不同的数据类型以及如何发展、改进和更好 地应用这种模型也做了大量的工作 1 4 本文研究的问题及论文结构 最小二乘是我们比较熟悉的一种方法一从几何上看，可以简单描述最小 二乘估计的求解问题给定数据向量y ，期望函数9 ( x ，卢) 和一组设计向量 置，1sis ”，可以分两步来考虑问题，先求期望曲面上距离y 最近的点矿，然 后求解对应于p 的参数向量茸对于线性模型，因为这时的期望曲面是一无限 的平面，所以可以具体地写出期望平面上距离y 最近点的表达式然后，由于 参数平面线性的且可逆的映射到期望曲面，所以一旦知道一个平面上的点，就 第1 章绪论 很容易找到另一平面上的对应点，可以直观的写出参数的估计声的表达式 然而，对于非线性回归模型，这两步都很困难：首先，期望曲面是弯曲的， 而且往往是有限的( 或者至少有棱边) ，这样就很难找到矿；其次，由于我们只 能单方向映射，即从参数平面映射到期望平面，即使知道p ，也很难确定参数 平面上对应该点的互实际操作起来，要求非线性回归模型的参数的估计是件 比较难的事，还没有明确的结果 为了解决该求解问题，考虑了迭代的方法利用期望函数的线性近似， 通过迭代改善声的初始值岛，直至迭代无变化为止这个过程又涉及到两个 问题：一是线性近似的合理性，包括平面的假设，通过y ) 处的切平面近似 y ( 风) 附近的期望函数y ( 卢) 和均匀坐标的假设，将线性坐标系加在近似的切 平面上第二点是迭代的收敛性，有许多迭代是不收敛的，这就涉及到初始值 和步长的选择问题 统计推断过程中经常要对研究的总体作一些假定，基础数理统计的许多 方法对总体的分布假定了一个参数模型，未知的是模型的参数，问题是估计这 些未知参数或对它们作某种假设检验非参数方法一般对研究的总体不作具 体的模型假定，只有一些定性的描述，在这样比较弱的假定下，对总体的一些 未知特征进行种种统计推断经验似然本身作为一种非参数方法，它的假定条 件并不是很强，适用范围很广非线性回归模型的最小二乘估计中并没有给 出卢的参数估计的确切表达式，因此我们很难对它的估计效果作一个准确的 评价，这也给进一步的研究工作带来了一定的困难但是经验似然方法除了给 出对数似然比的近似分布以外，并且能够给出未知参数的估计，这一点是以前 北京工业大学理学硕士学位论文 没有的工作，方便进一步的研究 本篇文章主要由四章组成，本章主要介绍了研究背景，对模型的研究方 法以及现有地进展做了一下回顾；第二部分主要是给出了所研究模型的一个 经验似然比，并且给出它的近似分布，同时也给出了参数的最大经验似然估 计，证明了该估计量具有渐近正态性；第三部分介绍了标准经验似然比，给出 一种表示；最后做了简单的模拟并讨论了有待进一步研究的问题 第2 章主要结果及其证明 第2 章主要结果及其证明 2 1 经验似然比的构造 本文中，我们研究非线性回归模型 k = 9 ( x i ，卢) + e 。i = 1 ，n ，( 2 1 ) 其中g ( x i ，卢) 是一个已知的回归函数 ( x i ，k ) ，1 i n ) 是来自总体( x ，y ) 的i i d 样本，x r p ，卢r p 是未知参数， e i ，1 冬i n 为i i d 的随机误 差，且e ( e i x i ) = 0 ，e ( e ? i x 。) = 口2 0 ，i = 1 ，n 要求9 的关于参数卢的二 阶导数存在在这里我们要求随机扰动具有方差齐性，对于不满足此项要求的 数据，可以进行适当的变换，使得变换后的随机扰动满足要求事实上我们可 用重复均值和重复方差来确定一个合适的方差稳定性变换 对于这个模型，我们希望能有线性模型在经验似然方法的类似结果，也就 是能得到一个对数经验似然比的渐近分布下面我们就考虑针对这个模型的 经验似然比， 回顾已有的模型，要提出一个经验似然比，首先考虑的问题是如何把未知 参数引入其中综合经验似然的已有结果，与参数似然比的不同之处在于非参 数似然比中待估参数应该是由约束条件引入的第一步我们就来寻找该经验 似然比的约束条件然后我们将结合这个约束条件对非线性回归模型提出一 个经验似然比，其中待估参数同样是由约束条件引入到估计之中 北京工业大学理学硕士学位论文 首先考虑线性模型中的约束条件 鼽磊( 卢) = 0 ，历( 卢) = 五( m 一砰卢) i = 1 线性模型中的墨可以视为y = x r 卢+ e 对未知参数卢的求导结果，即互( 卢) 可以理解为模型对参数求导后与误差项的乘积对于部分线性模型，q i n ，2 提出的对数似然比统计量的约束条件是 n p ，霸) = 0 五( 卢) = 趸m 一翕( t i ) 一玎芦) i = 1 不同之处是约束条件变化，由五( 一蟊( 如) 一掣卢) 代替了置( k 一蹬伪，那里 的趸可以看成由权函数而导出的x 。的中心化因为此时的9 ( ) 是未知的，先 用核密度对函数9 ( - ) 做了估计，约束等式右端的第二项也是误差项的表达式， 这两个约束条件从本质上看是类似的，结合这两个模型，把这种思想用到非线 性回归模型，考虑对模型的期望函数9 ( x ，卢) 求参数卢的导数9 ( 1 ( 五，卢) ，然 后与误差项作乘积，即 其中 z i ( 卢) = 9 ( 1 ) ( 砥，卢) m 一9 ( 墨，卢) ) ，( 2 2 ) 慨，舻品舰肛( 警警) r 第2 章主要结果及其证明 寻找约束条件，也就是要找到一个含有未知参数卢的等式，不防从最简单的 五( 声) 的均值入手由于 e c z d z ) ) = e 9 ( 1 ) ( 弼，卢) k g ( x i ，卢) 】) = 喇g 1 慨聃i 础 ( 2 3 ) = e 一1 ) ( 置，3 ) e e i x d ) = 0 由此，我们提出了如下的对数经验似然比 其中p 。满足条件 n f ( 卢) = m a x l o g ( n p i ) t = 1 nn p i 0 ，e p i = 1 ，p i z i ( 卢) = 0 ( 2 4 ) l = 1t = 1 现有的研究结果表明，总体均值的对数经验似然比的渐近分布是卡方分 布，对线性模型和部分线性模型，也有类似的结果对于非线性回归模型，我 们得到了参数的对数经验似然比的分布，也渐近于一个标准x 2 分布 2 2 经验似然比的渐近分布 下面给出本文的第一个结果，即对数经验似然比的渐近分布 定理l 对非线性模型( 2 1 ) 式，g 是已知的回归函数，设g 关于卢具有连 续的二阶偏导数9 ( 2 1 ( x ，卢) ，g 怛( x ，卢) 和心1 ) ( x 厅) i 3 关于某可积函数c ( x ) 北京工业大学理学硕士学位论文 有界，e 9 ( 1 ) ，岛) 9 ( 1 ) r ( x ，卢o ) 】正定，励( 2 ) ( x ，风) 的秩为p ，贝| j 当卢为真参数 岛时，有 一2 z ( p ) 与x ： 对f ( 卢) 用l a g r a n g e 乘子法记 n，n、n h 。= l o g p i + n l o g n + t ( 卢) i1 一p 。卜n a 丁( 卢) p ，z ( 卢) i = 1f = li = 1 由鬻= 。以及函n v 鼍i o h 。n = 。得 t ( 卢) = 0 a = f i , 1 + t ( 卢) z i ( 卢) n 由约束条件p i z i ( 卢) = 0 代入( 2 , 5 ) 式，可得a ( 卢) 满足条件 t = l 所以 ：娄褊1 = 。 礼差j + r ( 卢) z i ( 卢) ” n 邶) = 一l o g ( 1 + k t ( 卢) 五( 卢) ) # 1 在证明定理之前，我们先来证明几个引理 引理1设定理1 的条件成立，五( 卢) 如( 2 2 ) 式所示，则 丽1 善n 五( 卢) 鸟( 0 , a 2 e g ( 1 ) ( 瓦卢) g ( 1 ) t ( 刖 证明由( 2 , 3 ) 式知 e ( z ，( ) ) = 0 ( 2 5 ) ( 2 6 ) 第2 章主要结果及其证明 应用平滑公式可得 v a r ( z ( p ) ) = 捌五( 卢) z ，( 卢) 】 = e 硪z i ( 卢) 霉声f 置j ) = e z g c l ( 置，卢) 9 ( 1 ) 丁( 置，卢) e ；l 置】) ( 2 7 ) = e g ( 1 ，卢) 9 ( 1 f ( x i ，z ) e e 2 i x d ) = 0 2 e k ( 1 ) ( 墨，卢) 9 ( 1 f ( x i ，卢) 由定理条件可知，五( 卢) 是独立同分布的随机变量对磊( p ) 应用中心极限定 即证得引理1 引理2 设定理1 的条件成立，则有 i i a ( f 1 ) l l = o p ( n 一；) ， 证明令 1 n 丽2 ；三础( 舻矽，p 0 川刚州 把这些带入( 2 6 ) 式，得 o = b 耋褊l = 妒耋南f = 妒匡础，一，至n 黝t f2 垆匡烈用叫至黝j f 兰：一丁耋篇端一一；l e 丁互n 础) 嬲一；p 擎( 卢) f 北京工业大学理学硕士学位论文 其中 s = ；nz l ( 卢) 霉( 既磊( 卢) = 燃i i z + 1 1 由引理1 可得 弦薹n 础，1 = 晰啕， 错而i 田t 丽s 0 1 弦喜剖， l + p z 。( 卢) 一 + p z 。( 卢) 一l n 。j ，一7 l 其中a 。为五( j 臼) 的协方差阵( 2 7 ) 的最小特征值 因此 再p 面= ( n 一 ) 所以 p = | | a ( 卢) 0 = o v ( n 一 ) 引理3 设定理1 的条件成立，记磊= m a x l i _ 。i l z d b ) l l ，则当n - o 。 时，下式两式依概率l 成立 i i z i i = d ( n ) ，( n a )( 2 8 ) ；砻础) | l a = o ( 确一a ) ( 2 9 ) 证明文献【5 中已证得下述事实；对于独立随机变量q h 一，若s u p e l n i l p 。c ，则t m 。：a 。x 。1 7 t 1 = 。( n 1 7 2 ) ，( a s ) 用瓦( 卢) 和9 1 1 分别记五( 卢) 和9 1 的第s 个 分量，则有e 【珑( 卢) = 矿，e 9 1 1 ) 2 ( x i ，卢) o o ，因此，有 i 。i l 。& x 阮( 删= 。( ，z 1 2 ) - ( 。s ) 第2 章主要结果及其证明 此即( 2 8 ) 式成立 由( 2 8 ) 和强大数定律可得 ：娄慨( 酬1 3 鲁妻i = 1o z i ( 硎1 2 = 咖 ) 此即( 2 9 ) 式成立 定理1 的证明 令m = a r ( 卢) 五( 卢) ，这里的a ( 卢) 是( 2 6 ) 式的根由引理2 和( 2 8 ) 式得 l m o ，i = l ，n 所要做的工作是对该模型的一维 情况进行模拟，其中函数9 和误差方差a 2 已知 ( 1 ) ：解卢的最大经验似然估计声，在这里为了求解方便，我们解方程萎z ( x 。卢) ： z =