（概率论与数理统计专业论文）右删失数据下非线性回归模型的经验似然推断.pdf

摘要 摘要 经验似然方法是o w e n 在1 9 8 8 年提出的一种非参数统计推断方法该方 法在构造参数的置信域时有许多优点，因此引起广大统计学者的兴趣，已经被 成功的应用到了各种统计模型，如总体均值、线性回归模型、分位数回归等。 用经验似然法对删失数据进行统计分析在现有文献中并不多见在删失数据 下用经验似然法对非线性回归模型的研究在文献中还没有发现 本文利用经验似然法研究了随机右删失数据下非线性回归模型分别就 删失变量的分布已知和未知两种情况构造了回归参数的自然经验对数似然比 和调整经验对数似然比统计量，证明了所提出的统计量渐近于卡方分布，由此 构造了兴趣参数的置信域模拟研究比较了自然的经验似然、调整经验似然和 非线性最小二乘法的有限样本性质，并对氯离子浓度试验数据进行了分析 关键词：经验似然，非线性回归模型，卡方分布，置信域，调整的经验 似然 a b s t r a c t a b s t r a c t e m p i r i c a ll i k e l i h o o dp r o p o s e db yo w e n ( 1 9 8 8 ) i san o n p a r a m e t r i cm e t h o d o fs t a t i s t i c a li n f e r e n c e t h em e t h o dh a sm a n ya d v a n t a g e sf o rc o n s t r u c t i n gt h e c o n f i d e n c er e g i o n so fp a r a m e t e r ，a n dh e n c em a n ys c h o l a rh a sg r e a t l yi n t e r e s t e d i nt h i sm e t h o d t h em e t h o dh a sb e e ns u c c e s s f u l l ya p p l i e dt oa c l a s 8o fs t a t i s t i c m o d e l s ，f o ri n s t a n c e ，t h ep o p u l a t i o nm e a n ，l i n e a rm o d e l ，q u a n t i l er e g r e s s i o n a n d8 0o n u s i n gt h ee m p i r i c a ll i k e l i h o o dm e t h o dt oa n a l y s et h ec e n s o r e dd a t a ， o n eh a v ef e wf i n di ne x i s t i n gl i t e r a t u r e s i th a sn o tf o u n dt h a tt h ee m p i r i c a l l i k e l i h o o dm e t h o di su s e dt ot h en o n l i n e a rm o d e lw i t hr i g h tc e n c o r e dd a t a i nt h i sp a p e r ，w ei n v e s t i g a t et h en o n l i n e a rr e g r e s s i o nm o d e lw i t hr i g h t c e n c o r e dd a t ab yu s i n gt h ee m p i r i c a ll i k e l i h o o dm e t h o d t h en a i v ee m p i r - i c a ll o g - l i k e l y h o o dr a t i oa n dt h ea d j u s t e de m p i r i c a ll o g - l i k e l i h o o dr a t i oa r e c o n s t r u c t e dw h e ngw a sk n o w no rn o tr e s p e c t i v e l y u n d e rc e r t a i nc o n d i t i o n i ti ss h o w nt h a tt h ep r o p o s e ds t a t i s t i c sh a v et h ec e n t r a lc h i - s q u a r e dl i m i t i n g d i s t r i b u t i o n ，w h i c he n a b l e su st oc o n s t r u c tt h ec o n f i d e n c er e g i o n so ft h ep a - r a m e t e r so fi n t e r e s t i nt h es i m u l a t i o ns t u d yw eh a v ec o m p a r e dt h ep r o p e r t i e s o ff i n i t es a m p l e sf o rt h en a i v ee m p i r i c a ll i k e l i h o o d ，t h ea d j u s t e de m p i r i c a l 雌 l i h o o da n dt h en o n l i n e a rl e a s ts q u a r e a ni l l u s t r a t i o ni sg i v e nb yu s i n gc h l o r i d e t r a n s p o r td a t a i i i 北京工业大学理学硕士学位论文 k e y w o r d s ：e m p i r i c ml i k e l i h o o d ，n o n l i n e a rr e g r e s s i o nm o d e l ，c h i - s q u a r e d i s t r i b u t i o n ，c o n f i d e n c er e g i o n ，a j u s t e de m p o r i c a ll i k e l i h o o d 一 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作 及取得的研究成果尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他入已经发表和撰写过的研究成果，也不包 含为获得北京工业大学或其他教育机构的学位或证书而使用过的材 料，与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定， 即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复 制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 第1 章绪论 1 1 引言 第1 章绪论 无论是在理论研究还是实践中，线性方法都得到广泛的应用这是因为线 性方法往往形式简便、计算方便、理论性质易于讨论，并且常常能够比较好的 解决所需要处理的问题然而随着科技发展人们所获得的信息在复杂性增加 和数量上增多，并且我们所处理的问题要求越来越高，简单的线性模型已经不 能满足需要，在这时对非线性模型研究就显得非常重要在技术、经济、社会 等众多研究领域中，大量事实也表明，非线性才是复杂现象的本质，是切物 质运动的普遍规律因此，开展非线性模型的研究在理论与实践中日趋重要 目前对线性回归模型的估计理论研究已臻完善，而对非线性回归模型估计理 论的研究还不成熟对非线性回归模型在删失数据研究的文献还比较少，因此 无论是在理论上还是在实践中对非线性回归模型进行研究都是有必要的 本文应用经验似然方法对响应变量删失下的非线性回归模型进行研究， 主要研究内容有两个方面；一是在删失变量的分布g 已知情况下，构造了参 数的经验对数似然比统计量，并证明所提出的经验对数似然比统计量具有渐 近x 2 分布通过模拟研究和实例分析并与非线性最z j 、- 乘法对比可以发现， 在置信域的精度方面经验似然要优于最小二乘法二是在删失变量的分布g 未知情况下，把g 的k a p l a n - m e i e r 估计g 。嵌入到第二章所提出的经验对数 似然比统计量中得到一个新的经验对数似然比统计量，在一定条件下我们证 明了其满足x 分布的加权和在此基础上构造了参数的调整经验对数似然比 统计量，并证明其具有渐近x 2 分布 1 2 删失数据的研究现状 一1 一 北京工业大学理学硕士学位论文 由于考虑到成本、时间以及一些非人为因素的影响，现实中所收集到的数 据往往是不完全，比如在某灯泡厂研究电灯泡的寿命时，有的灯泡的寿命可以 达到1 0 0 0 小时以上，这种情况下在试验中如果不限定时间，虽然我们能够得 到完全数据，即使研究的结果再好也不能为该厂提供任何决策信息因为这类 研究是讲时效的，对时间要求非常高，时间已过就不能提供任何有价值的信 息又如在研究某种复合肥农作物产量的影响时，在农作物正当成熟时，由于 受到冰雹或虫害之类袭击，这些情况得到的数据也是不完全数据 在医学、生物工程、临床试验等方面的研究过程中，通常得到的类不完 全数据是随机删失例如，研究一种新药对患某种疾病的人的生命的影响，病 人可以在研究时间段内任何时间刻进入研究，一旦进入研究之后，也可能中途 离开或研究时间结束，等原因造成了数据删失对退出试验或失去跟踪的病人 生存时间至少是从进入到失去联系这段时间；对于仍然活着的病人，时间至 少是从进入到结束这段时间，在这两种情况下得到的数据都属于随机删失数 据用删失机制方式来区分删失数据的样本般可分为随机右删失，左删失和 区间删失 1 随机右删失( f i g h tc e n s o r e dd a t a ) 是指个个的个体的确切寿命t 不 能完全被观测，而仅能观察到x i = m i n 伍，c i ) ，盈= q t , 吲，i = 1 ，n ， 其中外】表示事件的示性函数 2 随机左删失( 1 e f tc e n s o r e dd a t a ) 是与随机右删失相对右删失中观测 到的数据是干扰数据和寿命数据中较小的个，以及他们的大小关系随机左 删失中我们观察到的是干扰数据和寿命数据中较大的一个和它的大小关系 3 区间删失( i n t e r v a lc e n s o r e dd a t a ) 相对前两种更复杂设x 1 ，恐，k 是寿命数据，它的删失机制为，当五落入区间陇，m 】时被观测到，其中磊 和k 分别具有分布g 和g r o ，且有磊m 以概率为1 的成立当x 落 2 第1 章绪论 在区间陇，m 】外时，五不能被观测，我们仅能观测的是五落在区间左边还 是右边，当落入左边时，所得到的观测值为五，当落入右边时观测到的是k 近年来，删失数据问题在应用领域越来越引起人们的普遍关注对删失数 据的研究主要分为下面几个方面，对生存函数的估计、概率密度估计、风险率 估计，平均寿命估计、非参数假设检验以及随机删失回归分析本文研究非线 性回归模型，下面主要讨论删失数据在回归分析的研究 m i u e r 1 1 研究了随机删失下线性模型的估计问题他首先从线性模型在完 全观察下的估计问题开始，从中得到启发，再找到随机删失下定义参数估计 的方法这种估计主要的思想是用误差分布f 的k a p l a n - m e i e r 估计来代替 f ，它的主要缺点是得到的回归系数估计值不稳定；随后b u c k l e y 和j a m e s 在 m i l l e r 的方法的基础上提出一种思想，先对数据进行无偏差变换，然后用线 性回归方法建立模型，它的难点是由于删失时它的期望未知，这时就需要用 它的期望的估计来代替 b u c k l e y 和j a m e s 建议用迭代的方式来完成回归系 数的估计，初值选用m i l l e r 估计，这种方法得到的估计值也是不稳定的但它 的波动范围与m i l l e r 估计相比还是小些在1 9 8 4 年j a m e s 和s m i t h i 2 在一 定条件下证明了b u c k l e y - j a m e s 估计的相合性；受到b u c k e y 和j a m e s a 思 想的影响，k o u l 等【4 】在删失变量与协变量相互独立的假定下提出一种数据 变换方法，并证明参数估计的相合性； l a i 【5 】发展了类适应统计量估计方 程的渐近理论，前面所提到b u c k l e y - j a m e s 估计以及k 一孓v 估计就是它的特 例；l i 6 1 等在k s - v 数据变换下用经验似然方法对线性模型进行处理，用 纠偏的方法得到了调整经验似然比的渐近标准x 2 分布关于随机删失非参数 回归方面的研究，f a n 和g i j b e l s r 通过数据变换定义了局部线性估计，得 到一些很好的性质；d a b r o w s k a s 定义了一种截断回归非参数估计；k i m 和 t r u o n g 9 1 用局部线性光滑方法定义了截断回归估计；z h e n g 1 0 j 定义了近邻非 一3 一 北京工业大学理学硕士学位论文 参数相合估计对于随机删失半参数模型，当今主要的结果都在王启华【1 1 】的 生存数据统计分析一书中进行详细的讲述关于经验似然处理删失数据的数 值计算常用方法可参见z h o u l l 2 , 1 3 以及其所编r 软件程序包e m p l i k ( 详情可 参见h t t p ：c r a n r - p r o j e c t o r g ) 1 3 非线性模型简介 非线性回归模型的研究始于六十年代初期，由于非线性模型的计算公式 十分复杂，因此最初人们的研究仅仅是一些简单，十分具体的东西并且没有多 少理论结果最有代表性文章有b e a l e 【1 4 】关于非线性强度( n o n l i n e a r i t y ) 度量 概念的提出，其目的在于用数量指标来刻画对一个非线性模型进行线性近似 时，在统计推断效果方面的优劣程度例如我们常见的g u a m - n e w t o n 迭代法 就是一种线性近似方法，迭代的效果如何与原模型有很大的关系，直到1 9 8 0 年b a t e s 和w a t t s 1 5 】受到e f r o n 1 6 】统计曲率的定义的启示，从微分几何的观 点出发，定义了模型的固有曲率和参数效应曲率现在在r 中好多程序包关 于选则非线性模型。在对模型具体形式未知时如何通过数据来判断用线性近 似是否合理等好多关于非线性知识般参考文献中都有【1 5 1 9 8 1 年b a t e s 和w a t t s 1 7 】提出了参数变换方法来降低模型的非线性强度，这也为解决非线 性阅题提供一个很好的方法 关于非线性模型点估计的研究主要有，当协变量是固定未知常数时，w o l t e r & f u u e r 【1 8 】考虑了误差变量趋于o ( 样本容量n _ 。o ) 时的情况，证明了参数 的极大似然估计是相合的对于协变量是随机变量的场合，在协变量的密度， 已知的情况下。h s i a o 1 9 】证明了参数的最小二乘估计是相合的且具有渐近正 态分布 关于非线性模型的置信域的研究始于文献【1 4 】，但受条件限制，由于其 复杂的计算公式掩盖了事物的本质，并没有引起人们的注意；直到1 9 8 1 年 4 一 第1 章绪论 h a n m i l t o n 2 0 以及b a t e s 和w a t t s 1 7 】从曲率度量来研究非线性模型的置信 域，使得这一问题才得到人们的关注对于非线性置信域的考虑更多的可参见 b a t e s 和w a t t s 关于非线性回归和应用的专著【2 1 1 在实际应用中我们并不知道具体模型，一个比较原始的办法就是先利用 散点图观察其形状，通过猜测来选择模型，在科技发展的今天这些东西往往 可以在计算机的协助下完成同时针对某些实际问题一些统计学家已经做好 了许多软件包，在开源统计软件r 上发布如n l r w r 程序包主要针对非线性 回归模型的，n l l 2 1 e 程序包是针对非线性混合效应模型更多程序包可参见 ( h t t p ：c r a n r - p r o j e c t o r g ) 以及r 软件中自带程序包s t a t s 1 4 经验似然方法简介 经验似然是o w e n 2 2 在完全数据下提出的一种非参数统计推断方法，它 有类似于b o o t s t r a p 的抽样特性它与经典的和现代的统计方法相比有很多 突出的优点，如：在构造置信域方面除有域保持性、变换不变性及置信域的形 状由数据自行决定等诸多优点外，还有b a r t l e t t 纠偏性及无需构造枢轴统计 量等优点正因为如此，这一方法引起了许多统计学家的兴趣，他们将这刁甲 法应用到各种统计模型及各种领域，如o w e n ：3 删由对总体均值的统计推断 提出经验似然并随后将其应用到线性回归模型的统计推断；c h e n 2 5 1 进步 研究了线性模型的经验似然的高阶特性；k o l a c z y k i ：6 1 和o w e n i 2 7 1 更进一步 把这一方法推广到广义线性模型和投影追逐回归模型；z h a n g 2 8 】将经验似然 应用于分位回归及m - 泛函的统计推断；c h e n 【2 9 i 和c h e n 与q i n 3 0 1 分别发 展了非参数密度估计和非参数回归的经验似然；z h o n g 和r a o 3 1 】将经验似然 应用于抽样调查问题的研究；q i n a 2 1 应用经验似然于偏度抽样模型的统计推 断 经验似然在删失数据的研究可以追溯到到t h o m a s 和g r u n k e m e i e r 3 z ，在 5 北京工业大学理学硕士学位论文 这篇文章中，他们通过分解生存函数为条件概率的乘积，使用乘积约束条件 下的随机删失非参数似然比方法构造了生存概率的置信区间估计w a n g 和 j i i l g 酬考虑了随机删失下的非参数似然比推断，不过w a n g 和j i n g 并没有采 用删失数据的方法，而是把数据变换后用完全数据下经验似然方法 z h o u 1 2 , 1 a 1 分别用e m 算法和s - q - p 算法来研究删失数据下经验似然比 的计算问题，从算法上解决了一类删失数据的计算，如右删失、左删失、区间 删失还包含截断方面，这些方法已经被s p l u s 软件用在商业方面 经验似然在近些年的发展主要有：q i n 和l a w l e s s 弱l 将经验似然推广到 半参数模型中；w a n g 与j i i 堰【3 6 】和s h i 与l a u m 利用经验似然方法考虑了 具有固定设计的部分线性回归模型，构造了模型中未知参数的置信域；y o u 与z h o u 删把经验似然方法应用于半参数变系数部分线性模型的统计推断； x u e 与z h u l 3 9 , 如】应用经验似然方法考虑了单指标模型和部分线性单指标模 型；x u e 与z h u 【4 1 】应用经验似然方法研究纵向数据下的变系数模型 那么什么是经验似然呢? 设x 1 ，磁，r d 独立有共同的累积分布f ，则f 的非参数似然是 三( f ) = i if ( 五) ) ， 这里f ( 五) ) 是分布f 在五处的概率质量，其中i = 1 ，2 ，n 众所周知 五，恐，的经验累积分布函数r = n _ 1 ；使上式达到极大， 其中( a ) = j p 刎也就是昂是f 的非参数极大似然估计 在参数推断中人们利用参数似然比进行假设检验与置信区间估计类似 地，在分布完全未知的情况下非参数似然比 即) = 器 6 第1 章绪 论 也可以用于统计推断不象参数似然比，非参数似然比中不包含未知参数一 个自然的问题是如何使用它对参数作统计推断注意到一些参数口是总体分 布的泛函，即p = t ( f ) r p ，其中t ( ) 是分布f 的某泛函，f 属于某分布 类c ，如总体均值及分位点等就是有上述形式泛函的例子为了对t ( f ) = 口 作检验，o w e n z 2 定义如下经验似然比统计量 舱( 口) = s u p r ( f ) i t ( f ) = 口，f ) f 很显然，经验似然比实际上是一种截面非参数似然比函数，它要求f 在 满足约束条件t ( f ) = 口下使非参数似然比达到极大( 在无约束条件时，极大 非参数似然比为1 ) ，而参数p 由这一约束条件引入这一极大似然比中，从而 得到关于参数移的极大截面非参数似然比函数，用这一非参数似然比作假设 检验、区间估计或进行其他统计推断，这一方法就是所谓的经验似然方法如 果睨 r o ，经验似然假设检验拒绝h o ：t ( f ) = ，而似然置信域为 p ：跎( 日) t o ， 其中r o 是某临界值 注意到验( 口) 是关于非参数似然比在限制条件下关于f 求极大，这种形 式的定义显然不利于计算下面给出与上述定义等价但容易计算的形式由 搋( 目) 的定义，注意到只有那些在观察值点有正概率质量的离散分布类中求极 大我们首先假设数据没有”结”( 当有”结”时，根据o w e n 2 2 ，所求的经验 似然是相同的) ，在没有”结”时，我们设分布f 为乃，即昂；p i a x 。注 意到l ( r ) = 扎一，因而 跪( 口) _ 。8 u p 1 - i ( 嘞) ， p = l ，r ( 昂) 划i - - - - 1 i = 1 7 北京工业大学理学硕士学位论文 显然l a g r a n g e 法可应用于计算瓣( p ) 经验似然应用于推断的另一个问题是如何确定临界值咱，这一问题实际 上归结为求驼( 口) 的渐近分布本文的重要定理之一就是证明了似然比统计量 的渐近卡方性，这一特性就形成了经验似然推断的基础 经验似然推断在总体均值推断，线性模型推断、分位数推断、估计方程推 断及利用辅助信息进行推断等几种重要统计推断中有着广泛的应用，是一种 重要的统计推断方法 注；本节主要参考王启华的论文 1 5 本文主要研究内容、结构和特点 本文基于经验似然方法研究删失数据下非线性回归模型的参数统计推断 具体研究内容安排如下： 第二章基于删失变量的分布已知条件下，利用k 一& v 方法对响应变量y 进行数据变换得到y g ；然后运用珞和协变量x 建立非线性回归模型；最后 利用经验似然方法构造了经验似然比统计量，并证明了其具有渐近x 2 分布 在本文2 3 节我们通过数值模拟，将所提出的方法与传统的最小二乘法在置 信域的精度进行比较，发现参数维数p = 2 时，在相等置信度的情况下经验 似然方法所得的p 的置信域精度要比最小二乘法得到的要置信域精度稍好， 且经验似然方法得到的置信域不如传统非线性最l j 、- 乘法所得到的置信域对 称这就印证了1 4 节所讨论的经验似然与最小二乘法在置信域方面的区别， 也充分说明经验似然的方法所给出的置信域是由数据所决定 第三章主要研究了在删失变量的分布g 未知时参数卢的置信域问题利 用嵌入方法得到了个新的经验似然比统计量，证明其服从独立x i 变量的加 权和同时我们也给出了调整经验对数似然经验似然比统计量，且具有渐近 x 2 分布在模拟研究中我们主要在n = 5 0 ，1 5 0 时调整经验似然与g 已知时 一8 一 第1 章绪论 经验似然方法进行比较，得到了：当死足够大时调整经验似然和经验似然给 出的置信非常相近的结论在n = 3 0 0 时，我们还将最小二乘法和调整经验 似然方法进行了比较 本文的研究工作具有以下特点t 对于右删失非线性回归模型，在删失变 量g 已知和未知两种情况下分别给出了经验似然统计量和调整经验似然统计 量，并证明了它们的渐近性质通过模拟和实例分析研究经验似然方法确定置 信域的优良性质尤其是本文分析经验似然在处理非线性回归问题的氯离子 浓度的实例 一9 一 第2 章自然的经验似然 第2 章自然的经验似然 生存数据往往不能完全被观测，例如，在大部分临床研究试验中，研究时 间通常是固定的，且病人通常在这段时间内的不同时刻进入研究一些人在研 究结束前可能死亡，这部分人生存时间已知；其他人可能在研究结束之前退出 试验或失去跟踪，或研究结束时仍然活着对退出试验或失去跟踪的病人生存 时间至少是从进入到失去联系这段时间；对于仍然活着的病人，时间至少是从 进入到结束这段时间，在这两种情况下得到的数据就是删失数据对删失数据 回归模型的研究已有不少文献，如b u c k e y 和j a m e s 3 提出一种思想，先对数 据进行无偏差变换，然后用线性回归方法建立模型受到b u c k e y 和j a m e s 思 想的影响，k o u l 与s u s a r l a 和y a n n 在删失变量与协变量相互独立的假定下 提出一种新的数据变换方法l i 和w a n g n 等在这种变换下用经验似然方法 对线性模型进行研究，用纠偏的方法得到了调整经验似然比统计量渐近于x 2 分布本章我们主要是假定在删失分布已知的情况下，用经验似然方法构造一 个经验似然比统计量，同时证明了它的极限分布为自由度为p 的x 2 分布 2 1 模型与数据介绍 考虑非线性回归模型： y = 9 ( x ，卢) + ，( 2 1 ) 其中y 为响应变量，x 是g 维协变量，p 是p 维未知参数，其参数空间e 是舻的紧子集g 是x 的已知可测函数，e ( e x ) = 0 设c 表示删失变量，记z = m i n ( y ，c ) ，艿= i ( y5c ) ，这里，( ) 表示示 性函数，当6 = 1 时表示y 被观察，当6 = 0 时表示y 删失对于模型( 2 ，1 ) 我们观察到的数据( 五，磊，氏) ， = 1 ，礼，来自( x ，互j ) 的独立同分布随机 1 l 一 北京工业大学理学硕士学位论文 样本 本章意在y 随机右删失的情况下考虑模型( 2 1 ) 中未知参数卢的置信 域以往的文章大部都是点估计问题，为了得到p 的估计精度，往往需要构造 p 的置信域对于这个问题通常的方法是利用渐近正态分布来构造未知参数 的置信域然而这种方法往往需要构造声的渐近方差的相合估计，这是非常 困难的此外，利用渐近正态分布得到的置信域是对称的，而由实际数据构造 的置信域可能是不对称的而由o w e n 2 2 , 嚣】在完全样本下提出的经验似然方 法是构造参数置信域的形状完全由数据自行决定一个有效方法本章应用经 验似然方法对模型( 2 1 ) 进行研究，构造未知参数p 的经验对数似然比统计 量，并证明在删失分布g 已知下所提出的统计量具有渐近x 2 分布，由此结 果可以构造p 的置信域 2 2 方法与主要结果 设f 和g 分别为响应变量y 和删失变量c 的分布，记t f = i n f t ： f ( t ) = 1 ，亿= i n f 亡：a ( t ) = l ，通篇假定7 g 印对于文中出现的任何分 布函数日( ) ，约定豆= 1 一日( ) 文中出现的c 可表示任何正的常数，进一步 假定k 0 ，g 0 ，i = 1 ，2 ，礼在生存分析中，若m 表示寿命数据，则 k 0 ，因而，上述假定具有实际意义 由于 k ) 被随机删失，通常的估计参数的方法不能直接运用，主要问题 在于磊与k 具有不同的数学期望，因而需要对数据进行转换当g 已知时， 定义 k g = 高高，2 ，肌 ( 2 2 ) 容易证明 e ( y 妇i 五) = e ( mi 五) = 夕( 五，p ) 一1 2 一 第2 章自然的经验似然 因此在非线性模型( 2 1 ) 下，我们有 k g = 9 ( 五，p ) + 岛，( 2 3 ) 其中国= l 缸一e ( y 妊i 五) 下面我们主要是针对g 已知的情况下讨论p 的置 信域至于g 未知的情况，我们将在下一章进行详细的讨论 构造辅助随机向量 u , ( 3 ) = 9 ( 1 ( 五，p ) m g 一夕( 五，p ) )( 2 4 ) 其中 严慨厕= 品麟厕= ( 警，警严 当p 为真实参数时，有 e u , ( z ) = e 9 ( 1 ( 五，p ) 瞰g 一9 ( x ，) 】) = e 夕( 1 ) ( 五，j 3 ) e e i i x , l =0 ( 2 5 ) 记 ( p ) = e u 1 0 9 ) u l ( ；9 ) t 】， o 1 = m a x e i g n ( v l ( 卢) ) ，a p = m i n i e i g n ( v l ( f o ) 因而检验p 是否为真实参数等价于检验e 阢) = 0 ，i = 1 ，2 ，佗根据 o w e n 2 a ，可以采用经验似然方法构造自然的经验似然比统计量 r t in竹 、 f n ( p ) = - - 2 m a x e l o g ( n p i ) i p i 之o ，a = l ，a 阢( 卢) = 0 ( 2 6 ) li = 1 l = li = l j 利用l a g r a n g e 乘子法，可得 a = n 一1 1 + 入t 阢) ) ( 2 7 ) 一1 3 一 t p阢p阢 n 筒 以 n = 8 “ 昕 北京工业大学理学硕士学位论文 其中，入为下述方程的解 礼以喜煮- o 仁8 ， 从而 j 住( p ) = 2 l o g ( 1 + a t u i ( f 1 ) ) ( 2 9 ) i = 1 为了得到经验似然比f n ( p ) 的渐近分布，需要下面条件 ( a i ) g 关于p 具有二阶连续偏导数g ( 2 ) ，p ) ( a 2 ) e b ( 1 ) ( 墨，p ) 夕( 1 ) ( 噩，p ) t 】存在且在风处正定，并存在正常数c 1 ，c 2 ， 使得的特征值被c 1 ，c 2 控制 ( a 3 ) e b 2 ( x ，p ) 】 o o ，s u p e 瞻i x = 司 c o 定理2 i 假设在条件( a 1 ) 一( a 3 ) 成立，则当p 为参数真值盹有 z n ( p ) 三， 其中s 表示以分布收敛 基于定理2 1 ，可以定义参数向量p 的置信域对任给的0 a c a ) = 口，则 ：毛( p ) = 妒r p ：z 。( 夕) sc 口)( 2 1 0 ) 构成了参数向量p 的具有渐近覆盖概率1 一q 的置信域 2 3 模拟研究 在这一节我们将通过数值模和实例来研究自然的经验似然比的有限样本 性质，并把这种方法与通常的非线性最小二乘法进行了对比 为实施模拟，我们产生1 0 0 0 个数据集，每个数据集包含1 0 0 个个体五 为服从( o ，1 0 ) 上的均匀分布的随机变量，反服从标准正态分布响应变量m 1 4 第2 章自然的经验似然 由模型( 2 1 ) 产生，其中a ( x ，p ) = 俄( 1 一e 冲( 一仍x ) ) ，尻= 1 0 ，统= 0 4 删 失变量q 取值于双参数指数分布，即g ( q ) = 击唧( 萨) ，通过控制a 和b 的大小控制删失比例，y 本节我们取b = 2 ，a = 9 ，7 在0 2 5 与0 3 之间 五= 面n y i ，z d ，最= j 慨g ) 用经验似然( e l ) 和非线性最小二乘( l s ) 比较p 的置信域面积和覆盖概 率，模拟结果呈现在图1 中 图1 基于e l 和l s ，( p l ，侥) 的9 5 置信域 图1 说明e l 比l s 给出了更小的置信域，且e l 的覆盖概率9 3 7 0 ，而 l s 的覆盖概率是9 3 3 5 ，这就说明e l 比l s 给出的置信域有更高的精度 同时通过图形还可以看出l s 给出的都是十分标准的椭圆，而e l 给出的却是 一1 5 北京工业大学理学硕士学位论文 不规则的并且有可能是凹的，这与我们在绪论中经验似然方法的优点相符 下面我们把经验似然方法运用到b a t e s 和w a t t s 2 给出的细胞壁传送 氯离子的实验数据上，共有5 4 组数据，每组数据有两个分量，时间t i m e ( i n m i n u t e s ) 和氯离子浓度c o n c ( i np e r c e n t ) 如图2 所示 图2 氯离子浓度与其对应通过细胞壁传递时间的散点图 由于这组数据并不是删失数据，我们通过产生一组q i 服从n ( u ，1 ) ，然 后再加上非线性最小二乘的估计值得到c ：c ，通过调整让的大小来改变选择删 失概率，在u = 1 2 时，删失概率为1 5 同时我们此时并不知道q 服从什 么分布，我们就用它的经验分布来代替真实分布，这样做是合理的原因是我们 能产生很多数据从图2 可以看出这组数据呈线性，但考虑到生物学知识可 以发现随着时间的增长氯离子的浓度就会在在一个很小的范围内震荡，而我 一1 6 第2 章自然的经验似然 们的线性模型就不能满足结合文献【2 l 】我们选模型函数为 g ( x ，p ) = 岛【1 一屁e ) 中( 一o 1 5 s s x ) 】 从模型函数可知当x 增大时9 ( x ，p ) 收敛到p 1 为氯离子的最终百分比浓度， 并且当x = 0 时p l ( 1 一统) 为氯离子的初始浓度通过这些信息我们可以选 取初值，利用非线性最小二乘法确定p 的置信域的大概范围，最后利用经验 似然法给出p 的经验似然置信域图3 又一次可以看到e l 方法比l s 方法 在置信域面积小 图3 应用于氯离子浓度的实验数据，基于e l 和l s ，慨，仍) 的9 5 置信域 一1 7 一 北京工业大学理学硕士学位论文 2 4 定理的证明 引埋2 1 假议足埋2 1 盱杀件厩豆，j l l ! l 当是参甄具值町，召 去善唧) ( 0 m ( 剐， ( 2 1 1 ) 去阢( p ) 孵( p ) 三( 卢) ， ( 2 1 2 ) 其中呻冲 e 2 警学 证 由( 2 3 ) 和( 2 4 ) 式知 哪) = 嗡叫聊) 】驾铲= 岛锷产， 又巩( p ) ，观( 卢) ，( p ) 独立同分布，且e ( 巩( 卢) ) = 0 ， v a r ( u 1 ( p ) ) = ef u l ( p ) u 1 ( p ) t 1 = v 1 ( p ) ， 故由中心极限定理得击喜阢( p ) 三( 。，( 剐另夕卜由大数定律易得 ( 2 1 2 ) 式成立 引理2 2 假设定理2 1 的条件成立，如果卢是参数真值，则当n _ o o 时，下列两式以概率1 成立 l m 渤a x i i 阢( p ) i i = o p ( n 1 2 ) ，( 2 1 3 ) 三n 勃i f f i l 阢( 胛- d p ( ( 2 1 4 ) 证 由( 2 4 ) 式有 e i i 仉( p ) 0 2 s u pe ( y l a g ( x l ；f 1 ) ) 2 i x l = z 】e0g ( 1 ) ( 墨，p ) 1 1 2 ， 第2 章自然的经验似然 此外，有 e ( y l c 一夕( 墨；卢) ) 2 1 确= 叫2 2 e y i 乞i x , = 叫+ 2 e 9 2 ( 。h ；卢) ， 凼此由条件( a 3 ) 和( a 4 ) ，得ei l 职【纠i | 0 0 从向根琚文歌【2 3 j 引理3 得 m a ，xl l 玩( p ) n = o p ( n 1 2 ) ，即证得( 2 1 3 ) 式成立 1 i n 由( 2 1 3 ) 式和强大数定律可得 击善i i 阢( p ) 1 1 坶m a s x ni i 阢( p ) i i 去i i 阢( p ) 2 0 p ( , , 1 2 ) 引理2 2 证毕 引理2 3 假设定理2 1 的条件成立，则有 i i 入i i = 0 刍( 礼一1 2 ) 证 记入= p 8 ，其中p 0 ，i i 伊l i _ - 1 令 驴= 丢喜叩) ，咋滕( 卧 代入( 2 8 ) 式，得 。= 瞧高i - | 耖喜蔫l = l8 t 匿一p 喜筹鬻 l 罢噻器端p 一十喜叫 币p e r y l 丽( z ) o 一水喜叫， 其中。( p ) = 三壹阢( p ) 呼( p ) 记为。) 的最小特征值，则有 南譬掣18tull p u 1 p u + 一 + 一 1 9 “ 北京工业大学理学硕士学位论文 由( 2 1 1 ) 和( 2 1 3 ) 式得u + = o p ( n 1 2 ) ，l 俨驴i = 0 p ( 礼一1 2 ) 简单计算，有 j d 【+ o p ( 1 ) 】= o p ( n 一1 2 ) 所以l iai i = p = o p - 1 2 ) 证毕 定理2 1 的证明令 y i = 入t 阢( p ) 由引理2 3 及( 2 1 3 ) 式，可得 m a x l i n = o p ( n 一1 2 ) 0 p ( n 1 2 ) = o p ( 1 ) 对( 2 8 ) 式应用泰勒公式，得 1 0 = n 妻i，h+=1 _ = 疗地入+ 丢喜 由引理2 2 和引理2 3 ，上式的最后一项 丢喜 曾1 巧列 阢( p ) 曾 1 一饿 0t r , ( f 1 ) i s 刈21 1 一m i 一1 = o p ( r 1 1 2 ) o p 一1 ) o p ( 1 ) = o p ( n _ 1 2 ) 因此，入= v x 。( p ) 一1 矿+ 矗，其中矗= o p ( n 一1 2 ) 对( 2 9 ) 式应用泰勒公式， 得 n f n ( p ) = 2 1 。g ( 1 + m ) =2 nn 乍一 忆 霄+ 2 依 i = 1i = 1i = l n = 2 n 入t 矿一n 入t v i 。( p ) a + 2 依 t = l = n c r r v l n ( p ) - 1 c r - 礼磋k n ( p ) 1 厶+ 2 r i 1 = = 上 第2 章自然的经验似然 由引理2 1 知，当礼一o 。时，n f f r v l - 。( p ) 一l 驴三x ；成立又 n 碍( 卢) 一1 晶= n o p ( n 一1 2 ) o e ( 1 ) o p ( n 一1 2 ) = o p ( 1 ) ， 2 l ：l 碾i 2 ci f 入i i 3 ：。i l 以( 卢) 0 3 = o p ( n q 2 ) 0 1 4 n 3 2 ) = o p ( 1 ) ， 其中c 为正的常数因此f ( p ) 0 ) ( 多证毕 2 5 本章小结 本章主要在删失变量分布g 已知时对响应变量y 进行数据变换得到y g 然后利用完全数据下的经验似然方法构造参数p 的置信域通过模拟我们得 到图形l ，从中可以清楚看出经验似然方法在确定置信域方面要比非线性最小 二乘法更精确通过氯离子浓度的试验数据我们又一次可以看到e l 方法优于 l s 方法 一2 1 北京工业大学理学硕士学位论文 第3 章调整经验似然 在删失分布g 未知时，第2 章所定义的经验似然比统计量z 。( p ) 不能直 接被计算解决这个问题的个很自然的想法就是用g 的k a p l a n - m e i e r 估计 g 来替代k 够) 中的删失分布g ，得到个估计经验似然比统计量k ( p ) 由 于在替代过程中也使原来在t 乱( p ) 中各分量的独立性失去，因此l n ( 卢) 的分布 不再是中心妒分布，而是标准x 2 分布的加权和受r a o 和s c o t t 4 5 思想的 启发，我们提出一种调整经验似然比统计量，证明其满足渐近x 2 分布 3 1 方法与结果 在g 未知时构造辅助向量反( 卢) = 9 ( 1 ( 五，p ) 一9 ( 鼍，p ) 其中 一垂 旦n - - i + 1 酝。9 万“刖， 五1 ) 级n ) 是样本 磊，t = 1 ，n ) 的次序统计量，文t ) 是对应于反i ) 的6 值，t = 1 ，n 于是我们可以得到估计对数经验似然 t ( 所= _ 2 m a x t 若1 0 9 ( 吼) b2 。，善鼽- 1 ，善鼽玩( p ) - 0 ，( 3 1 ) fnn n l 利用l a g r a n g e 乘子法，可得 t ( p ) = 2 l o g 1 + r o i ( p ) ) ， ( 3 2 ) 其中a 为方程 丢喜端一o 仕3 ， 为了下述证明简便起见我i f 弓l 入下面一些记号； q n ( s ) = ( x ass 】) 加 2 2 第3 章调整经验似然 ，t a g ( 舌) = 伊1