（概率论与数理统计专业论文）经验似然的理论与应用.pdf

摘要 经验似然作为一个构造置信域的非参数方法最先由o w e n ( 1 9 8 8 ，1 9 9 0 ，1 9 9 1 ) 提 出。o w e n 指出，对于未知分布f 的很多参数o ( f ) ，它们的经验似然比统计量和 参数似然一样具有妒分布因此和参数似然完全类似地，我们可以用它们的经验 似然比统计量构造置信域和进行假设检验事实上，正如o w e n 所言，t h o m a s & g r u n k e m e i e r l 9 7 5 年在用k a p l a n m e i e r 曲线估计生存概率时已经采用过这种方法。 之所以取名为经验似然是因为经验似然的定义中样本的经验分布起着核心作 用，事实上我们还可以由非参极大似然得到其它的非参似然如e u c l i d e a n 似然等。 然而只有经验似然的性质表现得更像是真正的“似然” 经验似然方法足以和经典方法如正态近似理论以及当前比较流行的方法如b 0 0 t - s t r a p 与j a c k k n i f e 相媲美和b o o t s t r a p 与j a c k k n i f e 一样，经验似然方法不用预先 给定数据所属的分布族又和参数似然方法类似，经验似然置信域的形状自动由数 据决定而不用预先给定，而只有相当复杂的b o o t s t r a p 方法才能做到让数据决定置 信域的形状而且经验似然置信域具有b a r t l e t t 可修正性，也就是说，简单的对经验 似然比统计量进行均值调整可以将置信域覆盖误差的阶从o ( n - 1 ) 降到0 ( n - 。) ，这 里n 表示样本容量，而通常b o o t s t r a p 置信域的覆盖误差只能通过b o o t s t r a p 迭代 的来降低另外，b o o t s t r a l t 方法需要尺度的稳健估计，加速偏差修正( a c c e l e r a t e d b i a sc o r r e c t i o n ) 方法需要估计偏度，而经验似然比置信域不需要估计尺度或者偏度。 经验似然比置信域甚至不需要构造枢轴量，园此在枢轴量比较难构造时尤其有效， 比如要求随机变量相关系数的置信区间，我们知道相关系数的方差很难估计，因此 枢轴量很难构造。而且经验似然比置信域具有保值域性和函数变换不变性，比如随 机变量相关系数的置信区间总是位于区间 - 1 ，1 】中，参数0 的函数g ( o ) 的经验似然 比置信域等于g 作用于0 的经验似然比置信域。这些优势通常都是b o o t s t r a p 所不 具备的。经验似然方法可以看成是不需要重复抽样的b o o t s t r a p 方法和不需要做参 数假设的似然方法 本文对经验似然的理论和应用进行了详细的阐述在第一节中我们回顾了参数 似然的一些性质，如x 2 收敛性，b a r t l e t t 可修正性和函数变换不变性等在随后 的几节我们将看到经验似然也具有这些性质在第二节我们给出了非参似然与经验 似然比的定义在第三。四节我们分别给出了均值及其光滑函数的经验似然理论与 计算方法第五节我们给出了经验似然置信域的几个改进办法，比如在样本容量比 较小时用f 分布临界值代替x 2 分布临界值，) ( 2 分布临界值的b a r t l e t t 修正和它 的b o o t s t r a p 估计方法通常由经验似然给出的双边置信区间与单边置信区间的覆 盖误差阶分别为o ( n “) 与o ( n 一 ) ，b a r t l e t t 修正将双边置信区问的覆盖误差降为 o ( n 一2 ) 而单边置信区间的覆盖误差仍然为o ( n 一；) ，通过对符号根纠正我们可以将 它降为o ( n o ) 。第六节我们将经验似然与估计方程结合起来，给出了通过似然方 程定义的参数的经验似然方法在最后两节我们给出了其它具有x 2 收敛性质的非 参似然比如e u c l i d e a n 似然及经验幂发散统计量的算法和性质，它们不能保证具有 b a r t l e t t 可修正性，最后我们给出了一类具有b a r t l e t t 可修正性的非参数似然。 关键词：b a r t l e t t 修正；b o o t s t r a p ；置信区间；置信域；覆盖误差；c r e s s i e r e a d 统 计量；e d g e w o r t h 展开；经验似然；估计方程；e u c l i d e a n 似然；似然；位置调整；非 参似然；伪似然；符号根修正 i i a b s t r a c t e m p i r i c a ll i k e l i h o o da s an o n p a r a m e t r i cm e t h o df o rc o n s t r u c t i n gc o n f i d e n c e r e g i o i l sw a si n t r o d u c e db yo w e n ( 1 9 8 8 ，1 9 9 0 ，1 9 9 1 ) o w e ns h o w e dt h a te m p i r i c a l l i k e l i h o o dr a t i os t a t i s t i c sf o rv a r i o u sp a r a m e t r i c s0 ( f ) o fa nu n k n o w nd i s t r i b u t i o nf h a v el i m i t i n g 妒d i s t r i b u t i o na n dm a yb eu s e dt oo b t a i nt e s t sa n dc o n f i d e n c er e g i o n s i nt h ew a yt h a ti sc o m p l e t e l ya n a l o g o u st ot h a tu s e dw i t hp a r a m e t r i cl i k e l i h o o d a s0 w e np o i n t so u t ，av e r s i o no ft h i st e c h n i q u ed a t e sb a c ka tl e a s tt ot h o m a s g r u n k e m e i e r ( 1 9 7 5 ) i nt h ec o n t e x to fe s t i m a t i n gs u r v i v a lp r o b a b i l i t i e sb yt h e k a p l a n - m e i e rc u r v e t h en a m e ”e m p i r i c a ll i k e l i h o o d ”w a sa d o p t e db e c a u s et h ee m p i r i c a ld i s t r i b u - t i o no ft h ed a t ap l a y s8c e n t r a lr o l e i ti sn o tt h eo n l yw a yt oe x t e n dn o n p a r a m e t r i c m a x i m u ml i k e l i h o o dt ol i k e l i h o o dr a t i o nf u n c t i o i l s a l t e r n a t i v en o n p a r a m e t r i cl i k e - l i h o o ds u c ha se u c l i d e a nl i k e l i h o o dh a v ei n d e e dd e v e l o p e d ，b u to n l yt h ee m p i r i c a l l i k e l i h o o db e h a v e 8m o r el i k eal i k e l i h o o d e m p i r i c a ll i k e l i h o o di sa s e r i o u sc o m p e t i t o rw i t hc l a s s i c a lm e t h o d ss u c ha sn o r - m a ia p p r o x i m a t i o na n dc o n t e m p o r a r ym e t h o d ss u c ha st h eb o o t s t r a pa n d j a c k k n i f e l i k et h eb o o t s t r a pa n dj a c k k n i f e ，e m p i r i c a ll i k e l i h o o di n f e r e n c ed o e sn o tr e q u i r eu s t os p e c i f ya f a m i l yo fd i s t r i b u t i o nf o rt h ed a t a l i k ep a r a m e t r i cl i k e l i h o o d ，e m p i r i - c a ll i k e l i h o o dr n m k ea l la u t o m a t i cd e t e r m i n a t i o no ft h es h a p eo fc o n f i d e n c er e g i o n s o n l yr e l a t i v e l yc o m p l e xb o o t s t r a pm e t h o d sc a l ll e tt h ed a t ad e t e r m i n et h es h a p eo f t h ec o n f i d e n c er e g i o n s e m p i r i c a ll i k e l i h o o dr e g i o n sa r eb a r t l e t tc o r r e c t a b l e t h a t i s ，as i m p l ec o r r e c t i o nf o rt h em e a no ft h ee m p i r i c a ll i k e l i h o o dr a t i or e d u c e sc o v e r a g e e r r o rf r o mo r d e rn 一1 t oo r d e rn _ 7 。w h e r end e n o t e ss a m p l es i z e w h i l et h ec o v e r a g ee r r o ro fb o o t s t r a pc o n f i d e n c er e g i o n sc a nu s u a l l yo n l yb er e d u c e db yb o o t s t r a p i t e r a t i o n t h eb o o t s t r a p - tm e t h o dc a nf a i lu n l e s sas t a b l ee s t i m a t o ro fs c a l ei sa v a i l - a b l e ，a n dt h ea c c e l e r a t e db i a sc o r r e c t i o nm e t h o d sn e e da ne s t i m a t o ro ft h es k e w n e s s w h i l ee m p i r i c a ll i k e l i h o o dr e g i o n sd on o tr e q u i r ee s t i m a t i o no fs c a l eo rs k e w n e s s ， a n de v e nd on o tr e q u i r ec o n s t r u c t i o no fa p i v o t a ls t a t i s t i c s oi t i sp a r t i c u l a a l ys u i t e d t oc i r c u m s t a n c e sw h e r et h ep i v o t a li sd i f f i c u l tt oa c h i e v e ，f o re x a m p l et oc o n f i d e n c e i n t e r v a le s t i m a t i o nf o rt h ec o r r e l a t i o nc o e f f i c i e n t ，w h o s ev a r i a n c ei sn o t o r i o u s l yd i f - f i c u l tt oe s t i m a t e w h a ti sm o r e ，e m p i r i c a ll i k e l i h o o dr e g i o n sa r er a n g ep r e s e r v i n g a n dt r a e s f o r m a t i o nr e s p e c t i n g f o re x a m p l e ，t h ee m p i r i c a ll i k e l i h o o dr e g i o nf o rt h e c o r r e l a t i o nc o e f f i c i e n ta l w a y sl i e si nt h ei n t e r v a l - 1 ，1 】 a n dt h ee m p i r i c a ll i k e l i h o o d r e g i o nf o rt h ef u n c t i o n9 ( e 1o ft h ep a r a m e t r i c 口e q u a l sgo ft h ee m p i r i c a ll i k e l i h o o d r e g i o nf o rp a l lt h e s ea d v a n t a g e sa r en o ts h a r e db yt h eb o o t s t r a p e m p i r i c a l1 i k e - i i i l i h o o dc a nb et h o u g h to fa sab o o t s t r a pt h a td o e sn o tr e s a m p l e ，a n d8 , sa l i k e l i h o o d w i t h o u tp a r a m e t r i ca s s u m p t i o n i nt h i sp a p e r ，w ed e s c r i b et h et h e o r ya n da p p l i c a t i o no ft h ee m p i r i c a ll i k e l i h o o di ns e c t i o nl ，w er e c a l ls o n l ep r o p e r t i e so ft h ep a r a m e t r i cl i k e l i h o o ds u c ha s x 2c o n v e r g e n c e ，b a r t l e t tc o r r e c t i o n ，t r a n s f o r m a t i o nr e s p e c t i n ga n ds oo n i ns e c t i o n 2 w ed e f i n et h en o n p a r a m e t r i c1 i k e l i h o o da n de m p i r i c a l1 i k e l i h o o dr a t i os t a t i s t i c i n s e c t i o n3a n ds e c t i o n4 ，w ed e s c r i b et h ee m p i r i c a ll i k e l i h o o dt h e o r ya n dc o m p u t a t i o n o ft h em e a na n di t ss m o o t hf u n c t i o n s i ns e c t i o n5 ，w ei n t r o d u c es o m ea p p r o a c h e s t oi m p r o v et h ee m p i r i c a ll i k e l i h o o dr a t i oc o n f i d e n c er e g i o n f o re x a m p l e ，w h e nt h e s a m p l es i z eni sm o d e r a t e ，w em a yu s ef - b a s e dc a l i b r a t i o ni n s t e a do f c a l i b r a t i o n a n da l s ot h ea p p r o a c ht oe m p l o yab a r t l e t tc o r r e c t i o n w ei n t r o d u c e dab o o t s t r a p m e t h o dt oe s t i m a t et h eb a r t l e t tc o r r e c t i o nv a l u ec o n f i d e n c ei n t e r v a l sb a s e do nt h e e m p i r i c a ll i k e l i h o o dt y p i e a l l yh a v e0 ( n “) t w o s i d e dc o v e r a g ee r r o r sa n do ( 礼一 ) o n e - s i d e dc o v e r a g ee r r o r s b a r t l e t tc o r r e c t i o nr e d u c e st h et w o - s i d e de r r o rt oo ( n 。1 b u tl e a v et h eo n e s i d e de r r o ra to ( n j ) w ed e s c r i b et h ec o r r e c t i o nt ot h es i g n e d r o o to f t h ee m p i r i c a l l i k e l i h o o dr a t i ot h a ta l l o w sc o n s t r u c t i o no f o n e s i d e dc o n f i d e n c e i n t e r v a l sw i t hc o v e r a g ee r r o r0 ( n _ 1 ) i ns e c t i o n6 ，w ec o m b i n et h ee m p i r i c a ll i k e l i h o o dw i t ht h ee s t i m a t i n ge q u a t i o n sa n dd e s c r i b et h ee m p i r i c a ll i k e l i h o o dm e t h o df o r t h ep a r a m e t r i cd e f i n e dt h r o u g ht h ee s t i m a t i n ge q u a t i o n s i nt h el a s tt w os e c t i o n ， w ei n t r o d u c e ds o m eo t h e rn o n p a r a m e t r i cl i k e l i h o o ds u c ha se u c l i d e a nl i k e l i h o o d a n de m p i r i c a lp o w e r d i v e r g e n c es t a t i s t i c s t h e ya r en o ta s s u r eb a r t l e t tc o r r e c t i o n i nt h el a s tw ei n t r o d u c eac l a s so fn o n p a r a m e t r i cl i k e l i h o o d st h a ta d m i tb a r t l e t t c o r r e c t i o n k e y w o r d s ：b a r t l e t tc o r r e c t i o n ；b o o t s t r a p ；c o n f i d e n c ei n t e r v a l ；c o n f i d e n c er e g i o n ； c o v e r a g ee r r o r ；c r e s s i e - r e a ds t a t i s t i c ；e d g e w o r t he x p a n s i o n ；e m p i r i c a ll i k e l i h o o d ； e s t i m a t i n ge q u a t i o n s ；e u c l i d e a nl i k e l i h o o d ；l i k e l i h o o d ；l o c a t i o na d j u s t m e n t ；n o n - p a r a m e t r i cl i k e l i h o o d ；p s e u d o - l i k e l i h o o d ；s i g n e dr o o tc o r r e c t i o n 。 i v l 参数似然 在本节我们简单介绍一下参数似然的方法和理论。设个参数模型( n ，g ，局) p ec 彤) 被一个a 一有限测度p 所控制，相应的密度函数为岛( x ) ( z ”，z 。) 是取 自该参数模型的样本( x l ，j 0 ) 的一组观测值，那么似然函数定义为从假定参数 模型取出该组样本观测值的概率，作为参数的函数记为 l ( 目；句，) = 厶( = 1 - i p ( z ； ( 1 1 ) = l 记参数0 的真值为岛，我们称使得样本观测值出现可能性最大的参数值8 为口。的 极大似然估计( m l e ) ，即 口2 。r g 搿l ( 馥。，z n ) ( 1 2 ) 因为对数函数的单调性，为求m l e ，我们可以等价地考虑对数似然函数 = l o g l ( 0 ) = 1 0 9 ( p ( ；盼 ( 1 3 ) 女= 1 由极值理论，我们通常可以通过解似然方程a t ( e ) a e = 0 来求0 在参数模型中，我们可以用参数似然比函数r ( o ) = l ( o ) l ( o ) 作为检验统计 量和构造置信域假设没有讨厌参数存在，并设n 1 2 目的渐近方差阵阶数为q 。根据 w i l k s ( 1 9 3 8 ) 的理论在一定的正则条件下有 一2 l o g r ( o o ) 二) ( ) ，n o o ( 1 4 ) 这样我们可以用 g = ( o i r ( o ) r )( 1 5 ) 作为0 0 的近似置信域，为得到近似1 一置信域，, - i 玮z = e x p ( 一x 磊”2 ) ，其 中) ( 孙表示分布x 毳) 的1 一。分位数一般情况下参数似然比置信域误差的阶为 0 ( n - 1 ) ，即 p ( 0 0 瓯) = 1 一a + o ( n 一1 ) ( 1 6 ) 参数似然比置信域具有b a r t l e t t 可修正性，即可以找到实数a ，令吒= e x p ( 1 + o 加) x 磊1 2 ) 将误差的阶降为o n 一2 ) ，即 p ( o o ( z 二) = 1 一“+ o ( n 一2 )( 1 7 ) 对于存在讨厌参数的情况，设我们感兴趣的参数是0 ，7 为讨厌参数。此时似然函数 为l ( o ，y ) ，通过极大化l 我们可以求得0 和7 的m l e ，分别记为自与。为求0 的置信域和对它构造检验统计量，我们考虑轮廓似然函数 r p ( o ) = l ( o ，) 肛p ，) ，( 1 8 ) 其中( 口) = a r g m x ，l ( o ，7 ) 对一2l o g ( r p ( o ) ) ，在一定条件下，仍有类似于无讨 厌参数时的妒收敛性及b a r t l e t t 可修正性 参数似然置信域具有函数变换不变性设q = 9 ( 口) ，g 为一一映照，那么”的 参数似然比置信域口，。与目的参数似然比置信域口+ e 满足 o ，。= g ( o ) l o 口，日)( 1 9 ) 2 非参似然与经验似然比 参数似然与参数似然比在参数模型中有着重要的作用，然而在实际应用中我们 往往没有理由假定我们的数据来自于某个参数模型对非参数模型，传统方法是用正 态近似来求置信域o w e n ( 1 9 8 8 ，1 9 9 0 ) 提出一种用经验似然比( e m p i r i c a ll i k e l i h o o d r a t i o ) 的方法构造置信域，并得出与w i l k s ( 1 9 3 8 ) 完全类似的分布收敛性质。事实 上，t h o m a s g r u n k e m e i e r ( 1 9 7 5 ) 已经用经验似然比函数得到生存概率的良好区 间估计，如今，经验似然方法已经得到广泛的发展与应用相对于b o o t s t r a p 方法。 经验似然置信域有很多优点，比如经验似然鬣信域的形状完全由数据央定而不是预 先指定；经验似然置信域和参数似然置信域一样具有b a r t l e t t 可修正性和函数变换 不变性；经验似然蔑信域不需要构造枢轴量，因此在枢轴量不好构造时尤其有效。 定义l 设x 1 ，置。j 一是来自分布函数局的i f d 向量，它们的经验分 布定义为 1 三 f n ( t ) 2 言厶一0 0 捌( 托) ，t ( 21 ) ”仁1 其中对于任何a = ( a l ，n 。) r 4 ，( 一。，】表示集合( 一。o ，a l 】x ( 一o 。，o d 定义2 设x 、彤是来自分布函数f 0 的ild 向量，定义掣上的 分布函数f 的非参数似然泛函为 n l ( f ) = i ip f ( 托) ) ， ( 2 2 ) ；= 1 其中p c 表示分布函数f 对应的概率测度 定理1 设x l ，r 4 是来自分布函数昂的ii d 向量，r 为其经验 分布，那么对于r d 上的任何分布f ，有l ( f ) l ( r ) ，其中等号成立当且仅当 f = r 。 证明：k i e f e r w b l f o w i t z ( 1 9 5 6 ) 由定理1 ，f 竹为晶的非参极大似然估计( n p m l e ) 我们知道，在参数模型 中，若的m l e 为日，那么q 的函数口= 口如) 的m l e 为9 = p ( 日) 。同样地对非 2 参模型，若我们感兴趣的参数为日= 丁( f ) ，t 为统计泛函，那么口的n p m l e 为 自= t ( r ) 例如f 的均值芦= f x d f 的n p m l e 为口= f x d f , ，= 贾，即样本均 值。 定义3 设x m ，是来自分布函数f 0 的i i d 向量，r 为其经验分 布，那么对于上的分布f i 定义似然比 r ( f ) = l ( f ) l ( 凡)( 2 3 ) 为f 的经验似然比泛函 为得出与参数似然类似的似然比置信域，我们引进轮廓经验似然比函数定义如 下t 定义4 设x 1 ，剜是来自分布函数f o 的 id 向量，f - 为_ r 4 上的 一个分布函数的集合，那么对参数日= t ( f ) ，定义轮廓经验似然比函数为 搋( 口) = s u p r ( f ) i t ( f ) = 8 ，f f ) ( 2 4 ) 我们将会看到，对某些参数口= t ( f ) ，我们可以用与( 1 5 ) 类似的 g = 目l 驼( 9 ) r )( 2 5 ) 作为它的置信域 首先，若各五互不相同，记p i = 斥( 墨 ) ，其中p i 0 ，：。鼽l 。那么 我们有l ( f ) = n 竺1p l ，l ( r ) = n 一，从而 即，= 器= 如。 若x 。中有相同的，我们设其中有k 个不同的值z ”，玩，每个五出现次，并 设p 。= 斥( ( 五 ) ( 1 i 冬) 则工( f ) = n 坠。西。，工( r ) = 兀笔1 ( 詈) 。我们取 i ，w n 使得 w j 0 ，w j = p f ，( 1 i 惫，1sj 茎哟 ：x j = 五 我们知道和一定的1 t 1 个数当且仅当它们全部相等时乘积最大，因此 由此根据轮廓经验似然比函数定义，我们可以用兀：。n 姒代替r ( f ) 将得到同样 的跹( e ) ，从而得到同样的置信域c t ，以下我们总是令r ( f ) = ：ln w 。其中 t 0 ，銎。毗l ，厅( 墨) ) = ，：置；z 。屿 3 fr j i rlfl | | 坠啦 。跚 = n 。 宅鲁m 其次，我们指出，为使得g 有意义，需要限定f 的范围事实上，若不然，考 虑参数日为分布的均值，令f = ( 1 一) r + 5 以，其中如表示以概率1 取值x 的 分布函数则易知对这个分布函数f 有 t _ t n l o r ( f ) 等；云耳= ( 1 一) “， l i i = i “ 这样对任何r ( 0 ，1 ) ，总可以足够小的正数使得r ( f ) 2 ( 1 一e ) “ r 而易知分 布f 的均值为( 1 ) 贾+ 6 x 随x 的任意性总可以取到整个因此对任意0 刑 都有睨( 口) r ，从而口= 副失去置信域的意义为了解决这个问题，我们将f _ 界 定为样本上的多项式分布族，即 f = fj f 一 出 一舻 i i k m 。m n 。 强 j | 豫 其中a r 4 ，7 r 为l a g r a n g e 算子，令g 对w f 的偏导为0 ，有 昙里：一1 一n a ，( 五一卢) + 7 ：o ，( 4 4 ) o w lw l 将上式两边同乘以w 并对i = 1 ，n 求和，得 孓筹= 州= 。 从而7 = 一n ，将它带入( 4 4 ) 式可得 11 毗5 元再可厕 再将w i 带入：1 姚( 置一p ) = 0 得a = a ( 肛) 满足 j 娄褊= 。 对上式中的解a = a ( p ) ，我们有 ( 4 5 ) ( 4 6 ) 瓣( p ) = ( 1 + a ( 肛) 7 一肛) ) ( 4 7 ) z = 1 4 1 1 样本维数d = l 的情形 令( 46 ) 中的和式为9 ( a ) 当d = l 时，有 舭，= 娄焉南砘 s ， 此时g 对a 的导数为 扒胪一喜稿姐 因此g ( a ) 是a 的严格单调递减函数，又由兀翟l 在w 上存在唯一极大值可知( 4 8 ) 必然存在唯一的根a ( 肛) 使得由( 4 5 ) 确定的w = ( w l ， 。) w 使得兀羔。n w t 取到极大值因p 在内部由( 4 5 ) 式中各w l 1 得 ；雨赤而 ：一1 7 ( 4 9 ) 由于“在内部，因此我们有x ( 1 ) 1 时，( 4 6 ) 式中的和式 。2 编 不再具有单调性，因此上述求 的方法不再适用此时我们令 ，( a ) = 一l 。g ( 1 + a 7 一p ) ) ( 4 1 1 ) 注意到一9 ( a ) 恰好是，( a ) 对a 的梯度函数，因此( 4 6 ) 中的解a = a ( 扯) 是函数 ，( a ) 的平稳点。 由( 4 5 ) 式及各”f 【0 ，1 】我们有 1 + 7 ( x l p ) 二，1s i n ( 4 1 2 ) 设上述1 1 个半平面的交集为d ，由弘在内部且维数为d 知d 为有界闭凸集， 又显然 = 0 d ，因此d 不是空集 ，( ) 对a 的h e s s i a n 矩阵为 踟，=妻i鲁端=1 由肛在内部且维数为d 知h ( a ) 在d 上正定，从而f ( a ) 是d 上的严格凸 函数，由严格凸函数性质知f ( a ) 在d 上有唯一极小值，而对应的 就是( 4 6 ) 式 的解 至此，我们将求瞬( p ) 的条件极值问题转化成了求严格凸函数，( a ) 在d 上的 无条件极值问题为考虑问题方便我们想办法将f ( a ) 延拓到整个而且保持严 格凸性定义新函数 魄如，= 扎。砌。一掣，耋蓦 8 易知函数l o g ( ；) 的一阶导函数与二阶导函数分别为： 珈，= 弦碱蓑 与 ，= 鬟i ： 由此可见函数l o 臣( 。) 作为l o g ( z ) 的延拓在上两次连续可导且为严格凹函数现 在我们令 ( ) = 一l o g + ( 1 + a ( 置一p ) ) ， ( 4 1 3 ) 则函数 ( a ) 是，( ) 从d 到r d 的延拓而且是上的严格凸函数因此p 时使得，( a ) 在d 上取得唯一极小值的a 必然使得 ( a ) 在上取得唯一极小值， 从而我们只需求出函数 ( a ) 在础上的唯一极小值点a 即为( 4 6 ) 的解我们采 用n e w t o n 最小二乘迭代法首先易知，( ) 关于a 的梯度函数与h e s s i a n 矩阵分 别为， v ( a ) = 一l o 正( 1 + a 7 ( x l 卢) ) ( x 。一p ) ， 与 如( ) = 一1 碟( 1 十a 协一一卢) ) 陇一曲( 墨一p ) 7 为简便计，我们令j 为n d 的矩阵，它的第i 行为 以2 一1 0 9 ：( 1 + ( x p ) ) 】5 ( 五一2 茹鬟= 二) ) ： fi 垫= g ) ： y 为n 维列向量，它的第i 个元素为 故= f = ! 暑耋笔i i = 端= 1 2 一。，+ 。五一肛， 一 卜l o g ：( 1 + a ( 砭一肛) ) i【 一n ( 1 + a 7 ( 五一肛) ) 则上述梯度函数与h e s s i a n 矩阵可以写成 v f + ( a ) = - j g ， 与 h i 吣= 33 迭代算法为 - a + ( j 7 ，) 一1 j 7 v ， l + 7 ( x ；一p ) l + a 7 ( 五一p ) s ： l4 - a ( 五一p ) i 1 + a7 ( 。墨一p ) si ( 4 1 4 ) 上述迭代的极限值a = a ( p ) 即为 ( a ) 的极小值点，而且易知l o g 瓣( 卢) = ( a ( p ) ) 。 需要指出的是，上述迭代运算并不需要事先确定p 事实上，当肛时， 上述迭代产生的a 的范数盼将趋向无穷大。从而由( 4 5 ) 式确定的各毗的和小 于1 我们可以通过这一点来判断“是否在中而不用预先考察，而当维数大 于2 时，预先考察这件事是不太容易的 4 2 均值的轮廓经验似然比曲线与置信域 为求均值的置信域，我们需要按照4 1 中的方法求出一系列瓣( 地) 并绘制出函 数跪( p ) 的曲线，然后利用( 3 3 ) 式即可。对最简单的情形d = l ，为绘制瓣( p ) 的曲线， 我们需要求出一系列虢( m ) 并将各( 虢( m ) ) 连接起来。考虑到r ( x ) = l ，我们从 x 开始向两边延伸先考虑右边，令地= x 十z j ，其中i 0 为整数，6 为正数我们 依次算豌( 胁) 直到l o g ( 瓤“) ) 太小或者硒 x ( 。) 显然a ( 芦o ) = 0 ，而且a ( 肼) 可以 作为寻求a ( 胁+ 1 ) 的初值一般l o g ( 地) ) - 2 5 时即可停止计算用同样的方法往 左边延伸为尽量减少计算量又不至于曲线上的点太少，我们选取适当大小的6 使 得肛。的9 5 置信区间上包含上述2 0 个左右的胁设8 2 = ( n 一1 ) - 1 ：】( 五一x ) 2 是样本方差，由正态近似理论我们知道p o 的9 5 置信区间长度近似为4 s n 一女，因 此我们取d = 0 2 s n j 即可 关于连接各( 阪，虢) ) 的方法，因为函数l o g ( p ) ) 在声= x 酣近是近似二次 的，因此我们可以先在( 胁，1 0 9 ( 睨( 胁) ) ) 之间用样条函数插值，然后将插值点( x ，y 3 ) 对应到( 奶，e ”) 即可对于极少数通过这种转换后e ”超过1 的情况，我们可以插 入更多的( 肛，豫( p ) ) 或者直接用直线联结相应的( m ，驼( 地) ) 5 1f 临界值 其中 5 经验似然置信域的改进 根据o w e n ( 1 9 9 0 ) 中关于定理2 的证明我们知道，当正定时， 一2l o g 虢( p o ) = n ( 露一p o ) 7 s 一1 ( 牙一j o ) + o p ( 1 ) ， ( 5 1 ) s = ? 2 - i = _ 1 ( j 墨一p 。) ( _ k 一越。) 7 我们知道h o t e l l i n g 的t 2 分布 t 2 = n ( 贾一枷) 7 爵1 ( 贾一p o ) )( 5 , 2 ) 1 0 晶2 i 与( 五一贾) ( 置一贾) 7 是总体方差阵的无偏估计不难知道 s ：兰- 三土& + ( 贾一p 。) ( 贾一肋) ， 礼 由矩阵求逆公式有 = 鲁嚣1 一箐n 翥- 1 - 若翁- 器n - l ，( 5 。) 从而 n ( x - 。o _ 1 ( 脚0 ) _ 当丁2 一番 = 鲁t 。【l _ 鼎】 n n 21 = t 2 ( 1 + ! 二b 一1 = t 2 + 。p ( i ) 依大数定律及中心极限定理有 n ( 戈一p o ) 。s 一1 ( 贾一肋) 一x 乙) ，n 一o 。 但n 比较小时，由于总体方差阵e 未知，因此采用t 2 分布更合理我们知道当x i 是正态分布时 丁2 = n ( 贾一蛐) 岛1 ( 贾一p 。) t 2 ( d n 1 ) 一号三半乃，a ( 5 4 ) 由中心极限定理上式对非正态分布的墨也近似成立，因此当n 比较小时我们可以 用垒n _ 1 - d 8 a 。 d ，d 代替x ) 通过随机模拟我们可以看到用这种f 分布的临界值得到 的置信域比用妒分布的覆盖率高 5 2x 2 临界值的b a r t l e t t 修正 根据定理2 ，在总体4 阶矩有限时，有 尸( 一2 l o g 箝( 芦o ) ：) = 尸( x 孙s ；) 十o ( n 一1 7 2 ) ( 55 ) 根据d i c i c c i o ，h a l l r v m a n o ( 1 9 9 1 ) 假设原分布f 0 满足c r a m 南条件即 l i ms u pj e ( e x p ( i t x ) ) i 。( 其中j 为虚数单位，t 为d 维实向量) ， l l t l l + 并且