（概率论与数理统计专业论文）删失回归模型中若干统计问题的研究.pdf

中国科学技术大学博士学位论文 摘要 响应变量受限制( l i m i t e dd e p e n d e n tv 撕a b l e ( l d v ) ) 模型在计量经济学研究中 有着广泛的应用，它是一种很重要的模型，而且计量经济学中许多重要的进展都 与l d v 模型有关。一般情况下，l d v 模型的响应变量被限制在实数集合的某一个 子集( 区间) 内。l d v 模型包含截断响应变量模型( t r u n c a t e dd 印e n d e n tm o d e l ) 和删 失响应变量模型( c e n 8 0 r e dd e p e n d e n tm o d e l ) ，截断响应变量模型是指响应变量从一 个不完全总体( i n c o m p l e t ep o p u l a t i o n ) 中抽取，而删失响应变量模型是指响应变量 来自于完全总体( c o m p l e t ep o p u l a t i o n ) ，但是个体观测值低于( 或高于) 某一给定值时 不能被指定。本文研究的删失回归模型( t o b i 毛模型) 是一种特殊的响应变量受限 制模型，它的响应变量受非负限制，我们只能观测到响应变量不小于0 的部分。对 于删失回归模型，本文研究的主要问题包括三方面：删失回归模型中的回归参数 的l a s s o 型变量选择和估计，回归系数线性假设检验的随机加权逼近以及删失回 归模型中的转变点估计和收敛速度。 首先，本文提出了删失回归模型中自变量是固定设计向量时回归参数的一 种l a s s o 型变量选择准则和估计方法。模型( 变量) 选择在建模时是一个很重要的研 究环节。对于删失回归模型，变量选择问题在目前文献中研究的比较少。本文给出 了一个l a s s o 。型变量选择和估计方法：多样化惩罚三1 限制方法( d i v e r s ep e n a l t y 三l c o n s t r 缸n tm e t h o d ( d p l c ) ) 。d p l c 方法一方面可以选择显著非0 的参数( 相应的变 量) ，另一方面可以给出这些参数的一个估计。在一些条件下，我们建立了该估计的 相合性质和渐近分布性质。我们在模拟研究中比较了d p l c 方法和最优子集选择方 法( b e s ts u b s e ts e l e c t i o nm e t h o d ( b s s m ) ) 在选取变量和估计方面的能力。大量的模 拟结果表明：d p l c 方法具有和b s s m 方法几乎一样的效果。然而，当变量个数较大 时，b s s m 方法因计算量大而不可行。 其次，我们考虑了删失回归模型中自变量是固定设计向量时线性假设检验的一 种随机加权逼近方法。删失回归模型中的线性假设检验已被广泛研究，但是以往检 验统计量的极限分布中含有未知误差分布密度这个冗余参数，确定检验的临界值比 较困难，尤其当样本量比较小时，误差分布密度的估计准确度比较差。本文利用随 机加权方法给出删失回归模型中线性假设检验的一种随机加权统计量，使用该随机 加权统计量的条件分布来逼近检验统计量在原假设下的分布。在一些条件下我们证 明了，不论在原假设下还是在局部对立假设下，随机加权检验统计量在给定观测值 第1 页 中文摘要 的条件下的条件渐近分布和检验统计量在原假设下的渐近分布相同。因此我们不需 要估计冗余参数，利用随机加权方法可以确定检验线性假设的临界值。对给定的名 义显著水平，重复生成随机权变量，得到随机加权检验统计量的加权版本序列，然 后用这些加权版本的( 1 一名义显著水平) 样本分位数作为检验统计量的临界值，而当 检验统计量大于此临界值时，否定原假设。容易证明，在给定检验水平时，由随机 加权统计量确定临界值的检验和估计冗余参数得到临界值的检验具有相同的渐近水 平，并且在对立假设下具有相同的渐近效函数。模拟研究结果表明随机加权统计量 的条件分布能够很好地逼近检验统计量在原假设下的分布。 最后，本文研究了删失回归模型中自变量是随机向量时转变点的估计问题。转 变点问题一直是统计学申很热门的一个研究方向，人们对它的关注起源于工业自动 化控制。随着社会的发展，转变点模型在经济、金融、计算机等方面有着越来越广 泛的应用。对于删失回归模型，我们提出了转变点的一个非参数估计，在一些条件 下获得了它的强相合性；同时也得到了此估计的几乎处处收敛速度0 ( n 一言l o g 礼) 。数 值模拟结果显示我们所得结果是合理的。 关键词：删失回归模型，l a s s o ，变量选择，线性假设检验，随机加权逼近，局部 对立假设，转变点，收敛速度 第1 i 页 中国科学技术大学博士学位论文 a b s t r a c t l i m i e dd e p e n d e n tv 龃i a b l e ( l d v ) r e g r e s s i o nm o d e 】i sa 访r t u a lm o d e la n d 祈d e l y 1 1 s e di ne c o n o m e t r i c ss t u d i e s m o r e o v e r ，m a n yi m p o r t a n ta d v a n c e so fe c o n o m e t r i c s s t u d i e sa r er e l a t e dt ol d vm o d e l g e n e r a l l y ，r a n g eo fr e s p o n s ev a r i a b l ei nl d v i n o d e li sr e s t r i c t e dt oas u b s e t ( i i l t e r v a l ) o ft h er e a lh n e l d vm o d e li n c l u d e st r u n c a t e d d e p e n d e n tm o d e l a n dc e n s o r e dd e p e n d e n tm o d e l ，w h e r er e s p o n s ev a r i a b l e so ft r u n c a t e d d 印e n d e n tm o d e la r es a m p l e df r o ma ni n c o m p l e t ep o p u l a t i o n ，a n dt h o s eo fc e i l s o r e d d e p e n d e n tm o d e la r eg e n e r a t e df r o mc o m p l e t ep o p u 】a t i o nb u ti n d i 访d u a l s v a l u e sa r e n o ts p e c i f i e dw h e nt h e ya r el a r g e r ( s m a l l e r ) t h a no n ep r e s e tv a l u e c e n s o r e dr e 伊e s s i o n ( d b i t ) m o d e ls t u d i e di nt h i sp a p e ri s as p e c i a ll d vm o d e lf o rw h i c hr e s p o n s e v a r i a b l eh a u san o n n e g a t i v el i m i t a t i o n ，w h e r eo n l ys e g m e n to fr e s p o n s ev a r i a b l eb e i n g 1 1 0 tl e s st h a n0c a nb em e a s u r e d f 打c e n s o r e dr e g r e s s i o nm o d e l ，t l l i sp a p e rm a i n l y p r e s e n t s3 粕p e c t so fr e s e a r c h 、) l ，o r k ：l a s s o t y p ea p p r o a c ht ov a r i a b l e ss e l e c t i o na n d e s t i m a t i o no fr e g r e s s i o np 缸锄e t e r s ，r a n d o m l yw e i g h t e da p p r o 妇m a t i o nm e t h o df o r l i n e a rh y p o t h e s i st e s ts t a t i s t i co fr e g r e 8 s i o nc o e m c i e n t sa n dc h a n g e - p o i n te s t i m a t i o n i nc e 璐o r e dr e g r e s s i o nm o d e la n di t se o n v e r g e n c er a t e f i r s t ，t h i sp a p e re s t a b l i s h e 8al a s s o t y p e 印p r o a c ht ov a r i a b l e ss e l e c t i o na n d e s t i m a t i o no fr e g r e s s i o nc o e m c i e n t si nc e n s o r e dr e g r e s s i o n 珥o d e l ，w h e r ee x p l a n a t i o n v a r i a b l e sa r ek n o w nd e s i g np o i n t s m o d e l ( v 懿i a b l e s ) s e l e c t i o ni sa ne s s e n t i a lp a r ti n m o d e lc o n s t r u c t i o n f b rc e n s o r e dr e g r e s s i o nm o d e l ，8 t u d i e so fv a r i a b l e ss e l e c t i o na r e f e wa tp r e 8 e n tr e f e r e n c e 8 w bp r o p o s eal a s s o t y p em e t h o df o rv a r i a b l e 8s e l e c t i o n a n de s t i m a t i o n ：d i v e r 8 ep e n a l t yl lc o n s t r a i n tm e t h o d ( d p l c ) d p l cm e t h o dc a n s e l e c tw l r i a b l e sw h o s ec o e m c i e n t sa r es i g n i f i c a n t l yn o n z e r o ，w h i l eg i v i n ga ne s t i m a t o r o ft h ec o r r e s p o n d i n gc o e m c i e n t s u n d e r8 0 m ec o n d i t i o n s ，憎g e tc o n s i 8 t e n tp r o p e r t y o ft h i se 8 t i m a t o ra i l di t sa s y m p t o t i cd i s t r i b u t i o n i ns i m u l a t i o ns t u d i e s ，a b i l i t yo f s e l e c t i i 培v 甜i a b l e sa n de s t i m a t i o no fd p l cm e t h o di sc o m p a r e dw i t ht h a to fg e n e r a l l y b e s ts u b s e ts e l e c t i o nm e t h o d ( b s s m ) e 赃e i l s i v es i m u l a t i o n8 t u d i e ss h o wt h a td p l c a l m o s tp o s s e 8 s e st h es a m ep e r f o r m a n c ea sb s s m w h e nm m l b e ro fv a r i a b i e si 8h u g e ， h o w e v e r ，b s s mm e t h o di sd i 伍c u l t l yi m p l e m e n t e d s e c o n d ，w ep r o p o s ear a n d o m l yw e i g h t e da p p r o x i m a t i o nm e t h o df o rl i n e a rh p p o t h e s i st e s ts t a t i 8 t i ci nc e i l s o r e dr e 孕e s s i o nm o d e i ，w h e r ee x p l a n a t i o nv a r i a b l e sa r e k n o w nd e s i g np o i n t s l i n e a rh y p o t h e s i st e s tp r o b l e mh a sb e e nw i d e l ys t u d i e di nc e n - s o r e dr e g r e s s i o nm o d e l ，h 弧他v e r ，a s y m p t o t i cd i s t r i b u t i o no ft h ec o m m o nt e s ts t a t i s t i c i n c l u d e san u i s a n c ep a r a m e t e r ，d e 璐i t yo fe r r o rd i s t r i b u t i o n t h e r e f o r ec r i t i c a lv a l l u e w h i c hi su t i l i z e dt ow h e t h e rr e j e c tt h en u l lh y p o t h e s i so rn o ti sd i 伍c u i t l yd e t e 珊i n e d 第1 i i 页 e s p e c i a l l yw i t hs m a l ls a m p l es i z e ，e s t i m a t i o no fe r r o r sd e 璐i t yi sg r e a t l yr o u 曲i nt h i s p a p e rw eu s er a n d o m l yw e i g h t e dm e t h o dt oc o n s t r u c tar a n d o m l yw e i g h t e dt e s ts t a t i s t i cf o rl i n e a rh y p o t h e s i 8t e s t 。a n du t i l i z ec o n d i t i o n a ld i 8 t r i b u t i o no ft h ew e i g h t e dt e s t s t a t i s t i ct oa p p r o x i m a t et ot h en u l ld i s t r i b u t i o no ft h et e s ts t a t i s t i c g i v e no b 8 e r v a t i o n s a m p l e s ，u n d e rs o m ea s s u m p t i o n s 、ep r o v et h a tt h ec o n d i t i o n a ll i m i t i n gd i s t r i b u t i o n o ft h ew e i g h t e dt e s t8 t a t i s t i c ，n om a t t e rt h en u l lh - y p o t h e s i so rl o c a la l t e r n a t i v ei s t r u e ，i 8s a m ea st h en u l lh m i t i n gd i s t r i b u t i o no ft h et e s ts t a t i s t i c c o n s e q u e n t l y w e d on o tn e e dt oe s t i m a t et h e 肌i s a n c ep a r a m e t e ra n du 8 er a n d o m l y 、e i 曲t e dm e t h o d t od e t e r m i n et h ec r i t i c a lv 以u e f o rap r e s e tn o m i n a ls i g n i f l c a n c el e v e l ，i t e r a t i v e l y m a k er a n d o m l y 、阳i g h t e dv e r s i o no ft h ew e i g h t e dt e s ts t a t i s t i cb yg e n e r a t i n gr a n d o m l y w e i g h t e dv a r i a b l e s ，a n dt a k e ( 1 一n o m i n a ls i g n i f i c a n c el e v e l ) q u a n t i l eo ft h e s er a n d o m l y 、e i g h t e dv e r s i o i l sa so u rc r i t i c a lv a l l u e w h e nt h et e s ts t a t i 8 t i ci sl a r g e rt h a nt l l i s c r i t i c a lv a l u ew er e j e c tt h en u l ih y p o t h e s i s i t i 8e a s yt os h o wt h a t ，g i v e nn o m i n a l s i g n i f i c a n tl e v e l ，t h et e s tw i t hc r i t i c a lv a l u ed e t e r m i n e d1 ) yt h ew e i g h t e dt e s t8 t a t i s t i ch a st h es a m ea u s y m p t o t i c1 e v e la i l da s y m p t o t i cp o w e ru n d e rt h ea l t e r n a t i v ea st h e t e s tw i t hc r i t i c a lv a l u eo b t a i n e db ye s t i m a t i n gn u i s a n c ep a r a m e t e r s i m u l a t i o ns t u d i e 8 s h o wt h a tt h ec o n d i t i o n a ld i s t r i b u t i o no ft h ew e i 曲t e dt e s ts t a t i s t i ci sr a t h e rc l o s et o t h en u l ld i s t “b u t i o no ft h et e 8 ts t a t i s t i c f i n a l l yt h i sp a p e ri n v e s t i g a t e sc h a n g e p o i n tp r o b l e mi nc e n s o r e dr e g r e s s i o nm o d e l s t u d i e so fc h a n g ep o i n tp r o b l e ma r ea l w a y 8p o p u l 盯i s s u eo fs t a t j s t j c sa n dd e r i v ef r c 髓 t h ea u t o m a t i cc o n t r o lo fi n d u s t r y a s8 0 c i a l i t yd e v e l o p i n g ，c h a n g ep o i n tm o d e lh a s m o r ea n dm o r ea p p l i c a t i o ni nm a n y 五e l d s ，s u c ha se c o n o m e t r i c ，e n a n c e ，c o m p u t ea n d s oo n t h i sp a p e rs t u d 砖e s t i m a t i o np r o b l e mo fc h a n g ep o i n ti nt h ec o n t e x t0 fe x i s t i n g a tm o s to n ec 1 1 a 1 1 9 ep o i n ti nc e n s o r e dr e g r e s s i o nm o d e 】，w h e r ew ec o l l s i d e rr a n d o m l y e x p i a n a t i o nv a r i a b l e s an o n p a r a m e t r i ce s t i m a t o ro fc h a n g ep o i n ti sp r e s e n t e da n di t s s t r o n gc o n s i s t e n tp r o p e r t yi so b t a i n e du n d e rs o m ec o n d i t j o n s f i u r t h e r m o r e ，w ea c h i e v e t h ea l i i l o s ts u r ec o n v e r g e n tr a t eo fc h a n g e p o i n te s t i m a t o r ，0 一l o g 佗) s i i l l u l a t i o n s t u d i e 8s h o wt h a to u rr e s u l t sa r er e a s o n a b l e k e y w o r d s ：c 您佗s d r e dr 留r e s s i d n 胁如二a s s d 耽疵0 6 f es e 2 e c 统d 伤三饥e 口r 曰细d 玩e s 妇 ：r e 8 z ，r 口n d d m 2 詈耽匆危e da p p ，d z i 盯l 口i d n ，三d c n za j t e r 佗口i 口e ，l 二犰口r 够e p d i 访句c f d 仃t 7 e 7 1 夕e 死r 口t e 第1 v 页 中国科学技术大学学位论文相关声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作 所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任 何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的贡献均已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权，即：学 校有权按有关规定向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 保密的学位论文在解密后也遵守此规定。 作者签名：兰! 皇堡 2od 陴箩月l 弓日 中国科学技术大学博士学位论文 第1 章绪论 如果响应变量在它的某个取值范围内受到限制，例如响应变量受到测量能力 的最大取值或最小取值的限制等，则我们称这种模型为响应变量受限制f l i m i t e d d e p e n d e n tv 打i a b l e ( l d v ) ) 模型。一般情况下，l d v 模型的响应变量被限制 在实数集合的某一个子集( 区间) 内。l d v 模型包含截断响应变量模型( t r u n c a t e d d e p e n d e n tm o d e l ) 和删失响应变量模型( c e i l s o r e dd 印e n d e n tm o d e l ) ，截断响应变量 模型是指响应变量从一个不完全总体( i n c o m p l e t ep o p u l a t i o n ) 中抽取，而删失响应变 量模型是指响应变量来自于完全总体( c o m p l e t ep o p u l a t i o n ) ，但个体观测值低于( 或 高于) 某一给定值时不能被指定。 l d v 模型是一种很重要的模型，它在计量经济学研究中有着许多重要的应用， 且计量经济学中许多重要的进展都与l d v 模型有关。下面给出一些l d v 模型的例 子，我们想研究房屋的年龄和家庭收入对家庭引用水含铅量的影响，当水的含铅浓 度低于某一个特定值( 5 p p t ) 时，测量仪器就不能检测到水的含铅浓度，那么测量到 的数据受到5 p p t 的限制。类似，我们想利用以往的剧院门票售出量来研究剧院门票 的需求量，但是有时门票会被买空，因此需求量受到剧院的座位数的限制。这两个 都是关于删失响应变量模型的例子，接下来给出一个截断响应变量模型的例子，我 们想调查汽车的价格和消费者收入之间的关系，但是有些消费者对购买汽车不感兴 趣，无论汽车价格多低，他们都不会购买，于是调查的人群中不会包括这部分消费 者，调查得到的数据来自于一个部分总体。在回归模型中，也有许多其它的关于响 应变量被限制的例子。 本文研究的删失回归模型( “t 0 b i t ”模型) 是一种特殊的响应变量受限制模型， 它的响应变量受非负限制，我们只能观测到响应变量不小于o 的部分。假设在线性回 归模型中， k = z ：风+ e ，z = 1 ，礼， 第1 页 1 1 删失回归模型的研究历史 只有k + = k ，( k 0 ) 和甄是可观测的，其中，( ) 表示示性函数，既是一个p 维向 量，e i 是随机误差，岛是p 维未知回归系数向量。 这种模型可以改写为： + = ( z ：风+ e t ) + ，i = 1 ，2 ，礼( 1 1 ) 我们称这种对响应变量有非负限制的回归模型为删失回归( 或者“t 0 b i t ，) 模型。 这个模型最早由t o b i n ( 1 9 5 8 ) 研究，由于他的研究与概率分析( p r o b i ta n a 蚵s i s ) 有 关，g o l d b e f g e r ( 1 9 6 4 ) 命名这种模型为“t 0 b i t ，( t o b i n sp r o b i t ) 模型。 本文绪论的第一部分简单介绍删失回归模型的历史背景，包括参数估计的渐近 性质和线性假设检验两方面。第二部分简单介绍作者本人关于删失回归模型的研究 工作，主要包括三方面：回归参数的l a s s o 型变量选择和估计，回归系数的线性 假设检验的随机加权逼近以及删失回归模型中的转变点估计和收敛速度。 1 1 删失回归模型的研究历史 删失回归模型已经被广泛的研究，主要由两方面组成： ( 1 ) 模型中参数估计的渐近性质的研究，包括研究参数估计的相合性质以及渐近分 布等； ( 2 ) 模型中参数假设检验问题的研究，包含提出各种各样的检验统计量和研究它们 在原假设下的极限分布等。 1 1 1l a d 估计的渐近性质 在介绍删失回归模型的研究历史之前，先描述一些标准的假设条件，这里我们 区分模型( 1 1 ) 的两种情况： 情形1 假设1 戤 是已知的设计点列，且 ( a 1 ) e 1 ，e 2 ，是一列独立同分布随机变量序列，e - 的分布函数f 的中位数 是o ，f 在0 点处有正的导数，( 0 ) 。 第2 页 中国科学技术大学博士学位论文 情形2 假设 甄) 是随机向量，且 ( a 1 木) ( z ，e ) ，( z ，e 1 ) ，( z z ，e 2 ) ，是一列独立同分布随机向量序列，对每一个给定 的z ，o 是e 的唯一的条件中位数，同时e 的条件密度函数，( j z ) 连续且关于z 一致有 界。 至于参数空间，假设 ( a 2 ) 岛的参数空间j e 7 是尼中的一个有界集合( 它的闭包为百) 。 基于事实m e d ( k + ) = ( z ：风) + ，p o w e l l ( 1 9 8 4 ) 引进了风的一个最小绝对偏差估 计( l a d ) 反，它是最小化问题 t ln 善l 矿吨鲫2 船；l 时七剐， ( 1 2 ) 的一个b o r e l - 可测解。 由于。i k + 一( z ：p ) + i 不是p 的凸函数，所以赢的渐近性质分析有较大的难 度。但是当观是独立随机变量且有有界的三阶矩e | | 1 1 3 时，p o w e l l 利用一致大数律 给出了磊的强相合性，其中1 1 i l 表示欧氏模。在一些条件下，他也建立了磊的渐 近正态分布性质： 何( 良一风) 二( o ，( 1 4 ) 石1 y 石1 ) ，( 1 3 ) 其中y = e k z ，( z 岛 o ) 】，而= e 【厂( o l z ) z z ，( z 7 岛 o ) 】 p 0 l l a r d ( 1 9 9 0 ) 借助于他自己建立的极大值不等式，改进了p o w e l l 关于l a d 估计 渐近正态性质的结果，他放宽了p o 、1 l 的假设条件，在一定程度上简化了证明过 程。并且p o l l a r d 也允许向量 既) 是固定设计点列。c h e n 和w r u ( 1 9 9 3 ) 采用不同的 方法研究了反的强相合性。定义当o o 时，a = 8 i j 口i | ，当o = o 时，6 = o ，且 记a ( a ) 是对称矩阵a 的最小特征根。他们证明了： 定理设条件似1 ) 和2 ) 成立，若( 观) 有界，且存在e o ，使得 熙a 售州阮 啦) l o 印一t ；l 第3 页 1 1 删失回归模型的研究历史 满足，那么就有 l i m 良= 风 a 8 n + 进一步假设下面条件满足， ( a 3 ) 对任意的7 o ，存在一个有限正常数口 0 ，使得 n 慨1 1 2 圳k i i 口) o ，存在一个有限正常数6 o ，使得 i i 兢| 1 2 ，( i | | 6 ) o ) 扰z ：。 f o a o 和z h a o ( 1 9 9 3 ) 获得了良的渐近正态性质，具体结果如下： 定理设条件( a 1 ) 一( a 5 ) 成立，那么就有 2 ，( o ) 薪( 良一风) ( o ，昂) ， ( 1 4 ) 其中昂代韧维单位阵。 由表达式( 1 3 ) 和( 1 4 ) 可以看出，p o w e u 提出的l a d 估计良的渐近协方差矩 阵依赖于条件误差密度，( i z ) 或者误差密度，( ) ，能够有效估计协方差矩阵的难 度就比较大。这个缺点可以利用b o o t s t r 印方法避免( h a h n ，e c o n o m e t r i ct h e - o 盯1 1 ( 1 9 9 5 ) 1 0 5 - 1 2 1 ) ，但是估计阮需要解一个不光滑，非凸函数的最小值问 题，而b o o t s t r 印的使用需要较大的计算量。对于自变量 以) 是随机向量的情 形，b i l i 船，c h e n 和y i n g ( 2 0 0 0 ) 通过在再抽样过程中凸化p o w e l l 的方法，提出了 一种简单求解方法。这种再抽样方法的优点是求解最小化问题可以利用线性规划来 解决。 p 砷，e l l 的l a d 估计渐近等价于下面最小化问题的解， 赌丢陪娜( 。：胁0 ) - 第4 页 中国科学技术大学博士学位论文 于是b n i a s ，c h e n 和y i n g ( 2 0 0 0 ) 定义了一个修正的b o o t s t r a pl a d 估计 庶2 a r g 磐蔷阶一相加o ) 其中( k ，z ；) ，i = 1 ，礼是从 ( k ，戤) ，i = 1 ，n ) 中b o o t s t r a p 抽样产生。另 外，利用估计函数 塾p ( f 叫饥0 ) - 弘私0 ) t = 1 lj 他们也提出了岛的第二个b o o s t r a p 估计惫，定义为下式的解 甄胁一z ；p o ) 一1 2 磊 o ) + 矿= o ， 其中+ = ：1 飘慨一1 2 】，( z ：良 o ) ，b i 是独立同分布，成功概率为1 2 的伯努 力随机变量。下面列出他们获得的结果， 假设条件( a 1 丰) ，( a 2 ) 和下面的条件成立 ( a 6 宰) 当6 o ，p ( z 6 o ，z 7 岛 o ) o ，p ( z 阮= o ) = o 和e 忙1 1 2 o ) 】有界且非奇异。 那么两个修正的b 0 0 t s t r a pl a d 估计在下述表达式的意义下是相合的，对每一佃有 尸( 何( 恳一反) “k ，m ，i = 1 ，佗) 一p ( 而( 良一岛) u ) 一o ，i np r ， 尸( 元( 盆一良) u l 甄，k ，t = l ，n ) 一尸( 元( 良一岛) 让) 一o ，i np r ， 其中不等号是对向量的各个分量而言。 另外，z h a o 和f a n g ( 2 0 0 4 ) 利用 b 和z h a o ( 1 9 9 2 ) 提出的随机加权方法，给出 了l a d 估计分布的一个近似分布。定义 成= a l r g 船姚i p 七踟， 为岛的加权l a d 估计，其中彬l ，耽，满足条件 ( a 8 木) 硼l ，加2 ，独立同分布，尸( 毗 o ) = 1 ，鼬l = 1 ，e 叫 = 7 1 ，且序 列 毗) 和序列 戤，k + ) 独立。 第5 页 1 1 删失回归模型的研究历史 他们建立了下面的结果： 在条件( a l 宰) ，( a 2 ) ，( a 6 木) 一( a 8 木) 下，有 何( 熙侧= 去石1 喜螂 铂 啦t + d p ( 1 ) 这也暗示了 而( 良一阮) 三( o ，( 1 4 ) 石1 y 石1 ) ， 其中y = e k z ，( z 7 阮 o ) 】，如= e ，( o i z ) z z ，( z 7 岛 o ) 】。特别的，当丁= 2 时， 有 s u p l p ( 而( 羼一良) 钍k ，m ，i = 1 ，佗) 一尸( 何( 良一岛) u ) i o ，i np r 接下来，基于b i l i a s ，c h e n 和y i n g ( 2 0 0 0 ) 的想法，f a n g 和z h a o ( 2 0 0 6 ) 利用随 机加权方法推导出l a d 估计分布的另一个近似分布。定义 庞= a r g 裟毗l 矿一娜( 。：加o ) 为岛的修正的加权l a d 估计。令c + ，代表在给定样本 1 ，时) ，( ，坩) ) 的 条件下的概率计算。f a n g 和z h a o 建立了下面的结果： 在条件( a 1 木) ，( a 2 ) ，( a 6 宰) 一( a 8 木) ，他们证明了，依概率的有 ( 而( 庞一良) ) 一( o ，( 1 4 ) 石1 y 石1 ) ， 和 s u pl ( 何( 皮一良) u ) 一p ( 何( 良一阮) 钍) l _ o ， u 由于可以选择合适的连续权变量，我们可以研究随机加权方法的渐近准确性。 由s h a o 和t u ( 1 9 9 5 ) 的定理l o 3 ，在一些条件下可以证明： s u pl p + ( 何( 成一良) u ) 一p ( 何( 良一阮) 乱) l = o 一1 2 ) a 8 ， “ 等等，这个说明随机加权方法具有二阶准确性。 第6 页 中国科学技术大学博士学位论文 因此，我们不需要估计条件误差密度，( l z ) ，直接可以利用两个修正的b o o t s t r a p l a d 估计，随机加权l a d 估计和修正的加权l a d 估计的渐近协方差来估计l a d 估 计反的渐近协方差。 对于自变量是随机变量情形下的l a d 估计的强收敛性质问题，f a n g ，j i n 和z h a o ( 2 0 0 5 ) 建立了它的强相合性质和b a h a d u r 强表示。记弘= z 岛，他们引进了下面的 条件， ( a 6 宰- 1 ) p ( z 7 0 ，肛 o ) o ，v 7 o ，p ( p = 0 ) = 0 和e | l z l i o ) o ，o ，p = o ) = o 和e | f z | 1 4 o ) o ，o ，n m t 。o + t 一4 - 5 p ( 1 川 z ) = 0 和e i l z l l 4 o o 。 得到了以下的结果： 结果1 假设条件( a 1 木) ，( a 2 ) 和( a 6 宰1 ) 满足，那么l a d 估计是强相合的，即 l i m 尻= 风， a 8 结果2 假设条件( a l 掌) ，( a 2 ) ，( a 7 丰) 和( a 6 木一2 ) 成立，依概率为1 当n 充分大时，有 庞一岛i l 礼一1 31 0 9 礼 结果3 假设条件( a 1 木) ，( a 2 ) ，( a 7 牛) 和( a 6 宰3 ) 成立，我们有反的b a h a d u r 强表示， 良一风= 去石1 娄8 9 n ( 痧啪m ( n - 1 2 ( 1 0 9 1 0 9 扩) 1 a s 结果1 说明l a d 估计反是岛的一个强相合估计；结果2 给出了该估计的几乎处 处收敛速度的界：几一l 3l o g n ；结果3 描述了l a d 估计庞的b a l l a d u r 强表示结果。 在许多情形下，我们只对删失回归模型中一些重要的变量感兴趣，这就联系到 变量选择问题。基于信息论准则，j i n ，f a n g 和z h a 0 ( 2 0 0 5 ) 提出了一些变量选择方 法，并且建立了它们的相合性质。在删失回归模型( 1 8 ) 中，令s = o ，1 ，p ) ， 定义s 的“最优”子集是：玩= o ) z ：n = 厶， t = 1 h h n = l q ， 其中如表示g 维单位矩阵。 z h a 0 ( 2 0 0 4 ) 证明了下面的结果。 结论l 假设条件( a 1 ) 一( a 5 ) 满足。如果阮是真参数且成立，那么 4 ，( o ) 心= 4 ，( o ) 2 + 吻( 1 ) = r + 。叠( 1 ) = i | 舷 o ) s g n ( e t ) 以1 1 2 +