（概率论与数理统计专业论文）两值响应模型中的光滑统计推断.pdf

中国科学技术大学硕士学位论文 摘要 摘要 两值响应模型是因变量只取两值的回归模型，常见的l o g i s t i c 模型、p r o b i t 模型等重要模 型是两值响应模型的两种特殊的参数形式两值响应模型在生物、医学、经济和社会数据 的统计分析中有广泛的应用半参数形式的两值响应模型即联系函数未知的情形，近些年 来越来越受到关注，参数估计的统计推断及其大样本性质的研究获得了很大的进展 对于联系函数未知情形的半参数回归问题，一种统计推断方式是基于m a n s k i ( 1 9 8 6 ) 的 计分函数方法，但由此定义的极大计分估计渐近收敛到一高斯过程极大值随机变量，渐近 分布比较复杂因而统计推断不易实现；另外一种方法是基于h o r o w i t z ( 1 9 9 2 ) 提出的光滑计 分函数方法，极大光滑计分估计具有良好的大样本性质，即具有相合性和渐近正态性，然而 统计推断仍然不容易实现，这是因为渐近方差中含有未知的密度函数参数，而这些密度函 数参数往往不能被精确的估计 本文研究如何用随机加权方法逼近极大光滑计分估计的渐近分布，通过对光滑的计分 函数进行随机加权来估计渐近方差，从而避免了直接估计渐近方差中的冗余参数我们在 一定条件下证明了该方法的合理性转变点模型是统计学中一类重要的模型，我们还考虑 了两值响应模型的转变点的估计问题，基于极大光滑计分函数方法我们给出了模型有且只 有一个转变点时的转变点的- - 干e o 估计方法，得到了该估计量的强相合性 全文共分四章第1 章是引言，简要介绍了两值响应模型中回归系数的几种估计方法、 渐近理论方面的有关的重要文献，转变点的有关大样本理论以及我们在这方面所取得的主 要成果第2 章介绍的是几种常见类型的两值响应模型的统计建模第3 章和第4 章详细介绍 了我们的有关工作及其证明第3 章用随机加权的方法逼近极大光滑计分估计的渐近分布 第4 章基于光滑的计分函数研究了两值响应模型中转变点的估计以及估计量的渐近理论 假设两值响应模型有形式：y = ，( 卢7 x + e 0 ) ，其中，( 4 ) 是事件a 的示性函数，y 是因变 量，x 是p 维解释向量，e 是不可观测的随机误差，p 是p 维参向量这里e 的分布假设为是未知 的，但m e d ( e l x ) = 0 我们需要为参数向量卢做一个合理的估计并研究它的渐近性质首先 我们需要明确p 的可识别性条件其次我们在对m a n s k i 的极大计分估计矛 1 h o r o w i t z 极大光 滑计分估计的研究的基础上对于转变点提出了估计的统计量，并证明了估计量是相合的 关键词：极大计分估计、转变点模型、随机加权方法 第1 页 两值响应模型的光滑统计推断 英文摘要 a b s t r a c t b i n a r yr e s p o n s em o d e li sak i n do fr e g r e s s i o nm o d e lw h i c ht h ed e p e n d e n tv a r i a b l eo n l y t a k e st w ov a l u e b i n a r yr e s p o n s em o d e lh a sb e e na p p l i e dt om a n yf i e l d ss u c ha sb i o l o g y ， m e d i c i n e e c o n o m ya n ds o c i a ls c i e n c e s w 色1 1 一k n o w nl o g i s t i cr e g r e s s i o nm o d e la n dp r o b i t m o d e la r ep a r a m e t r i ce x a m p l e so fb i n a r yr e s p o n s em o d e l r e c e n t l y ，s e m i p a r a m e t r i cm e t h o d s a t t r a c tm o r e a n dm o r ea t t e n t i o n i tp r o v i d e sm o r ef l e x i b l em o d e l b a s e dt o o l sf o rs t a t i s t i c a l m o d e l i n ga n dd a t aa n a l y s i s a sf o rt h es t a t i s t i c a li n f e r e n c ea n dt h ea s y m p t o t i co fr e g r e s s i o n c o e f f i c i e n ti nb i n a r yr e s p o n s em o d e l ，r e s e a r c h e r sh a v eg o tal o tf r u i t f u lr e s u l t s ，h o w e v e r ，t h e c o m p l e x i t yo ft h o s er e s u l t sa n dt h ed i f f i c u l t yt oe x p l a n a t i o nb r i n gm a n ys t a t i s t i c i a nt ow o r k o u te a s i e rm e t h o d ，h o r o w i t zp r o p o s e ds m o o t h e dm a x i m u ms c o r ef u n c t i o ne s t i m a t o ra n dt h e a s y m p t o t i cd i s t r i b u t i o no ft h ee s t i m a t o ri sn o r m a l h o w e v e r ) t h ev a r i a n c ei nt h ea s y m p t o t i c d i s t r i b u t i o nh a su n k n o w nd e n s i t yf u n c t i o na n di ti sn o te a s yt ob ee s t i m a t e da c c u r a t e l y ，s o w ep r o p o s er a n d o mw e i g h t i n gm e t h o dt os o l v et h e d i f f i c u l t y ，b yu s i n gm o n t o c a r l om e t h o d s ， w ee s t i m a t et h ea s y m p t o t i cv a r i a n c ea n da v o i de s t i m a t i n gt h er e d u n d a n c ep a r a m e t e r s i n o u rp a p e rw ea l s os t u d yc h a n g ep o i n tp r o b l e mb a s e do nt h em o d e la n df i n dt h ee s t i m a t o r o ft h ec h a n g ep o i n ti sc o n s i s t e n t t h e r ea r ef o u rc h a p t e r si nt h i st h e s i s i nc h a p t e r1 ，w es i m p l yi n t r o d u c es o m ei m p o r r a n tl i t e r a t u r eo nb i n a r yr e s p o n s em o d e l s ，a n di n t r o d u c es o m ee s t i m a t i n gm e t h o d so ft h e r e g r e s s i o nc o e f f i c i e n t s a n dt h ea s y m p t o t i co ft h ee s t i m a t o r 胎a l s os i m p l yi n t r o d u c es o m e t h e o r ya b o u tc h a n g ep o i n ta n do u rm a i nr e s u l t s i nc h a p t e r2 ，t h es t a t i s t i c a lm o d e l i n go fs o m ei m p o r t a n tg e n e r a l i z e dl i n e a rm o d e l si s i n t r o d u c e d i nc h a p t e r3a n dc h a p t e r4 ，w ei n t r o d u c eo u rm a i nr e s u l t sm o r ed e t a i l e da n dg i v et h e p r o o fo ft h e s er e s u l t s i nc h a p t e r3 ，w ed i s c u s st h er a n d o mw e i g h t i n gm e t h o df o rs m o o t h e dm a x i m u ms c o r e e s t i m a t o r i nc h a p t e r4 ，w es t u d ya s y m p t o t i co fc h a n g ep o i n te s t i m a t o ro fs m o o t h e db i n a r yr e s p o n s em o d e l s u p p o s et h eb i n a r yr e s p o n s em o d e lh a v et h ef o r m ：y = ( p 7 x + e 0 ) ， w h e r e i nyi st h ed e p e n d e n tv a r i a b l ea n dxi sp 1e x p l a n a t i o nv e c t o r ei su n o b s e r v e d r a n d o mv a r i a b l ew i t h0m e d i a n w h a tw en e e dt od oi st oc o n s t r u c tas u i t a b l ee s t i m a t o rf o r 8a n ds t u d yi t sa s y m p t o t i cp r o p e r t y f i r s to fa l l ，w es h o u l dc l a r i f yt h ei d e n t i f i c a t i o no fe t h e nw ep r o p o s eas u i t a b l ee s t i m a t o rf o rt h ec h a n g ep o i n tb a s e do nt h es t u d yo fm a n s k i s m a x i m u ms c o r ee s t i m a t o ra n dh o r o w i t z ss m o o t h e dv e r s i o n a tl a s tw ep r o v e dt h a tt h e e s t j m a t o rj sc o n s j s t e n t k e y w o r d s ： m a x i m u ms c o r ef u n c t i o n e s t i m a t i o n ，c h a n g e p o i n tm o d e l ，r a n d o m w e i g h t i n gm e t h o d s 第1 i 页 中国科学技术大学硕士学位论文 第l 章引言 第1 章引言 两值响应模型是因变量只取两值的回归模型，一般的两值响应模型有如下的形式， y = i ( 9 7 x + e 0 ) ( 模型1 ) ，y 是因变量，x 是解释变量，e 是不可观测随机变量，p 是未 知的p 维参数向量两值响应模型是一种非常重要的广义线性模型模型( g l m ) ，在生物、医 学、经济和社会数据的统计分析中有着广泛的应用 两值响应模型在社会学和经济学中有着很广泛的背景比如上班选择交通工具，是选 择公共汽车还是自己开车分别对应应变量y = 1 和y = 0 两值响应模型考虑了在给定一 系列解释变量的条件下y = 1 的条件概率，即从g l m 的观点来看将y = 1 的概率考虑成一 系列解释变量的函数也称为联系函数经济学中的问题就是要考虑如何估计这个条件概 率最常用的模型是p r o b i t 回归模型$ h o g i s t i c 回归模型，它们假设联系函数是已知的，分别 为正态分布函数s d l o g i s t i c 分布函数，这两个模型都是参数模型但是，当真实的联系函数 和假设的分布形式相差太多的时候，上面两种参数方法对于模型的指定不稳健，因而所得 的估计量可能是不相合的实际上联系函数的形式往往是未知的，因此为了得到稳健有效 的估计，人们提出半参数和非参数方法非参数方法具有最大的灵活性，这种方法对于联 系函数不做任何的假设m a t z k i n ( 1 9 9 2 ，1 9 9 3 ) 研究了结构化的两值响应模型的非参数估 计，但是非参数的灵活性的代价是巨大的，主要有以下三个原因：其一，估计的精度随着 解释变量数目的增多急剧下降，从而导致了所谓的维数灾难，此时为了达到一定的精度， 样本量就必须非常大其二，非参数估计的结果不容易解释，因为有非常多的甚至无限多 个解释变量其三，非参数估计不允许外推( e x t r a p o l a t i o n ) 半参数回归模型和非参数回 归模型的区别在于做适当假定后半参数回归模型可以避免维数灾难半参数回归模型往 往包含了未知的有限个参数两种典型的半参数回归模型是单指标模型和中位数回归模 型这两种模型首先必须要解决模型的可识别性，即找出总体分布可以唯一确定参数的 条件m a n s k i ( 1 9 8 8 ) 研究了两值响应模型中参数的可识别性条件在单指标模型中条件概 率p ( y = l l x = z ) = g ( x 7 p ) ，p 是未知的参数向量，g 是未知的分布函数，z 7 p 称为指标，半 参数估计问题就是要根据( x ，y ) 的样本估计p 和未知的函数g ，在适当的条件下单指标模 型中参数p 的渐近有效的估计就是半参数极大似然估计( k 1 e i n s p a d y ( 1 9 9 3 ) ) 在中位数回 归模型中：若z 7 p + e 0 ，则y = 1 ；否则y = 0 ，其中e 是不可观测的随机变量，并且假设 在给定x 条件下它的条件中位数为0 m a n s k i ( 1 9 8 5 ) 提出了极大化计分函数方法来估计p ， 且证明了估计是相合的p o l l a r d ( 1 9 9 0 ) 证明了m a n s k i ( 1 9 8 6 ) 所提出的极大计分估计在一定 的条件下收敛到某个高斯过程的极大值点由此可见，极大计分估计渐近分布的复杂性导 第1 页 两值响应模型的光滑统计推断 1 1 极大光滑计分估计的随机加权 致了实际统计推断的困难h o r o w i t z ( 1 9 9 2 ) 修改了m a n s k i 的计分函数，提出了极大化光滑计 分函数方法，并且证明了在此模型下，估计仍然是相合的并且在一定的条件下其渐近分布 是正态分布然而统计推断仍然不容易实现，这是因为渐近方差中含有未知的密度函数参 数，而这些密度函数参数往往不能被精确的估计 本文主要工作之一是基于h o r o w i t z ( 1 9 9 2 ) 提出的光滑计分函数研究如何用随机加权方 法逼近极大光滑计分估计的渐近分布，通过对光滑的计分函数进行随机加权来估计渐近方 差，从而避免了直接估计渐近方差中的冗余参数我们在一定条件下证明了该方法的合理 性 5 1 1 极大光滑计分估计的随机加权 假设( x ，m ) ，( ，k ) 为( x ，y ) 的i i d 观测值我们在两值响应模型( 1 ) 中考虑问 题，所加的条件基本与h o r o w i t z ( 1 9 9 2 ) 所用的条件一样( 具体参见本文第三章第二节的假 定b l b 6 ，k 。一甄) ，对于随机权我们假设有这样的条件： ，i i d 尸( m 0 ) = 1 ，e = 1 ，e 嵋= 7 - 1 ，随机权序列 眠 和 ( k ，m ) ) 独立 ( 1 1 ) h o r o w i t z ( 1 9 9 2 ) 定义了极大光滑计分估计如下： f i n ：a r g 糯去喜c 2 ，k ( 等) ， m 2 ， 其中6 = ( b l ，b 2 ，6 p ) 7 ，b ：( b 2 ，b ) i ，b 是辟_ 1 的一个紧子集 随机加权的极大光滑计分估计( w m s s s ) 彤如下定义： 5：=arg悱su晒p去妻以c2y-1bl b e b i，k ( 等_ = 1 i = 1 ， ” ” ( 1 - 3 ) 其中6 = ( b l ，b 2 ，6 p ) 7 ，b = ( b 2 ，6 p ) 7 ，b 是彤_ 1 的一个紧子集 我们得到了这样的结论： 定理1 假设在模型( 1 ) t ，对于上面对权所加的条件( 1 1 ) 中的丁1 ， k , g _ h o r o w i t z ( 1 9 9 2 ) - - 文中所加的条件( 参见本文第三章第二节的假定b 1 一b 6 以及k 1 一k 4 ) 满足，那么对某个h 2 和在( 1 2 ) 和( 1 3 ) 中分别定义的风，雕，当盯。2 h + 1 _ 0 ( 礼_ ) 时，我们得到： 瓜( 霹翱_ - q 。1 去喜瞰( 2 y - 1 ) x i 州等) + 0 p ( 1 ) ( i - 4 ) 与m v n ( o ，7 - q 一1 d q 一1 ) 当n _ 中国科学技术大学硕士学位论文 第1 章引言 特别地， 佤( 反翱一旷 去毒( 2 k - 1 ) 列( 等) + 0 p ( 1 ) ( 1 - 5 ) 与m v n ( o ，q 1 d q 。) 当礼_ 0 ( 3 定理2 假设在模型( 1 ) 下，h o r o w i t z ( 1 9 9 2 ) - - ：丈中所加的条件( 参见本文第三章第二节的 假定b l b o 以及k 1 一k 4 ) 满足，在给随机杈所加的条件( 1 ，1 ) 中丁= 2 ，风，彤分别是( 1 2 ) 和( 1 3 ) 中定义的极大光滑计分估计和加杈的极大光滑计分估计则对于某个h 2 ， 当几盯i 1 _ 0 ( n 一) ，我们有 、瓦瓦( 磁一良) sm v n ( o ，q 一1 d q 一1 ) i np r 当n - - - + ( 1 6 ) 这里的c + 是指在给定样本序列 ( k ，k ) ，i 1 的条件分布收敛这里以概率收敛的意 义参见( r a o z h a o ( 1 9 9 2 ) ) 1 2 转变点估计 转变点问题是统计中很热门的一个课题转变点起源于质量控制，人们从生产线上抽检 产品以监测产品质量是否发生显著波动，特别是检测产品是否超过其质量控制的范围，当 产品质量发生质变时能够及时预警以免出现更多的次品这个质量发生突变的时刻我们就 称为转变点，一般的转变点是“模型中某个或某些参数起突然变化的点”换句话说，在转 变点问题中，我们有一系列的观察值( 样本) ，在某个未知的时刻样本的分布或数字特征 起了突然的变化，这个时刻就是转变点转变点问题的统计推断就是要对这个突然变化的 时刻进行估计，并对估计量的性质进行统计分析转变点问题不仅在质量控制有大量的应 用，在经济、金融、医学、计算机等方面都有大量的应用背景心电图中的心律检测，计算 机中的模式识别、图像识别，金融过程中的突发事件都是转变点问题的体现因此用现代 统计方法对转变点进行研究有着非常重要的实际意义，而且在概率统计学中，转变点的统 计推断本身也是一个非常有理论意义的研究分支 转变点问题的研究应该追溯到p a g e ( 1 9 5 4 ) 年在b i o m e t r i k a _ l 发表的一篇关于连续抽样 检验的文章转变点问题将统计控制理论，估计和假设检验理论，贝叶斯方法和非贝叶斯方 法，固定样本和连续抽样方法都结合起来当连续观察一随机过程，当检测到转变点时才停 止观察( 抽样) ，我们称之为连续抽样方法或者o n l i n e 转变点问题若是从已经完全获得的样 本观察中检测是否有转变点存在，称为非连续抽样方法或者固定样本方法或者o f f - l i n e 转变 点问题由转变点处发生变化的形式又可以分为突变和渐变问题总之按照实际情况对于 转变点有种种提法关于转变点的研究在国内国际上都进行了有声有色的研究根据实际 背景人们对于不同的模型考虑了转变点的检验问题，估计问题，以及大样本性质我们在研 第3 页 两值响应模型的光滑统计推断5 1 2 转变点估计 读了转变点的相关文献后发现对于转变点问题主要利用”滑动平均窗宽”的思想，寻找合理 的体现”突变”的估计量，然后利用随机过程等一系列的概率统计方法解决转变点的统计推 断和大样本性质的研究关于转变点方面的发展和研究状况的综述性文献和转变点问题专 著可以参看：陈( 1 9 9 3 ) ，k r i s h n a i a ha n dm i a o ( 1 9 8 8 ) ，c s o r g oa n dh o r v a t h ( 1 9 8 8 ) 和b a s s e v i l l e a n dn i k i f o r o v ( 1 9 9 3 ) 以及c s o r g oa n dh o r v a t h ( 1 9 8 7 ) 本文考虑的是两值响应模型中的转变点问题，本模型转变点的检测问题在理论上有一 定的难度，我们将在后续的研究工作中考虑，在这里我们仅仅假设模型( 1 ) 中有且只有一个 转变点a ( 0 a 1 ) ，也就是说 = ； 笈k 丰主至吕；：i 三 ji ，】，n ( 1 - 7 ) x i in k “一1 ，( 熙+ e i o ) ，= + 1 ，n 我们要根据样本 ( k ，m ) ，i = 1 ，n ) 估计a ，定义： 其中6 = ( b l , b 2 ，b p ) 7 ，b = ( b 2 ，6 p ) 7 ，b 是r p - 1 的一个紧子集 ( 1 - 8 ) 设乏满足下式 n ( 七) 2 勰n ( 尼) ( 1 9 ) i 佗 n 定义入的一个极大光滑计分估计如下： 又n = 龛 ( 1 - 1 0 ) 为了讨论它的渐近性质我们假定 a 1 ( k ，e i ) ，i = 1 ，n ) 是i i d 随机向量满足( x i ，e i ) = d ( x ，e ) ，给定x 下e 的条件中位 数m e d ( e l x ) 唯一且等于o a 2 对i = 1 ，2 ， ( a ) x 分布的支撑不包含在任何彤的线性子空间中 ( b ) 0 p ( # f x 十e o l x ) 1 对几乎所有的x 成立 ( c ) 屈。0 ，对几乎所有的又= ( x 2 ，) 7 ，x 1 在给定戈下的条件分布对l e b e s g u e 测度有几乎处处为正的密度 a 3 对i ：1 ，2 ，l 屈，l = 1 ，矽( i ) = ( 脱扪，廖) 7 包含在彤一1 的紧子集亩中 k ( v 1 是实直线上的连续函数满足： a 4 对于某个有限的m ，l k ( u ) l 050 a e a + - z g l z ) = 1 一p ( e 一z g l x ) ，因i 上l p ( y = 1 i z ) o 5 如 果z p o ；p ( y = l l x ) o 5 如果z p 0 假设b p 且经过刻度标准化的一个参数，分别 令s ，( 6 ) 和& ( b ) i a t 面的两个集合 s l ( b ) = 1 z ：z p o 时，存在一个x 的支撑的子集，使得6 和p 能被区分开来，因此，只 要p ( s 1 ( b ) u 岛( 6 ) ) o 时卢就可以被识别，条件b 说明x 至少有一个连续分量，且这个分量 在给定其他分量的条件下具有正的密度，这样就可以保f i p ( s 】( b ) 【j & ( 6 ) ) o 成立 m a n s k i ( 1 9 8 5 ) 年还证明了在以上可识别条件下，p 是极大计分函数唯的一个极大值 点，并且极大计分估计是真参数p 的强相合估计 2 2 极大光滑计分估计 p o l l a r d ( 1 9 9 0 ) i i 明t m a n s k i ( 1 9 8 5 ) 提出的极大计分估计以n 1 3 的速度收敛到一个 高斯分布的极大值点，由于这个分布比较复杂，不容易运用到实际的统计推断 第7 页 两值响应模型的光滑统计推断 5 2 2 极大光滑计分估计 h o r o w i t z ( 1 9 9 2 ) 修改t m a n s k i 的计分函数，即用以光滑函数代替m a n s k i 版本中的示性函 数，h o r o w i t z i i e n 了所得到的极大光滑计分估计仍然是相合的，并且证明了在一定的条件 下极大光滑计分估计是渐近正态的 2 2 1 定义 f ? n = a r g i 翼三妻( 2 y - 1 ) kr 坚o n , _ i b l 1 i ：, b e b n i = i 其中6 = ( b l ，b 2 ，b p ) 7 ，b = ( b 2 ，6 p ) 7 ，b 是舻_ 1 的一个紧子集 风称为极大光滑计分估计 h o r o w i t z ( 1 9 9 2 ) 得到了在下面一系列条件下的渐近正态性： b 1 ( a ) x 分布的支撑不包含在殿的任何一个线性子空间中 ( b ) 对几乎所有的x ，0 p ( y = 1 l x ) 1 成立 ( c ) 卢0 对几乎所有的戈= ( x 2 ，玛) 7 ，x 1 在给定又下的条件分布有几乎处处为 正的密度函数 ( d ) i , q l l = 1 ，卢= ( 阮，伟) 7 包含在ber v - 1 的任何一个子空间中 b 2 e i | x4 b 3 ( a ) 对每一个整数1 i h 一1 ，一切。的某个邻域中的z 和几乎所有的圣，以及 某个m ，p ( ( z i 面) 存在并且是z 的连续函数满2 = l p ( i ( z i 童) l m ，特别是， i p ( z i 面) i m 对一切z , n 几乎所有的x = 孟 ( b ) 对每个使得1 i 九的整数i ，一切。的某个邻域中的z 和几乎所有的又，对某 个m 。o ，f ( i ( 一z l z ，又) 存在并且是z 的连续函数，满足i f ( ( 一z l z ，又) l m b 4 坦雩_ 0 ，o n _ 0 当礼_ b 5 厉是豆的内点 b 6 q 是负定阵 ( k 1 ) k ( v ) 是实直线上的连续函数，满足：对某个有限的实数m ，和一切ue ( 一，o o ) ，i k ( u ) i m l i mk ( u ) = 0 并且l i mk ( u ) = 1 ( k 2 ) k 是几乎处处两次可微的函数，k ，( ) ，k ( ) 是一致有界的并且以下 在( 一。o ，+ ) 上的积分是有限的：i ( k 7 ( u ) ) 4 d v ，i ( k 7 ( u ) ) 2 d v ，j v 2 k ( v ) d v 中自科学技术大学硕士学位论文 第2 章统计建模 ( k 3 ) 对于某个整数 2 和一切整数i ( 1 i h ) j fi u i k 7 ( u ) d u i o l i m 盯i 1 k ( v ) l d v = 0 “。” l 口n v l o 以上出现的记号有如下意义： - i t p , z = p x ，z = p zp ( z l 面) 表示在给定又= 圣下z 的条件密度；f ( - l z ，x ) 是在给 定又和z 下u 的累积分布函数对每一个整数i ，记： 魁荆i = 学( - z l 锄= 华 在本文中字母上带波浪线的向量都是指去掉第一个分量余下的分量组成的向量只要 上面这些量存在，对某个h 2 ，定义 q a = u k 7 ( v ) d v ，q d = 【k 7 ( u ) 2 d u ； d = a d e 2 2 7 p ( o l x ) ，q = 2 e 2 2 7 f ( 1 ) ( o l o ，2 ) p ( 0 1 2 ) ， a a 妻t 南 a q a 丽丢 只要这些量存在，对某个h 2 ，定义 2 2 2 定理 e f ) ( o l o ，又) p ( 一i ( o i 又) 又 ) ， s ( b ) = e v s ( b 7 x o ) ， 咄，= 警= 去喜c 2 ，驷警 删= 警= 去喜c 2 ，要轫等， 昂( u ) = e 仃二 ( 卢) ；k = y n r 瓦巩( p ) 定理假设在模型( 1 ) 下，假定对某一个允22 ，b 1 一b 6 1 , ：1 , 及f f l 一甄满足 尻) 是( 1 2 ) 中定义的极 大光滑计分估计序列，则对某个h 2 ，n 口挚+ 1 _ 0 ( n 一。) ， ( n 盯竹) 1 2 ( 反一矽) 三m v n ( o ，q - 1 d q 一1 ) 第9 页 两值响应模型的光滑统计推断 第3 章极大光滑计分估计的随机加权 9 3 1 引言 两值响应模型在经济学、社会学、生物医药等众多领域中都有着广泛的应用这个模 型假设两值响应模型的因变量由一个潜在变量决定，而这个潜在变量与某些独立的解释变 量有线性关系本文中用半参数方法研究两值响应模型，即不假设误差的分布已知，也就是 说联系函数是未知的情形下研究两值响应模型 一般的两值响应模型假设因变量y 通过以下关系依赖于x ： y 一厂1 ，如果 p 7 x + e o ； 1 1o ， 否则 其中e 是不可观测的误差变量m e d ( e i x ) = 0 ，p 是一个未知的p 1 参数向量在模型( 1 ) 中， 仅仅x 和y 可以被观测显然若对卢做刻度变换模型是不变的，不失一般性，假设p 的第一 个分量的绝对值为1 ，即l p - i = 1 两值响应模型有很多参数回归模型作为它的特列例如， 如果误差分布是正态分布那么它就是一个p r o b i t 模型；如果误差分布是l o g i s i t i c 分布，那么 它就是一个l o g i s i t i c 回归模型一般地，误差的分布函数( 或者联系函数) 假设是未知的，这 样两值响应模型是稳健的 设样本为( k ，) ，i = 1 ，n m a n s k i ( 1 9 8 5 ) 定义了计分函数 s t ( b ) = ：；! ( 2 k 一1 ) i ( b 7 x i o ) 其中，( a ) 是事件a 的示性函数计分函数这样定义主要是为了是的观测到的因变量与潜在 变量的中心一致( 均值或者中位数等等) m a n s k i ( 1 9 8 5 ) 证明了极大计分估计也即计分函数 的极大值点是强相合的p o l l a r d ( 1 9 9 0 ) 证明了，以n 的速度，极大计分估计收敛到某个高 斯过程的极大值点 显然，根据这个复杂的分布进行统计推断比较困难h o r o w i t z ( 1 9 9 2 ) 修改了计分函数， 他用一个光滑函数代替原来得分函数中的示性函数： ) = 去喜( 2 y i - 1 ) kf ，坚a ni 其中k ( ) 是某一个光滑函数，并且当礼_ 时盯。_ 0 假设它们满足以下的条件 第1 0 页 中国科学技术大学硕士学位论文 第3 章极大光滑计分估计的随机加权 ( k 1 ) k ( u ) 是实直线上的连续函数，对某个有限的m 和一切ue ( 一o o ，) ，i k ( 口) i v 极大光滑计分估计( m s s e ) 风定义为计分函数s ( 6 ) 在某些限制下的极大值点，这些限 制都是为了模型能够被识别例如1 6 1 i = 1 ( b ，= 1 已经足够) 风一g sup_熹壹c2i-1，kibii=ib e bi( 等i = 1 “ n 其中6 = ( b i , b 2 ，6 p ) 7 ，b = ( b 2 ，6 p ) 7 ，b 是础- 1 的一个紧子集h o r o w i t z ( 1 9 9 2 ) 证明了 极大光滑计分估计是相合的并且渐近正态然而统计推断依然不太容易，因为渐近分布的 的方差中含有未知的密度函数参数，这个密度函数往往不能被精确的估计 在本章中我们提出用随机加权的办法克服上面所提到的方法不容易被估计的困 难通过随机加权重复极大化光滑计分函数，随机化的极大光滑计分估计可以用来估 计原来的极大光滑计分估计的渐近方差随机加权将一个权以放入光滑计分函数，其 中肌，v 旷2 ，i i d p ( 眠0 ) = 1 ，e w l = 1 ，e 孵= 7 _ 1 ，并h w d 与 ( 五，k ) ) 是独 立的随机加权的光滑计分函数为 踯，= 去善n 唧，k ( 等) ， 随机加权的极大光滑计分估计( w m s s e ) 黠如下定义、 3 ：= a r g sup_元1rt鹏(2yi-1)kib( 等) ，i t = l b e b i = 1 。 u n 我们在后面将证明，在适当的条件下，随机加权的极大光滑计分估计，觥在给定样本条件 下的条件分布与原来的估计风有相同的渐近分布 为了用随机加权的方法得出渐近性质，我们首先在弱的意义下得 到m s s e 和w m s s e 的b a h a d u r 表示然后在b a h a d u r 表示的基础上我们证明了随机加 第1 1 页 两值响应模型的光滑统计推断 3 2 主要结果 权的办法可以用来逼近m s s e 的渐近分布 3 2 主要结果 为了得到我们的主要结果，需要以下条件： b 1 ( 规则化条件) ( a ) x 分布的支撑不包含在任何印的线性子空间中 ( b ) 对几乎所有的x 有o p ( y = l i x ) 1 ( c ) 卢0 ，姗n nn 2 = ( x 2 ，。k ) 7 ，在给定又之下x 1 关于l e b e s g u e 测度有几 乎处处大于0 的条件密度 ( d ) l p 。i = 1 ，矽= ( 仍，岛) 7 包含在紧子集雪留_ 1 中 b 2 e | l x l4 o o b 3 ( a ) 对每个整数1 i h 一1 ，所有。的某个邻域中的z 某个m ，p ( i ) ( z i 牙) 存在 并且是z 的连续函数，满足i p ( i ) ( z l 叠) i m ，特别地，对几乎所有的z 和几乎所有 的x = 岔，i p ( z i 面) i m ( b ) 对每二个使得1 i 的整数i ，对所有。的某个邻域中的z ，对x 和某个m o o ， f ( i ( 一z l z ，又) 存在并且是z 的连续函数满足【f ( i ( 一z z ，灾) 冬m b 4 坦辈_ 0 ，o n _ 0 当n _ “o 元 b 5 矽是宫的内点 b 6 q 是非负定的 以上出现的符号如下定义： l e tz = y x ，z = 卢7 z ，p ( z l 岔) 定义为给定又= 岔下z 的条件密度； f ( 1 z ，又) 定义为e 在 给定又和z 下的累积分布函数对每一个正数i ，定义： k = 学，) - - z 旧又) = 下o i f ( - z l z , x ) 只要这些量存在，对某个h 2 ，定义 q a = u k 铷) 咖，o z d = k 伽) 2 如； d = q d z 2 2 7 p ( 0 1 2 ) ，q = 2 e 2 2 7 f ( 1 ( o l o ，2 ) p ( 0 1 2 ) 1 ， h 1 a = 一e t a 丽与e ( 0 1 0 2 ) p ( h - o ( o t 2 ) 2 1 ， 第1 2 页 中国科学技术大学硕士学位论文 第3 章极大光滑计分估计的随机加权 只要这些量存在，定义 嗍= 警= 去喜( 2 ) 和坚( 7 n ) ； u z ( 萨警= 元萋n 眦( 2 y - 1 ) 又i i 州等) ； = 喾= 去喜c 2 嗟耖c 等，； 删= 筹2w = 去喜呻，蒡c 等， 条件b ，给了参数向量的可识别条件条件b 3 和k 1 一k 4 保证了a ，d ，q 的存在以及在证 明渐近正态中某些积分序列的收敛b 4 跟核密度估计中给的条件类似k ，( ) 是一个核函 数，盯。是核密度估计中的窗宽b 5 是渐近分布理论中t a y l o r 展开的标准条件 在下面的内容中c 和r 代表常数，在们可能在不同的地方代表不同的常数即使在同一个 公式中它们也可能是不同的 在本章中象+ ，p + ，e 4 ，v a r + ，r 这样的记号是指在给定( x ，m ) ，( x n ，k ) 之下的条件 分布，条件概率，条件期望，条件方差等 定理3 1 假设在模型( 1 ) 中，条件b 1 一b 6 和k l 一甄成立，在( 1 1 ) 中7 - 1 假设估计量风，彤 分别由( 1 2 ) 和( 1 3 ) 中定义当仡_ 时n 盯+ 1 _ 0 ，对 2 ，我们得到 瓜( 磁翱_ _ q 。任妻i = 1 唧衄7 ( 等( 1 ) 三m v n ( o ，丁q 一1 d e 一1 ) 当n _ ( 3 0 特别地， 瓜( 良翱叫 。n - 1 ) 趔( 等) + d p ( 1 ) 三m v n ( o ，q 一1 d e 一1 ) 当礼一 ( 3 1 ) ( 3 - 2 ) 定理3 2 假设在模型( 1 ) 下，条件b 1 一b 6 和条件k 1 一心成立，并且在对随机权所加的条 件( 1 1 ) 中丁=