（概率论与数理统计专业论文）广义线性模型中极大拟似然估计的极限理论研究.pdf

中国科学技术大学博士学位论文 摘要 摘要 经典的线性模型适用于那些服从或近似地服从正态分布且内部有某种线性结构数据 的统计分析但是当数据明显地不服从正态分布时，例如属性数据和计数数据，有关线性模型 中的一些假定就显得过于严格且相应统计分析方法的应用也将产生错误的分析结果厕广 义线性模型则是经典的线性模型的推广，它可用于连续数据和离散数据统计分析，特别是属 性数据和计数数据 假设数据曲序列 ，戤) ，1 i n ) 构成，其中轨是q 维随机响应变量，奶是p 醴岔 回归设计阵，玑的均值与戤的线性组合z ：口通过个一一映射的联系函数9 叁p - 1 相联 系，即e 弘= 肛( 。：p ) ，此处p 为p 维未知向量，其真值为岛且未知在应用中，一般岛首先要由 有限样本观察值通过极大似然法或极大拟似然法进行估计，且有关广义线性模型的统计 分析方法大都是依赖于极大似然估计或极大拟似然估计的渐近性质同极大似然估计相 比，极大拟似然有更广泛的应用 本文中，我们研究固定设计和自适应设计下基于拟似然方法的估计方程( 拟似然方程) 墨( 。y l p ( 。：p ) ) = o 的解风( 即极大拟似然估计) 的几乎处处存在性，强相合性及收敛速 度，渐近正态性问题 第一章戒们先对广义线性模型作了简要的介绍；然后列出本文主要条件和结果 第二章，我们在比已有文献更弱的条件下，考虑了固定设计拟似然方程解的几乎 处处存在性、强相合性及收敛速度问题对一维响应变量及有界的p 维设计向量，在 条件啦地；! 吐越一o 、误差的矩条件和其他的一些i e w 0 性的条件下，我们证明了以 概率1 当n 充分大时拟似然方程有解风；同时也证明了阮几乎处处收敛于真值风且有 收敛速度反一风= o ( 坠生；! 逆) o s h 此处b 和k 分别表示x i z ：的最小与最大特 征根在。= p ( n ) 假设下，这一结果达到独立和重对数律的收敛速度，即良一风= o ( n 一 ( 1 0 9 l o g n ) ) as ，因而是不可能改进的而对具有指数型分布的响应变量，文献 中往往要求较强的条件x 。= 0 ( b ) 或对某6 0 ，砖”= 0 ( b ) 我们对于响应变量 为q 维( g 1 ) 的情形，在类似的假设下，通过考虑分量的方法，获得了相应的结果 第三章，我们在第二章的基础之上，对响应变量为g 维( g 1 ) 情形，在1 i m i n f 鲁 o 和其 他相应的假设下，我们获得了固定设计拟似然方程解风的渐近正态性和能直接运用于统计 推断的渐近正态性结果 第四章，我们考虑自适应设计下的拟似然方程，首先对一维响应变量，在一定的条 第1 页 广义线性模型中极大拟似然估计的极限理论研究摘要 件下，我们证明了以概率l n n 充分大时拟似然方程的解良几乎处处存在且良一岛= d ( 掣) 。s 进一步地，我们获得了屁的渐近正态性结果对于响应变量为g 维( g 1 ) 情形，运用类似固定设计下的方法，在定的条件下，上述结果依然成立 本文还进行了相关的模拟，对有关的估计进行了比较研究模拟结果显示，拟似然估计 在小样本情形下也有良好的表现 第1 i 页 中国科学技术大学博士学位论文 英文摘要 a b s t r a c t c l a s s i c a ll i n e a rm o d e l si sg e n e r a l l yu s e f u li ns i t u a t i o n sw h e r ed a t aa r ea p p r o x i m a t e l y n o r m a ld i s t r i b u t i o na n dc a nb ee x p l a i n e db ys o m eh n e a rs t r u c t u r e h o w e v e r ，t h eu n d e r l y i n g a s s u m p t i o n sm a yb et o os t r i n g e n ta n da p p l i c a t i o n so ft h em e t h o d sm a yb em i s l e a d i n gi n s i t u a t i o n sw h e r ed a t aa r ec l e a r l yn o n - n o r m a l s u c ha sc a t e g o r i c a lo rc o u n t e dd a t ag o n e r a l i z e d l i n e a rm o d e li st h eg e n e r a l i z a t i o no ft h ec l a s s i c a ll i n e a rm o d e la n dc a nb eu s e di n c o n t i n u o u sa n dd i s c r e t ed a t aa n a l y s i s ，e s p e c i a l l yf o rc a t e g o r i c a lo rc o u n t e dd a t a l e tt h ed a t ac o n s i s to fa ( 玑，z ：) ，1 i 墨n ，w h e r e 玑，t h er e s p o n s e s ，a r eq - d i m e n - s i o n a lr a n d o mv a r i a b l e s ，a n dx i ，t h er e g r e s s o r s ，a x epxqd e s i g nm a t r i c e s , t h em e a no ft h e r e s p o n s e s 聃i sr e l a t e dt oa l i n e a rc o m b i n a t i o n 。：口o ft h er e g r e s s o r sb yao n e - t o - o n em a p p i n g t h el i n kf u n c t i o ng 兰芦一1 ，i ee 矾= 芦( z ：矽) ，w h e r e 声i sp d i m e n s i o n a lv e c t o rw i t ht h et 1 1 2 - k n o w nt r u ev a l u e 阮i na p p l i c a t i o n ，u s u a l l y 风h a st ob ee s t i m a t e df r o maf i n i t es a m p l eo f o b s e r v a t i o n sb yt h em a x i m u ml i k e l i h o o dm e t h o do rt h em a x i m u mq u a s i - l i k e l i h o o dm e t h o d a n dt h em e t h o d so ft h es t a t i s t i c a la n a l y s i so fa g e n e r a l i z e dl i n e a rm o d e lh e a v i l yr e l yo nt h e a s y m p t o t i cp r o p e r t i e so ft h em a x i m u ml i k e l i h o o de s t i m a t o ro rm a x i m u mq u a s i - h k e l i h o o d e s t i m a t o r c o m p a r e dt ot h em a x i m u m l i k e l i h o o de s t i m a t o r ，t h em a x i m u mq u a s i - h k e h h o o d e s t i m a t o rh a sm o r ee x t e n s i v ea p p l i c a t i o n s i nt h i sa r t i c l e ，b a s i n go nt h eq u a s i l i k e l i h o o dm e t h o d ，f o r ： 1 ) c e do ra d a p t i v ed e s i g n ，w e s t u d yt h ep r o b l e mo fa l m o s ts u r e l ye x i s t e n c e ，s t r o n gc o n s i s t e n c y ，r a c eo fc o n v e r g e n c ea n d a s y m p t o t i cn o r m a l i t yo ft h es o l u t i o n 风( ie ，t h em a x i m u mq u a s i l i k e l i h o o de s t i m a t o r ) t ot h e q u a s i - l i k e l i h o o de q u a t i o nex i ( y l 一芦( 。：口) ) = 0 i nt h ec h a p t e l ：1 ，w cf i r s tg i v eab r i e fi n t r o d u c t i o na b o u tt h eg e n e r a l i z e dl i n e a rm o d e l a n dt h e nl i s tt h em a i nc o n d i t i o n sa n dr e s u i t s i nt h ec h a p t e r2 ，u n d e rt h ew e a k e rc o n d i t i o n st h a nt h o s e 。i n 1 i t e r a t u r e ，w ec o n s i d e r t h ep r o b l e m so fa l m o s ts u r e l ye x i s t e n c e ，s t r o n gc o n s i s t e n c ya n dr a t eo fc o n v e r g e n c eo f t h es o l u t i o nt ot h eq u a s i l i k e l i h o o de q u a t i o nw i t ht h ef i x e dd e s i g n f o roned i m e n s i o n a l r g s p o n s e sa n db o u n d e dp - d i m e n s i o n a ld e s i g nv e c t o r s ，u n d e rt h ec o n d i t i o n 5 , n l o g ) l o g x n ) _ 0 t h em o m e n tc o n d i t i o no ne r r o r sa n dw i t ho t h e rr e g u l 盯c o n d i t i o i l s ，w ep r o v e a tw i t h p r o b a b i l i t yo n e ，f o ra l ll a r g es a m p l es i z e 竹，t h eq u a s i l i k e l i h o o de q u a t i o nh a sas o l u t i o n 8 n ，w h i c hc o n v e r g e st ot h et r u ep a r a x n e t e r w i t ht h er a t eo fc o n v e r g e n c e8 n 一8 。= o ( 坠立等导曼生丝) 。乳w h e r e 立。a n dkd e n o t e st h em i n i m u me i g e n v a l u ea n dt h em a x i m u m e i g e n v a l u eo f 甄z ：r e s p e c t i v e l y t h i sr e s u l th a st h el a wo ft h ei t e r a t e dl o g a r i t h mf o r = l s u i n so fi n d e p e n d e n tr a n d o mv a r i a b l e sie ，忍一3 0 = o ( n 一 ( 1 0 9 l o g n ) ) 。s u n d e rt h e a s s u m p t i o nb = 0 ( n ) ，a n dh e n c ec a n n o tb ei m p r o v e db u tf o rt h ee x p o n e n t i a ld i s t r i b u t i o n f a m i l y ，t h es t r o n g e rc o n d i t i o ni sn e e d e d l e a 。= 0 ( b ) o rf o rs o m ed 0 ，孺”= o ( 盘。) f o rq - d i m e n s i o n a lr e s p o n s e s ( q 1 ) ，u n d e rt h es i m i l a ra s s u m p t i o n s ，b yc o n s i d e r i n ge a c h e l e m e n to fr e s p o n s e sr e s p e c t i v e l y ，w eo b t a i nt h a tt h ec o r r e s p o n d i n gr e s u l t sa r es t i l ls a t i s f i e d 第l l i 页 广义线性模型中极大拟似然估计的极限理论研究英文摘要 i nc h a p t e r3 ，b a s i n go nt h er e s u l t so ft h ec h a p t e r2 ，f o rg d i m e n s i o n a lr e s p o n s e s ( g 1 ) ， u n d e rt h eo t h e rc o r r e s p o n d i n ga s s u m p t i o n so ft h ec h a p t e r2 ，w eo b t a i nt h ea s y m p t o t i c n o r m a l i t yo ft h es o l u t i o n 风t ot h eq u a s i l i k e l i t i o o de q u a t i o na n dt h ec o r r e s p o n d i n gr e s u l t s w h i c hcanb ed i r e c t l yu s e di nt h es t a t i s t i c a li n f e r e n c e i nc h a p t e r4 ，w ec o n s i d e rt h eq u a s i l i k e l i h o o de q u a t i o nw i t ht h ea d a p t i v ed e s i g n f i r s t l y ，f o roned i m e n s i o n a lr e s p o n s e sa n du n d e rt h ec e r t a i nc o n d i t i o n s ，w ep r o v et h a tw i t h p r o b a b i l i t yo n e f o ra l ll a r g es a m p l es i z e7 t h eq u a s i l i k e l i h o o de q u a t i o nh a sas o l u t i o n ，w h i c hc o n v e r g e st ot h et r u ev a l u e w i t ht h er a t eo fc o n v e r g e n c e 一= o ( 垃警逆) o sf u r t h e r m o r e ，w eo b t a i nt h ea s y m p t o t i cn o r m a l i t yo f 良，t h e n ，f o r q - d i m e n s i o n a lr e s p o n s e s ( q 1 ) ，b yt h es i m i l a rm e t h o d su n d e rt h ef i x e dd e s i g n ，u n d e r t h ec e r t a i nc o n d i t i o n s ，t h ea b o v er e s u l t sa r es t i l ls a t i s f i e d ： s i m u l a t i o ns t u d i e sa r ec o n d u c t e dt o i n v e s t i g a t eb e h a v i o ro ft h em a x i m u mq u a s ：一 l i k e l i h o o de s t i m a t o ru n d e rp r a c t i c a ls a m p l es i z e s t h er e s u l t so fs i m u l a t i o ns h o wt h a tt h e m a x i m u mq u a s i l i k e h h o o de s t i m a t o rp e r f o r m sw e l le v e nf o rs m a l ls a m p l es i z e s 第1 v 页 中国科学技术大学博士学位论文第一章绪论 第一章绪论 本章共分三节，在第一节中，我们从广义线性模型是线性正态模型的推广出发对 广义线性模型的特征及相关的一些概念作了一个简要的介绍；在第二节中，我们列出 本文记号、主要条件和结果在第三节中，我们列出本文主要结果证明所需的一些引 理并给出相应的证明 5 1 1 引言 1 1 1 模型介绍 广义线性模型( g e n e r a l i z e dl i n e a rm o d e l ，简记为g l m ) 是常见的正态线性模型形 式上的直接推广，它可适用于连续数据和离散数据( 如属性数据和计数数据) 这在实 用上，尤其是对于生物、医学、经济和社会数据的统计建模和统计分析，具有重要的 意义g l m 的个别特例起源很早，在十九世纪，为了描述社会学中人口增长和化学中 链反应等现象，就出现了早期的r g l m ( j i i f k , h e r 在1 9 1 9 年就曾用过它) 由于这些模型的 实用性，它们一直被社会学者和经济学者所关注，应用较多的主要是l o g i t ( 或l o g i s t i c ) 模型和p r o b i t 模型在2 0 世纪四、五十年代曾l 招。b e r k s c n 、d y k e & p u t t e r s o n ：| 等人也使用 过：g l m 中的l o g i t 模型但在很长一段时间里，l o g i t 模型只是作为一种工具和方法 被用来研究社会、经济的个别问题，直至1 n e l d e r & w e d d e r b u r n ( 1 9 7 2 ) 在一篇论文中 引进广义线性模型一词和m c f a d d e n ( 1 9 7 3 ) 把多元l o g i t 模型和离散样本情形的数学 模型联系起来，对于g l m 和1 0 9 i t 模型的研究才逐渐增多，且陆续出现了一些专著， 如m c c u l l a 吐n e l d e r ( 1 9 8 9 ) 对g l m 有比较系统的论述，介绍了g l m 的一些基本知识和 基本理论不过，所有的结果都未给出证明，应用举例也不很多关于l o g i t 模型的专著 可参见我国学者王济川等( 2 0 0 1 ) 所著一书综观这些专著可看出大都是以应用为取向 第1 页 广义线性模型中极大拟似然估计的极限理论研究 1 1 引言 的，很少涉及较深的理论的论证 那么究竟什么是广义线性模型呢? 下面我们从正态线性模型与经典的广义线性 模型的比较中来了解一下广义线性模型的特征 通常的正态线性回归模型有以下几个特征- e ( y ) = ”t = z ( 。) 卢， 其中，p 为p 维未知参数，其真值记为风，y 是因变量( 一维或多维) ，。是自变量( 一般 是多维) ( z ) 为z 的已知p g 设计矩阵函数( 例如在。的多项式回归中，z ( z ) 为包 含。各分量的一些幂次以及交互乘积等，其中g 是y 的维数妒视实际问题而定，亦 即未知参数卢的维数) ，z ( z ) 简记为z ，z 表示z 的转置 。，z ( z ) ty 都是取连续值的变量如人的身高体重，农作物产量等 y 的分布为正态，或接近正态分布 线性模型显著的特点一是易于解释；二是在理论上，统计方法便于理解和研究当 数据服从( 或近似地服从) 正态分布且具有某种线性结构时，经典的线性回归分析模 型一般乐于被大家采用但是当实际数据明显地不服从正态分布时，例如属性数据、 计数数据等，线性模型中的假定就显得过于严格，若用线性模型进行统计建模和统计 分析则有误且无理论依据 经典的广义线性模型是常见的正态线性模型的推广主要从以下几个方面： e ( y ) = m = 卢( z 7 卢) ， 其中，p 为一个严格单调、充分光滑的函数，扯已知且一般为非线性函数 9 = # - 1 的反函数) 称为联系数( 1 i n kf u n c t i o n ) ，有9 ( m ) = z 7 卢此处e ( y ) 不等 于z 7 届，而是等于z 卢的某个函数即因变量y 的均值e y 通过一个一一映射( 联系 函数) 而依赖于z 的线性组合多p 第2 页 中国科学技术大学博士学位论文第一章绪论 z z ( 。) ，y 可取连续或离散值，且在应用上更多见的情况为离散 值如 o ，1 ) ，( 0 ，1 ，2 ，) 等 注：在不影响理论讨论的前提下，我们约定一律用z ，i 1 代替z ( z ) ，z ( x d ，i 1 来讨论，即茁，粕，i 1 为相应的p q 阶设计矩阵 y 的分布属于指数型( 一元情形的有正态分布、二项分布、p o i s s o n 分布、指 数分布s u r - 分布；多元情形的有多元正态分布和多项式分布，正态只是其一特 例) 其形式为： ，( 可l 目) = c ( y ) e x p ( o l 一6 ( 口) ) d ( ) ，0 e ( 1 1 ) 目为参数，称为自然参数；o 为自然参数空间，即e = p 0 ：0 o 条件 i = il 三l 下获得了相应拟似然方程的解良的存在性和强相合性并且获得其收敛速度而 本文第四章对方差函数的结构没有任何要求的情形，我们在更广泛的条件即条 件坠! ； ! 进一0 、误差的一定矩的条件及一些正则性的条件下同样获得( 1 2 7 ) 1 4 j 解 的几乎处处存在性、强相合性及强收敛速度的结果对多维情形的固定设计下的拟 似然方程( 1 2 9 ) ，岳丽& 陈希孺( 2 0 0 4 a ) 则基于下面简单的观察：若 i n f l l s 。( 卢) 一8 n ( 风) i i ：口e 雪) 2 1 i s 。( z o ) l i( 1 - 3 2 ) 这里雪是以未知的真参数风为中心的球体s 的表面，则有i n f l l s 。( 卢) | | ：p 田 l i s 。( 卢) n 故i j s 。( 口) | | 在s 的内部有一局部极小值点良在假设a m 。( 芝。i 。：) c n ? ，6 ( ；，1 ，s u 酬y i l l j o 。及其他一些正则性条件下，获得了以概率l , n t g 分大时拟似然 t l 方程( 1 2 9 ) 有解良且觑一阮= o ( ，n 一( 1 一 ( i o g ：l o g n ) ) 在一重要的特例即取1 = l 情况 下，此结果达到独立同分布随机变量序列部分和的重对数律中的收敛速度，故不能 改进而z h a o y i n ( 2 0 0 5 ) 同样利用上述提到的l e r a y - s c h a u d e r 定理及其推论，在要 求a 。( 她z ：) 产， o ，相应的要求有矩条件s u p 慨旷50 ( 3 ，r i 1 及其它的一 ；= 1t 2 l 些正则性条件下获得固定定设计。下的拟似然方程( 1 _ 2 9 ) 解良的强相合性此外岳 丽陈希孺( 2 0 0 4 b ) 弄0 用他们的强相合性的结果，在稍强的条件下也研究了拟似然 方程( 1 2 9 ) 解良的渐近正态性，除了强相合性等结果以外，在一定的条件下本文的第 三、四章分别获得固定设计与自适应设计的拟似然方程( 1 2 7 ) 解- 良的渐近正态性 前面我们已指出( 1 - 2 7 ) 同( 1 2 9 ) 相比，前者有更广的适用范闹和更简洁的形式，从而有 重要的理论与实际意义 第1 4 页 中国科学技术大学博士学位论文第一章绪论 1 2 基本假定与主要结果 5 1 2 1 记号约定 设仇1 i 7 沩g 一维因变量，a ，1 i 为p q 阶设计矩阵，9 = # - 1 为联系函 数，卢为p 维未知参数其真值为阮 为叙述的方便，我们首先引入一些记号并做一些约定 记 n 品= x i z ib = a 。饥( 品) ，k = a m a x ( 品) i = 1 易知 b 。一1 ，a 。a 。一1 令p 0 ) = ( 肛1 0 ) ，芦口( t ) ) ，t = 0 1 ，r ，t q ) ，记 郇) - 争( 掣) ，矿( 1 - 3 3 ) 而定义矿( 砖为一g 阶方阵，其( ，砷元为堡! l ! j ；j 笺坦 ：1 ，q 注意到矿( t ) 为对称方阵，而且对任何g 维列向量疋有 l 丘( z ) f = z 止+ ( t ) f ( 1 3 4 ) 当q = 1 时，我们对p ( t ) 的一、二阶导数采用习惯的记法p7 ( t ) 、p o ( t ) 其他的地方单撇号 皆表示矩阵或向量的转置 约定： 对于任给对称矩阵日，c ，用b c 或b c 0 表示b c 为非负定阵向量皆表示 列向量 用c 及带下标的c 0 1 c l ，汜般正常数：在每次出现时可取不同的的值，甚至在同 一表达式中，取值也可以不同，例如在c e m 中，两个c 之值可以不同 第1 5 页 广义线性模型中极大拟似然估计的极限理论研究 5 1 2 基本假定与主要结果 1 2 2 基本假定 下面给出本文讨论中针对设计矩阵的一些基本条件 b 存在某m 0 ，使得s u p i i z 。| | m o o z l 若锄为随机的，只需将s u p i i x | l m 。改s u p i 旧| | o 存在且在有限区间内有非。下界 第1 6 页 中国科学技术大学博士学位论文 第一章绪论 e 1 存在6 o 使c 垒s 。u p 、e l e i l 2 + 6 o t 1t j 则以概率l 成立当n 充分大时，( 1 2 7 ) 存在解度。一3 0 。s 更确切地说 良一凤：。( 堕掣型) 。( 1 - 3 5 ) 岛 注2 1 ：在应用上常见的情况下，有b = d ( n ) 在这个情况下上式有形式 良一阮= o ( n 一( 1 0 9 l o g n ) ) o5( 1 3 6 ) 即达到i id 和重对数律的收敛速度，因而是不可能改进的 对磊的强相合性，文献中往往要求条件k = o ( b ) ，或者，在鼽服从指数型分布的 条件下，要求i y 2 州= d ( b ) ，对某个6 0 ( 参见f a h r m e i r & k a n f m a n n ( 1 9 8 5 ) ) 定理2 1 中结果可推广到因变量y 为多维的情形 在拟似然方程( 卜2 7 r 社，设为p g 方阵勘为g 维有关的条件和结果如下： 定理2 2 在f d 模型中，假设b ，a 1 成立，且 c 2 旷( ) o ，矿( t ) 连续 e 2 存在c 0 ，使i = ac o y ( 岛) c ，i 1 ，存在6 o 使c 1 = as u p e l i 8 t i l 2 州 0 在第三章中 第1 7 页 广义线性模型中极大拟似然估计的极限理论研究12 基本假定与主要结果 在第二章的基础上，我们研究拟似然方程解的渐近正态性问题，有关的假设和结 果如下： 定理3 1 在f d 模型中，假设b ，a 2 ，定理2 2 的e 2 成立，且满足 c 3 豇( t ) + o ；且卢的各分量的一切二阶偏导数存在连续 则当n o 。时，方程( 1 2 7 ) 有一个渐进正态的根良： b 二5 1 ( 内) 三( o ，n( 1 3 8 ) 其中 nn 玩= x i e i x i 7 ，= z 。丘( 远风) z ：( 1 - 3 9 ) z = 1i = 1 注3 1 ：这个结果尚不足以用于统计推断，因岛，还包含模型中的一些未知成 分口。和e i 下面的定理可以解决这个问题 定理3 2 记 n 瓠= ( 们一p ( z ：良) ) ( 玑一p ( 。：菇) ) x i t , ( i - 4 0 ) 则在定n _ 3 1 的全部条件满足，且肛( t ) 的一阶导数连续时，有 菇 国。( 良一阮) 三n ( 0 ，n 注3 2 ：上武就可用于肋的统计大样本推断 对a d 模型 ( 1 4 2 ) 在第四章中 当为一维时，我们所获得的强相合性及强收敛速度的有关的条件与结果如下 第1 8 页 z 厨 扛 芦 z 。汹 = nq 塞里翌兰垫查查兰堡主堂垡竣壅 一 第一章绪论 2 。2 2 2 2 2 2 2 2 2 2 2 2 2 2 = = 2 1 = ! = = z ! ! 一 ! ；： ；：；： 定理4 1 在a d 模型中，假设条件b ，a 3 成立、且有 c 4 ( ) o 且p ( t ) 连续 c 5 存在常数d 2 ，使得s u pe ( f e ； n 阮一1 ) o ；p ”( t ) 存在且连续 0 8 存在某常数a 2 和口 o 使得 s u p e ( j 龟o 陋一1 ) 1 。l 。i r a 。e ( e ij 兀一1 ) = o - 2 。s 则当n c o ，方程( 1 2 7 ) 有一渐近正态根赢 ( 1 - 4 3 ) ( 1 4 4 ) t ( 1 4 5 ) ( 1 4 6 ) ( 1 _ 4 7 ) 3 0 ) 二( o ，口2 昂) ，( 1 4 s ) 其中印。一墨1 肛7 f z ：风) z ：_ 注4 2 ： 第1 9 页 i o ， 卫 。汹 崂 风q 胆 zz 。黼 广义线性模型中极大拟似然估计的极限理论研究 5 1 2 基本假定与主要结果 ( a ) 若o - 2 未知，则可用残差平方和子2 估计a 2 ，且可证 ) 协2 2 a 2 相合估计，故在f 1 4 s ) 中用子2 代替一2 ，有子2 ( 竺l 如z ：) 一1 2 q 。( 磊一9 0 ) 三n ( 0 ：昂) ，此式可用于统计推断 ( b ) 因( 1 4 8 ) 中的0 。中含未知参数阮，故不可直接用于统计推断，但注意到连续及 定理4 1 的结论可知，将( 1 4 8 ) 式中的廓用良代替即可用于统计推断 对y 为多维情形 在方程( 1 2 7 ) 中，托为p 口方阵，y 沩g 维，同一维一样 五，t 1 ) 是一串非降 的口一域，满足对每个i ，y i 五且孔五一1 有关强相合性与渐近正态性的条件与结果如下： 定理4 3 在a d 模型中，假设b ，a 3 ，定理2 2 的c 2 成立，且有 c 9 存在常数 2 ，使得s u p e ( 川l l e 酽l 五- 1 ) o ，使。，。s c l l 止+ o ；且“的各分量的一切二阶偏导数存在连续 则当n o 。，方程( 1 2 7 ) 有一渐近正态根良 ( 1 5 0 ) b ：j 1 q 。( 良一z o ) 旦+ n ( 0 ，。2 如) ，( 1 5 1 ) 其中玩垒竺，甄：z ：，o 。垒：，孔芦7 ( z ：岛) z ： 第2 0 页 0 三 班 zez 。谶 悔 中国科学技术大学博士学位论文第一章绪论 定理4 5 记 n 岛= ( 们叫( 良) ) ( 聃一p ( 磊) ) 托，( 1 - 5 2 ) i = 1 仉= 剐j ( 良) z ： t = 1 ( 1 5 3 ) 则在定理4 4 的全部条件满足，且卢( t ) 的一阶导数连续时，有 露场。( 赢一3 0 ) 三g ( 0 ，n( 1 - 5 4 ) 注4 5 ：上式就可用于风的大样本推断 最后我们对p r o b i t 模型先按拟似然方法对参数估计的小样本性质进行了相关的 模拟另外，我们也对该模型中的极大拟似然估计与极大似然估计小样本性质进行比 较模拟模拟结果显示，即使在小样本情形下，拟极大似然估计也表现出良好性质 以上定理的证明见随后各章， 强3 主要引理 为获得我们的结果需要以下一些引理 设置，z 1 独立r u 序列，e x i ：o ，。1 风垒曼v a r ( x i ) o ，d 。垒妻ej x i l 2 + 6 “ 17 = = l 。 0 则： l i r a s u p ( 2 b i n 盟t o gl o gb 。一) o g = 1 n ( 1 5 5 ) 参见l a i ，r o b b i n 8 & w e i ( 1 9 7 9 b ) ，p ，3 0 5 引理1 3 设( p ) 是从舒到伊的一一连续映射，h ( 岛) = o x _ i r d 1 - ( p ) 一。l l ：旧一岛j f ； c r 则对任何b ，b a i l l i r ，存在p ，旧一岛| | c ，使h ( p ) = 6 ， 参见, d u g u n d j i ( 1 9 6 6 ) 、p 3 5 9 , 推论3 2 引理1 4 设l ，f 2 ，为期望为。的独立随机变量序列，且存在q o 使 则 s u p e i 矗1 1 + 1 l l i 。显盛：o 。s n _ o 。n 参见p e t r o v ( 1 9 7 5 ) 引理1 5 固定自然数口，常数c o ，对任何q 阶方阵 = ( o 幻) ，定x a 4 = ( 。玉) ，其中n 毛= ( o 。，+ o j ；) 2 ，则存在常数c 1 o ，使当a + c ，时；必有 d e t ( a ) l c 1 证明： 若不然，则存在一串q 阶方阵( ，n 1 ，使一：e l ：n 1 ，但 如垒i d e t ( a 。) l 一0 第2 2 页 中国科学技术大学博士学位论文第一章绪论 s p , d 。= a ：，则 记d 。的全部特征根为 则 故 而当竹一o 。 另找单位向量鼽，使 即 因而 但 故 但按假定、有 d 。o ，d e t ( d 。) = 碍 n 1 a n 口0 a 。1 a 。2 a 咖= d e t ( d n ) = d ： a a 。1 a 。2 a 。q = 碍 掣口一0 赢d 。鼽= a 唧掣4 悄。鲰i l d y 。 9 ：a 。g 。1 1 9 。i ii i a 。g 。i i 副q a ：骱= g n a 。9 。 c i 第2 3 页 广义线性模型中极大拟似然估计的极限理论研究5 1 , 3 主要引理 故 这个矛盾证明了本引理 引理1 6 设 ，t 1 ) 为一串p 阶正定方阵，满足条件 c l i a n 0 2 ，n 1 其中c l 0 ，c 2 o 与钆无关又 风，n 1 ) 为一串p 阶对称方阵，玩i o ，则当礼- , 0 ( 2 0 ， ( a 。+ b 。) 一 a i 。j 证明： 由假定知 1 a i i i ， 1 ) ， l ( a 。+ b 。) 一 i ，n 1 ) 都有界( 1 5 6 ) ( 其e p a 是一矩阵，以i a 记a 各元绝对值的最大值，以下同；注意因为a i + 最= 0 情形 , - f 能出现，由假定知它至多出现有限项，而将这些项去掉后并不影响我们的讨论，所 以不失一般性，不妨排除这种情形) 事实上f l 一5 6 ) 等价于 l a 。l ，1 ) ， i ( a 。+ b 。) i 一1 ，n 1 ) 都有界( 1 - 5 7 ) 即等价于在非负定意义下有 a 。i t 一1 ) 有上界， 。+ 阮 1 有下界( 1 5 8 ) 由假定上式显然成立，从而有f 1 5 6 ) 故在必要时取子列，不妨设 1 i m 鸽= k 和l i r a ( a 。+ 1 3 。) 一j 1 = j 都存在， n + 。on 一，。 第2 4 页 中国科学技术大学博士学位论文 第一章绪论 因 知 ( 如+ 马；) 一j 一 但晶。o , i 玫a 。j - 2 ，又由a i 。k ，知如。k 2 ，由此知k 2 ：l ，从而 l i m ( a 。+ ) 一 i = j k = j n + 。0 一 引理1 7 设 h ，n 1 ) 是鞅差序列，满足 s u p e ( 蚓o i 矗一1 ) 2( 1 - 5 9 ) n 1 且u 。关于五。一l 可测，n 1 测 若s u pi “：卜o 。，且墨，h | = o 。那么有 垃1 1 粤警( 薹陬旧) ( p 扪一_ ； ( 蜥。) 若罂。u i 0 ( 1 - 6 4 ) 另。= ( 。乩，z 。，) 关于矗一1 可测，且存在非随机的矩阵列 ，n 1 ) ，使得 则有 马0 ( 1 ：6 5 ) ( 叩：) 一1 胆晰 三( o ，a 2 昂) ( 1 6 6 ) = = ll = 1 参见l a i w e i ( 1 9 8 2 ) 引理1 o 设 岛i ，矗。，1 i ，n 1 ) 是以 为鞅差的。均值平方可积鞅阵列，且q 2 是一a s 有限的随机变量，满足： 则有 对任 o ( 1 。6 7 ) ( 1 6 8 ) 竺x 。三( o ：柏 ( 1 6 9 ) 2 = l 参见h a l l h e y d g e ( 1 9 8 0 ) p5 8 5 9 引理1 1 0 设 咒，i 1 是一鞅差列，且l 兰p 2若凳1e ( i x 。h 五1 ) ， 醒 目 k 甜 矿 一再 2 n xe k 甜 中国科学技术大学博士学位论文 第二章固定设计极大拟似 然估计的强相合性 第二章固定设计极大拟似 然估计的强相合性 本章中我们研究简单但重要的形如l x i ( 虮一“( z ) ) = o 的固定设计拟似然 方程，在比文献较弱的条件下证明了以概率1 当n 充分大时此方程有解风，得到了良强 相合性及收敛速度，并指出在应用中常见的情况下觑收敛于真值凤的速度达到 了i m d 的重对数律，从而不可能改进 5 2 1 引言和背景 所谓固定设计，即： f d 假定设计阵耽是p q 阶非随机设计矩阵，或既是随机的，但将其驾为非随机 的并不影响所有的讨论结果的有效性，即在所有的讨论中，我们都