（概率论与数理统计专业论文）基于信息论准则的变量选择问题.pdf

摘要 变量选择是一种常见的模型选择问题，也就是选择重要变量，在概率统计 学中有着重要的意义本文根据信息理论准则( i n f o r m a t i o nt h e o r e t i cc r e t e r a 或者简称i t c ) 对广义线性模型和删失回归模型提出了一些变量选择方法广 义线性模型是一种非常重要的统计模型，有着深远的应用背景，模型删失回归 模型是计量经济学中具有广泛应用的一类模型 在第一章中，我们对变量选择问题做了简单的介绍，并简单介绍了一些准 则，第二章主要讨论广义线性模型的选择方法，并且在较弱的条件下，证明了 这些选择方法的相合性第三章中，我们对删失回归模型的选择方法进行了讨 论，并且证明了这些选择方法的相合性 关键词：删失回归模型、广义线性模型、变量选择、信息论准则、相合性 v a r i a b l es e l e c t i o nv i ai n f o r m a t i o nt h e o r e t i cc r i t e r i a a b s t r a c t v a r i a b l es e l e c t i o ni ss e l e c t i o no fi m p o r t a n tv a r i a b l e sw h i c ha r ea d e q u a t ef o r p r e d i c t i o nu n d e rar e g r e s s i o nm o d e l i nt h i sp a p e r ，w ep r o p o s es o m es e l e c t i o n p r o c e d u r e sb a s e do nt h ei n f o r m a t i o nt h e o r e t i cc r i t e r i a ( i t c ) f o rg e n e r a l i z e d l i n e a rm o d e la n dc e n s o r e dr e g r e s s i o nm o d e l i nc h a p t e r1 ，w ei n t r o d u c es o m e c r i t e r i au s e df o rv a r i a b l es e l e c t i o ni nc h a p t e r2 s o m es e l e c t i o np r o c e d u r e sb a s e d o ni t ca r ep r o p o s e d ，a n dt h e s ep r o c e d u r e sa r ep r o v e dt ob ec o f i s i s t e n tu n d e r s o m em i l dc o n d i t i o n si nc h a p t e r3 ，w ep r o p o s es o m es e l e c t i o np r o c e d u r e sb a s e d 0 1 2 t c ，a n dp r o v et h a tt h e s ep r o c e d u r e sa r ec o n s i s t e n t k e y w o r d s ：c e n s o r e dr e g r e s s i o nm o d e l ，g e n e r a l i z e dl i n e a rm o d e l ，v a r i a b l es e l e c t i o n ，i n f o r m a t i o nt h e o r e t i cc r i t e r i a ，s t r o n gc o n s i s t e n c y , 1 l l 致谢 这篇论文的顺利完成得到了许多老师和同学的大力支持和帮助，在此我想 对他们致以深深的谢意! 在这里我首先要感谢我的导师赵林城教授在这三年里，赵老师从专业知 识、研究的方法、治学的态度等各方面给我们悉心的指导，使我终于从一个本 科生转变成为一个研究生，并最终顺利完成了我的研究生学业他严谨的治学 态度，对学生的循循善诱以及对待每一项工作的细心认真，都使我受益匪浅， 也成为我今后工作学习中最好的榜样在此，我想对赵老师表示我最衷心的感 谢! 其次，我想向缪柏其教授、方兆本教授、苏淳教授、韦来生教授、吴耀华教 授、胡太忠教授、张曙光表达我由衷的感激之情，他们通过为我们讲授各门专 业课程带领我们真正进入了概率论与数理统计这一领域，并帮助我们掌握了许 多进行科研工作的工具与方法此外，在我的研究生阶段，还得到了来自系里 许多老师，包括郑坚坚老师、臧红老师和夏红卫老师的不少有益的帮助，在此 一并向他们表示我最诚挚的谢意 同时，我还要向我身边支持我，帮助我，鼓励我的崔文泉博士、张洪博士、 吴成庆博士等所有老师和同学，表达我衷心的感谢，正是在他们的鼓励和帮助 下，我才能克服种种困难，并最终完成我的硕士学业他们都是我的良师益友 最后，我还要感谢我的家人和方易新同学，他们的鼓励和关怀永远是我前 进路上最大的动力。 第一章综述 变量选择是一种特殊的常见的模型选择问题，也就是选择重要变量，在 统计学中有着重要的意义当我们应用回归分析去处理实际问题时，碰到的一 个重要的问题就是选择回归自变量一般说来，根据问题本身的专业理论以及 有关经验，人们罗列出来的可能与因变量有关的自变量往往太多，其中有一些 变量对因变量根本没有影响或影响很小如果回归模型把这样一些变量都包含 进来，不但计算量大，而且估计和预测的精度也会下降因此，对模型的自变 量选择做一些理论分析，是很有必要的 统计学家的一个目的就是考虑如何从众多变量当中选取重要变量，用来提 高估计和预测的准确度变量选择更多的是从实际角度考虑，从专业或经验的角 度看，哪些变量对目标y 有重要影响我们可以根据选择的模型做统计分析， 这样模型就简化了许多根据已选择的模型来做的统计分析，是可以反映真实 模型的一些性质的 对于如何进行变量选择，不同的统计学家提出不同的准则，比如a i c 准则， 它可以表达为使“a i c = 一2 l o g ( 1 i k e l i h o o d ) + 2 达到最小的那组参数是最优的参 数选择，其中k 表示选择的变量个数；c p 准则，即使“q = 垦挚一( n 一2 ) ” 达到最小的准则；以及b i c 准则，即使“b i c = 一2 l o g ( 1 i k e l i h o o d ) + l o g ( n ) ”达到 最小的准则 然而，在很多准则之下进行的变量选择不是相合的z h a o ，k r i s h n a i a ha n d b a i ( 1 9 8 9 ) 在解决信号处理变量选择的时候，于著名的a k a i k e 的a i c 准则 和s c h w a r t z r i s s g n e n 的m d l ( m i n i m u md e s c r i p t i o nl e n g t h ) 准则的基础上， 提出了一种具有相合性的准则，他们称之为信息论准则( i n f o r m a t i o nt h e o r e t i c c r i t e r i a ，ie i t c ) ，具体工作见文章“o nr a t e so fc o n v e r g e n c eo fe f f i c i e n t d e t e c t i o nc r i t e r i ai ns i g n a lp r o c e s s i n gw i t hw h i t en o i s e ”( 1 9 8 9 ) 在此我简 单的介绍一下他们的此项工作， z h a o ，k r i s h n a i a ha n db a i ( 1 9 8 9 ) 的工作是在模型选择的架构之下，在p 个 备择模型凰，日，珥一l 中按照某种准则选取一个，h 是表示挑选了k 个 变量，真实的变量个数是p o ，要定出这个阶加之前，w a x a n dk a i l a t h ( 1 9 8 5 ) 把a i c 准则和m d l 准则用于这一模型选择问题按照a i c 准则，自由参数 的真值p o 的估计2 ；o 满足 a i c ( 1 5 0 ) = m i n a i c ( o ) ，a i c ( p 一1 ) ) ， ( 1 1 ) 其中 a i c ( k ) = 一2l o gl k 十2 u ( k ，p ) ，( 1 2 ) 此处l k 表示在模型风中似然函数的最大值，”( ，p ) 表示在巩之下待估的 自由参数的数目按照m d l 准则，p 0 的估计j ；o 满足 m d l ( 芦o ) = m i n m d l ( o ) ，m d l ( p 一1 ) ) ，( 1 3 ) 其中 m d l ( k ) = 一l o g l k + p ( ，p ) ( 1 0 9 n ) 2 ( 1 4 ) 按照他们提出的一般的i t c 准则( 有时也称为e d c 准则) ，可选取p o 的估计 南，使之满足 j ( j ；o ，c n ) = m i n i ( o ，e ) ，i ( p l ，) ) ，( 15 ) 其中 i ( k ，c k ) = 一l o g l k + c np ( ，p ) ，( 1 6 ) 而c n 满足 c n | n 一0 g n | l o g l o g n 一。q - 、 当一。正如w “和k a i l a t h ( 1 9 8 5 ) 指出的，a i c 准则是不相合的，它 一般倾向于高估信号的数目但他们在证明m d l 准则的( 弱) 相合性时，认为 当r 时l o g 似然比一2 ( 1 0 9 l ，一l o g l k ) 的极限分布为) ( 2 分布，并利用了这 一论断z h a o ，k r i s h n a i a ha n db a i 指出，保证此论断成立的规则性条件不满 足，并举出了极限分布不是x 2 分布的反例，因此这个论断不对而且，z h a o ， k r i s h n a i a ha n db a i 证明了，在c k 的上述选择之下，痂为p o 的强相合估计， 而m d l 的强相合性只是它的一个特例 z h a o ，k r i s h n a i a ha n db a i ( 1 9 8 9 ) 提出的这种方法，因为它的相合性这个优 点，被用到很多领域， r a oa n dw u ( 1 9 8 9 ) 把这个准则应用到回归模型中的变 量选择；b a i ，k r i s h n a i a ha n dz h a o ( 1 9 9 1 ) 把它应用到l o g i s t i c 回归模型中的 变量选择，b a i ，k r i s h n a i a h ，s a m b a m o o r t ha n dz h a o ( 1 9 9 2 ) 把它应用到l o g 线 性模型中的变量选择 本文中我们把之前的几个结果推广到了自然联系函数的广义线性模型，同 时把信息论准则( i t c ) 应用到删失回归模型的变量选择中，提出了一些选择方 法，并且证明了它们的相合性下面介绍考虑的模型： 2 设目标向量y 是q 维随机向量，x 是p q 随机矩阵，z 是由x 产生的矩 阵如果e y = z ( x ) 7 卢，这就是我们熟悉的线性模型如果e y = ( z ( x ) f 1 ) ， 这就是广义线形模型，称g 垒h - 1 为联系函数我们不妨设随机向量的y 的分 布属于自然指数分布旗，即有密度 f ( y | 0 ) = c ( y ) e x p ( 7 y 一6 ( 8 ) ) 0 = ( 目l ，巩，良) 为q 维参数向量我们设y 的均值和线性组合z p 有关， 有关系式e y = o b ( o ) o e 兰肛( 日) = h ( z f 1 ) 本文我们只考虑自然联系函数，即 g = 芦一1 ，此时目= z 7 卢 假设数据包括一列 ( k ，五。) ) ，其中k s ，目标向量，是相互独立的q 维随 机向量，墨s ，回归矩阵，是p xg 随机矩阵目标向量圪的分布假定属于自 然指数分布族，k 的均值和线性组合z z 有关，有关系式“兰e k = ( 瓦口) ， 其中瓦= ( 1 j x ：) q 。( 叶1 ) ，在自然联系函数下，我们有0 。= z z ，模型可以写 成 ，( g 。i 口。) = c ( y n ) e x p ( z ：p ) 7 y 。一6 ( 瓦p ) ) ，n = 1 ，2 ， 删失回归模型是近年来在计量经济学中受到统计学家密切关注的一种模 型在这种模型中，因变量的取值范围被限制在实数轴的某个子集上 我们设 = x 细+ e ；，i = 1 ，一，n ，( 1 8 ) 只有+ = y d ( y 。0 ) 和x ：能被观察到，其中珥) 表示某个集合的示性函 数换句话说，上述模型可以写成因变量被限制为非负的模型； k + = ( x ：z + e 。) + ，i = 1 ，n ， ( 1 , 9 ) 其中f k 是一列p + 1 维的随机协变量， 白，是一列不能被观察到的误差， 卢是未知的p + 1 维回归系数这一模型称为删失回归( 或称为删失t o b i t ) 模 型，这是由t o b i n ( 1 9 5 8 ) 首次提出的，关于它的介绍，可以参看综述性的文章 r a oa n dz h a o ( 1 9 9 5 ) 对于以上两种模型，我们令a = 0 ，1 ，p 且记卢一【岛，p h 一，岛) 为 真参数很容易看出存在a 唯一的子集b o 使得 0 ) cb o 且i b o ，i o ，当 且仅当屈0 我们称玩为a 的最优子集在本文中，我们希望确定这个最 优子集口。 本文通过信息论准则来做以上两种模型的变量选择问题，方法如下： 3 对于自然联系函数的广义线性模型，记对数似然函数为 n 1 0 9 l 。( p ) = ( 或m b ( 以) ) 一c ，日；= 乏口，i = 1 ，2 一，n ；】 令 o ) cbc a 记 珀= 1 r 9 + 1 ：m = 0 ，对所有2 a b ) g 。( b ) = s u pl o gl 。( 1 ) ， m b 以及 。( b ) = g 。( b ) 一# ( b ) c k ， 其中c j 满足下列条件， 规鲁姐并且溉击l o g n 一。n n 一 i o g n 选择b 。使得 o ) c bca ，而且 i n ( b 。) = m a x i , , ( b ) ： o ) cb ca ) ， 可以用_ 日。作为a 的最优子集b o 的一个估计 为了计算简单，我们可以用另外一种方法令a ( 。) = a 一 j ) ，i 存在一个子集，或者是a 或者是4 记为bc 2 ) 满足 厶( b ( 2 ) = m a x ( i n ( a ) ，厶( 4 ) ) ，= 1 ，2 ，一，p 令 ( 1 1 0 ) ( 1 1 1 ) ( 1 1 2 ) ( 1 1 3 ) ( 11 4 ) 那么我们用豆。作为a 的最优子集b o 的一个估计 我们在第二章中证明了定理，说明这两种估计是强相合的并且我们做了 模拟，和其它准则进行比较，说明i t c 准则做变量选择的优越性 对于删失回归模型，我们设真参数p = ( 风，岛，岛) 在一个已知紧参数 空间bcr 升1 的内部，令 0 ) cbca ，记 m 日= 7 舀cr 9 “：= 0 ，对所有j a b ) 令 1n g n ( 1 ) 2i 附一( x l ，( 1 1 5 ) d 厶( 口) ，i n m f 。l o g g n ( ，y ) ， 以及 厶( b ) = 。( b ) + 4 ( 日) c i ， 其中4 ( ) 表示集合的基数，且g s 是满足定理条件的正常数 说明：( 11 6 ) 式中取对效是为了避免不同量纲造成的影响 我们可以选择岛使得 0 c 反cs 并且 厶( 蜃。) = m i n l , ( b ) ： o ) cb cs ) ， 用玩作为s 的最优子集b 0 的一个估计 为了计算简便，我们可以用另外一种方法令 a o ) = a d ，j = l ，p 存在个子集，或者是a 或者是a o ) ，记作b ( ，满足 l ( 口( ) = m i n l , ( a ) ，厶( a o ) ) ，j = 1 ，p 令 p 鼠= n b ( ”， j 2 l 那么我们可以宫。作为a 的最优子集岛的一个估计 在第三章中，我们证明了定理，说明这两种选择方法是强相合的 5 ( 1 1 6 ) ( i 1 7 ) ( 1 1 8 ) ( 11 9 ) 第二章广义线形模型的模型选择 2 1 广义线形模型的介绍 广义线形模型是一种经常要用到的回归模型，包括属性目标变量，其中一 些经典条件不满足，大家可以参看n e l d e ra n dw e d d e r b u r n ( 1 9 7 2 ) ，m d c u l l a g h a n dn e l d e r ( 1 9 8 5 ) ，和f a h r m e i ra n dk a u f m a n n ( 1 9 8 5 ) ，等等设数据包括一列 ( k ，x 。) ，其中k s ，目标变量，是相互独立的q 维随机向量，s ，回归矩 阵，是p g 随机矩阵目标变量k 的分布假定属于自然指数分布族，k 的均值 和线性组合z ：z 有关，有关系式p 兰e y = ( 兹p ) ，其中蜀= ( 1 ；弼) 。( p + 1 ) ， 称g 兰h _ 1 为联系函数 现在我们介绍自然指数分布族的一些特征一族q 维随机向量y 的分布 b 0 ec 彤，有密度 f ( y l8 ) = c ( y ) e x p ( 0 y 一6 ( 口) ) ，c 0 可别 称为有自然参数为0 的自然指数族我们假设e 是自然指数空间。即满足0 fc ( y ) e x p ( 0 y ) d v 。的所有0 的集合那么e 是凸集，并且在0 的内部e o ， b ( o ) 的所有导数和y 的所有阶矩存在特别的，我们有 e o y = s b ( o ) s o 垒“p ) 以及e o ( ，7 ) = a 2 b ( o ) o o o e 7 垒( p ) 协方差阵r ( o ) 假设在0 的内部e o 是正定的 广义线形模型有下列特征 ( i ) k ，磊 ，n = l ，2 ，是i i d 的假设乙，k ，n = 1 ，2 ，是相互独立 的，并且它们的密度是 f ( y 。i0 ，。) = c ( y n ) e x p ( 0 ：y 。一b ( o 。) ) ，n = l ，2 ，- ( 2 1 1 ) 是自然指数分布型，如0 0 ( i i ) 矩阵乙通过线形组合= z z 的形式影响k 的均值，其中p 是 ( p + 1 ) 维参数 6 联系 ( i i i ) 线形组合通过联系函数g ：m 一钟，。= g ( “( 靠) ) 与碥的均值肚( 以) 在本文中，我们只关心自然联系函数g = ，因为它有很重要的意义 在自然联系函数下，我们有“= z 9 ，模型可以写成 ( v 。 靠) = c ) e x p ( z 声) 7 y 。一6 ( z p ) ，n = 1 ，2 ， ( 2 1 2 ) 其中蜀= ( 1 ，z ( ”，z ( 扪，z ( p ) 在很多情况下有很多可能变量o ( 2 这 可能表示实验者的知识欠缺，过于谨慎，或两者都有统计学家的一个任务就 是考虑如何从众多变量当中选取重要变量，用来提高估计和预测的准确度运 用信息理论准则( i n f o r m a t i o nt h e o r e t i cc r i t e r i o n ，或i t c ) ，b a i ，k r i s h n a i a h a n dz h a o ( 1 9 9 1 ) 对l o g i s t i c 回归提出了一些选择方法在本章中，我们把他们 的结果推广到模型( 2 1 2 ) ，自然联系函数的广义线性模型，来提出一些相合的 选择方法 2 2 问题和主要结果 对于自然联系函数的广义线性模型( 21 2 ) ，样本m ，k ，碥的对数似 然函数给定如下 n l o gl 。( 口) = ( 或k 一6 ( 瓯) ) 一c ，0 4 = z ；2 ，i = 1 ，2 ，n ， ( 2 21 ) z = 1 其中c 不依赖于卢= ( 风，口一，岛) ，不失一般性，我们忽略( 2 21 ) 中的c 很 容易得到计分函数& ( p ) 和信息矩阵矗( p ) 晶( p ) = o l o 石g l 广( z )= 磊( m 一“( 乏p ) ) r ( p ) = 一0 2 百l o 丽gl 歹( 一) = 萎n 磊( 乏声) 彰 ( 2 2 2 ) ( 2 2 ，3 ) ( 2 23 ) 很有用由于只( 归) 是正定的，似然函数是凹的，所以最大值如果 存在一定唯一正是由于这个原因，我们在本文中只关心自然联系函数 下面我们令a = 0 ，l ，p ) 且记卢= ( z o ，p 一，岛) 7 为真参数很容易 看出存在a 唯一的子集玩使得 o ) cb o 且i b o ，i 0 ，当且仅当屈0 ， 我们称b o 为a 的最优子集注意到如果对某些i a 一0 ，屈= 0 ，那么y 与 7 x ( 1 无关在本文中，我们希望确定这个最优子集风为了这个目的，我们假设 ( x 1 ，y 1 ) ，一，( x 。，k ) 是i i d 一( x ，y ) ，z = ( 1 ，x 7 ) = ( 1 ，x ( ”，x ( ”，一，x ( 9 ) 令 o ) c bca ，记 m b = 1 r p + 1 ：仉= 0 ，对所有z a 日) ， ( 2 2 4 ) g 。( b ) = s u pl o g l 。( 1 ) ，( 2 25 ) 以及 厶( b ) = g 。( b ) 一4 ( b ) c ，( 2 2 6 ) 其中b 满足下列条件， 几，7 l i r a 丝= 0 ，并且l i m 。= o 。( 2 2 7 ) n 一。o 扎 “_ 。l o g l o g n 选择玩使得 o ) c bca ，而且 厶( 宫，。) = m a x 厶( b ) ： o ) cb c a ) ， ( 2 28 ) 可以用反作为a 的最优子集b 。的一个估计在给出菇的相合性之前，我 们介绍下列假设： ( a 1 ) 对于任意c 0 ，f ( x ：c z = 0 ) n o ) = 1 ( m l e 的渐近存在性j ( 2 ) 风一卢r 强相合性j ( 3 ) i 骢二1l 。g k ( 风) = h ( 卢) 证明任意给定使得琏( 口) = ( f 7 一纠se ，包含在条件( a 2 j 中的邻域 里，我们现在证明，对于随机数n o ，事件 11 二i o g l 。( ，) 一二l o g 厶( 卢) n o ，( 2 34 ) 有概率1 这说明了渐近存在性的强的形式，即( 1 ) ，还有m l e 的强相合性，即 ( 2 ) 令a = ( ，一口) e ，对数似然的t a y l o r 展开 r i z 1 。gl n ( ，) 一五1l o g l n ( 口) 2 ：( e a 7 & ( p ) 一e 2 a r ( 声) a 2 ) ，嘶致( p ) ，( 2 - 3 5 5 ) 其中卢位于1 和卢之间通过s l l n ，品( 卢) 一0 ，as 一并且在条件( a 2 ) 下，d 竺 i 蝉n a 。f ( ，) 0 ，其中a 。j 。表示最小特征根，我们有l i 璎一a 7 r ( 卢) a 2 ，a ，( 口) “一o o 一6 2 0 从( 2 35 ) ，( 2 3 4 ) 成立 现在我们开始证明( 3 ) ，通过s l l n ，0 1 跫i 1l o g l n ( 1 ) = 日( 1 ) 但是风使 ；l o g l 。( ) 达到最大，于是由引理2 3 ，1 和引理2 3 2 我 f 完成证明 从引理2 , 34 ，这里和以后我们定义m l e 风满足以下似然方程 1n 妄互( k 一“( 互良) ) = 0 ( 2 36 ) 1 0 引理2 3 5 在条件( a 1 ) 和( a 2 ) 下，以概率当n 充分大， 良一卢= f ( 卢) 一1 ( 1 + o ( 1 ) ) 妄五( k p ( z ；p ) ) 1n 从这，反一卢服从重对数率，即 良一p = 。( ；l o g l o g n ) ，a “ 证明由于良满足似然方程( 2 3 6 ) ， ( 2 3 7 ) ( 2 3 8 ) ：耋z ( k p ( 乏p ) ) = ：娄五 p ( 乏良) 一芦( 互卢) 】 = ：耋五( 五成) 乏( 屏一p ) = r ( 成) ( 原一卢) ， ( 2 矗9 ) 其中成位于良和卢之间由条件( a z ) 和引理2 3 4 ( 2 ) ，以概率1 当n 充分 大，r ( 成) 一f ( f i ) 考虑( 2 3 9 ) ，证明完成 引理2 3 6 在条件( a 1 ) 和( a 2 ) 下，以概率当充分大， 风( 良) 一风( 卢) = 一；( 扈；一卢) 7 f ) ( 良一卢) + 。( 1 良一口1 2 ) ( 231 0 ) 证明因为 掣= ，- 一蚤z i ( 昭萨粥7 ) ) t 鲁= 。 以及 裂：一：妻碉纠乏= 划na ，y a l n “4 一” “7 由展开我们有-1taylor 风( 良) 一风( 卢) = 一；( 良一p ) 7 r ( 成) ( 反一卢) 其中联位于良和p 之间由条件( a 2 ) ，上式推出( 2 3 1 0 ) 引理2 3 7 在条件( a 1 ) 和( a 2 ) 下，以概率1 当n 充分大 扣训良) = ：薹阱叫( 荆阳+ 风( 口) + ；( 良一卢) ，f ( 口) ( 反一卢) + 。( i 良一3 1 2 ) ( 23 1 1 ) 证明凼为 ；l o gl 。( 良) 一风( 磊) = i i f 巧一肛( 曩p ) 互岛t nt 0 2 ：三 k 7 一“7 ( 蜀卢) 互卢+ i 三【耳- ( z f p 】蜀风一p _1n 由( 2 3 9 ) ， ；n k 7 一p 7 ( 墨口) 乏( 反一卢) = ( 良一卢) 7 f 忆( 群) ( 虎一卢) 根据条件( a 2 ) 和( 2 3 i o ) ，很容易得到( 2 3 1 1 ) 现在我们假设b = o ，2 ，3 ，p ) ，记 磁：( z ( ”，z ( 一) ，玛：= ( z ，。h 7 b t = ( 1 0 ，1 。，1 3 ，) ，= ( 1 ，磁) ，毛；= ( 1 ，码t 。) 我们记 ，、。 l 。g 三n ( 7 。) 2i 圣【k m 一6 ( z 怡) ， 霄( 1 s ) = ( p ( z 7 刚z b 9 且_ 6 ( 7 e ) 】d f 由b ( ，) 的性质，j l o g 。( 加) 和厅( 怡) 都是r 上的凹函数所以h ( 加) 在某个7 b 处达到唯一的最大值由引理2 3 3 ，h ( t b ) 日( 口) 假设抽。使j l o g 。( 加) 达到最大由s l l n ，对任意r 9 ， 。l i r a 。_ n 1 1 。g 三n ( 1 b ) = 厅( 谳a s 由引理2 31 和引理2 3 2 ，我们有对任意紧集dc r v ， 嚣吕l ；1 。g 三n ( 怕) 一耳( 垤) l _ o ，a s 当n _ o 。， 2 3 1 2 3 骢。n = 幢，a s 由( 2 3 1 2 ) 和( 2 31 3 ) ，我们得到 熙i l o g l n ( 日n ) = 日( 墙) ，a s r 于是我们有下面的引理 引理2 3 8 假设卢= ( 3 0 ，p l ，岛) 是真参数，卢1 0 以及b 由( 2 2 5 ) 定义g 。( b ) 那么由条件( a 1 ) 和( a 2 ) ，我们有 j 1 豫三g 。( b ) 鬯。耳( ，噶) h ( 卢) n 砷o 。n 一 有了这些引理，我们就可以证明下列定理 2 4 定理的证明 ( 2 3 1 3 ) ( 2 3 1 4 y o ，2 ，3 ，p ) ( 2 3 1 5 ) 下面我们只给出定理221 的证明定理2 22 的证明类似 假设是真参数，而且b 0 是a 的最优子集，( 0 cb o 对任意b ca b = j o j 一，九) ，其中j o = 0 j 1 0 ( 2 4 4 ) 进步地，由( 2 4 3 ) 和引理2 3 4 ，我们有 l i m n 砷丢g n ( 日。) = l i m ( 五( a ) = 日( 卢) ，a ，s ，( 2 4 ，5 ) 现在假设0c 日c a ，并且存在整数i 使得i b o 以及i 舅b 不失一般 性，我们可以假设# = 1 令 蜀= 0 ，2 ，3 ，力 由引理23 8 ，我们有 l i m s u p n ，。；g n ( 口) l i r a s u p 。_ 。i g 。( b 1 ) = 膏( 嵋。) g n ( b o ) 一g n ( b - ) + o ( g ) ；( h ( 卢) 一疗( 嵋。) ) + d ( g ) 0 ( 2 4 7 ) 由( 2 4 4 ) 和( 2 4 7 ) ，我们得到，以概率1 当n 充分大 百。= b o 这是我们想要的结果 2 。5模拟和注解 在2 4 节中，我们确立丁自然联系函数广义线性模型的模型选择方法的 强相合性在本节中，我们要给出有限样本n 的“l o g i t 回归模型和“l o g 线 性模型”的模拟方法对于l o g i s t i c 回归模型，数据是这样产生的， l o g ( 焉) h 1 憾+ 玛岛+ 扎阮， ( 2 5 1 ) 1 4 f i g u r e1 l o g i tm o d e l 1 ：a i cc r i t e r i o n ，2 ：h a n n a n sc r i t e r i o n ，3 ：l o g n ，4 ：o2 元，5 ：o0 2 n l o g n 其中y 是b e r n o u l l i0 - l 随机变量，x 1 和x 3 是标准正态随机变量，托和弛 是b e n o u l l i 随机变量，p ( x = 1 ) = 尸( x = 一1 ) = 1 2 对于l o g 线性模型， 数据是这样产生的， l o g ( e y ) = 1 + x 1 口1 + x 2 晚+ 捣岛+ x 4 风，( 2 5 2 ) 其中1 7 是p o i s s i o n 随机变量，x h ，五和l o g i s t i c 回归模型( 5 1 ) 中的一 样在这两个模型中，( 口1 ，历，岛，风) = ( 1 ，1 ，0 ，0 ) 对每个模型，五种不同的g 可以这样取：碟1 ) = 1 ( a i cc r i t e r i o n ) ，c , c 2 j = l o g l o g n ( h a n n a n sc r i t e r i o n ) ， c ( a = l o g n ，c 紫) = 0 2 元和c 紫) = o 0 2 n l o g 扎样本大小从2 0 到i 0 0 0 ，重 复取1 0 0 0 次图1 图2 分别给出了l o g i s t i c 回归模型和l o g 线性模型在每一 种选择准则之下的错误检测的频率， 说明1 一个自然的问题是怎样选择g 使得对于一个固定样本大小n 的错 判概率尽可能的小这是一个很有趣而且很困难的理论问题从我们的模拟， 我们可以得到对于以上两种模型中的一些数字形式，比较直观 说明2 从我们的模型中，我们可以比较那五种准则对a i c 准则和h a n - h a l l s 准则，因为没有一个满足条件( 27 ) ，错判概率趋于一些正数( 0 3 ，01 ) 对 于其他三种准则，因为他们满足条件( 2 7 ) ，当样本大小趋于无穷时错判概率趋 于0 1 5 第三章删失回归模型的模型选择 3 1 删失回归模型的介绍 假设删失回归模型 k = x 加+ e i ，i = 1 ，n 只有k + = y d ( y i 芝0 ) 和五可观察，其中比) 表示集合的示住函数 说，我们考虑的模型是如下对因变量有非负限制的模型； ( 3 11 ) 换句话 k + = ( 墨卢+ 曲+ ，i = 1 ，n ，( 3 ，1 2 ) 其中 x ；) 是一列( p + 1 ) 维随机向量，x 。= ( 1 ，斟”，x ) ， e 。) 是一列不 可观察的随机误差，卢是未知的( p + 1 ) 维回归系数这样的模型称为删失回归模 型( 或删失“t o b i t ”) 模型这在有限因变量模型中是很重要的模型( l d v 模型) ， 其中因变量的范围限制在实数的某个子集上强调一下计量经济学中与l d v 模 型有关的理论的发展是很重要的最近这方面的发展，大家可以参看m a d d a l a ( 1 9 8 3 ) ，p o w e l l ( 1 9 8 4 ，1 9 s 6 ) ，p o l l a r d ( 1 9 9 0 ) ，r a oa n dz h a o ( 1 9 9 3 ) ，c h a m b e r l a i n ( 1 9 9 4 ) ，c h e na n dw u ( 1 9 9 4 ) ，f i t z e n b e r g e r ( 1 9 9 7 ) ，b u e h i n s k ya n dh a h n ( 1 9 9 8 ) ， c h a ，ra n dh o n o ( 1 9 9 8 ) ，b i l i a s ，c h e na n dy i n g ( 2 0 0 0 ) ，a n dz h a o ( 2 0 0 2 ) ，还有 其他 在一些情况下有很多可能变量这可能是由于实验者的知识的缺乏引起的， 或是由于他的疏忽引起的，或两者都有统计学家的一个目的就是考虑如何从 众多变量当中选取重要变量，用来提高估计和预测的准确度本文通过信息理 论准则( i n f o r m a t i o nt h e o r e t i cc r i t e r a ，或i t c ) ，提出一些一致的选择方法 3 2 问题和主要结果 我们介绍一些条件； ( a ，) 真参数p = ( 风，3 1 ，体) 在一个已知紧参数空间8c 彤“的内 部 ( a 2 ) ( x7 ，e ) ，( x i ，e 1 ) ，( x 5 ，e 2 ) 是i i d 的随机向量，其中= ( 1 ，x ；”，