（概率论与数理统计专业论文）约束条件下部分线性模型估计的若干性质.pdf

摘要 部分线性模型是由e n g l e ，g r a n g e r ，r i c e 和w e i s s ( 1 9 8 6 ) 在研究居民用电 与其收入及季节等变量之间的关系这一实际问题时提出的这种模型既含有 参数分量，又含有非参数分量兼顾了参数回归模型和非参数回归模型的优 点，较单纯的参数回归模型或非参数回归模型有更大的适应性和解释力 本文考虑部分线性模型 在约束条件下的参数分量估计的性质其中( x i ，如) 是固定非随机设计点列 q = ( 姐，x i p ) ，卢= ( 风，岛) 1 ) ，g 是定义在【0 ，1 】上的未知函数，卢是未知待 估参数，0 t 1 ，q 是i i d 随机误差，且e e = 0 ，e e ：口2 对于上述模型( i ) 的研究已有不少的结果，但我们一般是对解释变量的数 据进行分类，讨论从而得到相应的参数分量声和非参数分量9 ( ) 的估计实 际上，对参数分量卢并不是一无所知的，基于这种考虑本文主要作了以下 两个方面的研究： ( 1 ) 讨论了在线性约束条件r = 月卢下，基于g 的估计取一类非参数权估 计( 包括常见的核估计和近邻估计) i 求出了参数分量芦的最小二乘估计参。并 讨论了如，的相合性，渐近正态性及一些其他性质 ( 2 ) 讨论了在随机线性约束条件r = 邵+ 曲下，构造卢的经验似然比统计 量，并求出了该统计量的渐近分布，从而构造出卢的经验似然置信域 关键词：部分线性模型，线性约束，非参数权估计，最小二乘估 计，渐近正态，随机线性约束，经验似然比 a b s t r a c t e n 百e ，g r a n g e r ，r i c ea n dw e i s s ( 1 9 8 6 ) w e r ea m o n gt h ef i r s tt oc o n s i d e rt h ep a r t i a l l yl i n e a r m o d e l ，w h e nt h e ya n a l y z e dt h er e l a t i o n s h i pb e t w e e nt e m p e r a t u r ea n de l e c t r i c i t yu s a g e t h i s k i n do fm o d e li n c l u d e sn o t o n l y a p a r a m e t r i cc o m p o n e n t b u ta l s oan o n p a r a m e t r i c c o m p o n e n t s o i th a st h ea d v 蛐t a g e so ft h ep a r a m e t r i cr e g r e s s i o nm o d e la n dn o n p a r a m e t r i cr e g r e s s i o nm o d e l a n dm o r ei m p l e m e n t sa n ds t r o n g e re x p l a n a t i o n st h a nt h ep u r ep a r a m e t r i co rn o n p a r a m e t r i c r e g r e s s i o nm o d e l w ed i s c u s st h ep r o p e r t i e so fe s t i m a t o r so fp a r a m e t r i c 口w h e n y i = z t 卢+ g ( t 1 ) + e i ， ls i n ， ( ) w i t h r e s t r i c t i o n s w h e r e t h e ( 嚣i ，厶) a r e f i x e d a n d n o r a n d o m d e s 瑭n p o i n t s 。t ；( z l ，2 ：i p ) ，口= ( 风，伟) 1 ( p 1 ) 9 ( ) i sa nu n k n o wf u n c t i o no v e r 【o ，1 】，pi sa nu n k n o wp a r a m e t e rt ob ee s t i m a t e d ，0 茎t i 墨1 ，e z a r e i idr a n d o me r r o r s w i t h e e l = 0 ，e e = 盯2 。 t h e r eh a v eb e e nm a n yr e s u l t sa b o u tm o d e l 【1 】，a n dw ea l w a y sg e tt h ee s t i m a t i o n so f p a r a m e t r i c 卢a n dn o n p a r a m e t r i c9 ( ) b yc l a s s i f i n ga n dd i s c u s s i n gt h ed a t ao fp r e d e t e m i n e d v a r i a b l e s i nt h ef a c t ，w ea l w a y sh a v ea u x i l i a r yi n f o r m a t i o no fr e g r e s s i o np a r a m e t r i c 口t h i s a r t i c l ed i s c u s st w oa s p e c t si nt h ei d e a s ： 1 u n d e rh n e a rr e s t r i c t i o n s r = 郫，b a s e d o nge s t i m a t e db yt h ef a m i l yo fo fn o n p a r a - m e t r i ce s t i m a t e si n c l u d i n gk e r n e la n dn e a r e s tn e i g h b o re s t i m a t e s ，t h ec o n s i s t e n c ya n da s y m p t o t i c n o r m a l i t yo fl e a s t - s q u a r eo f 口a r ed i c u s s e d 2 u n d e rs t o c h a s t i cl i n e a rr e s t r i c t i o n s r = 邓+ 曲，e m p i r i c a ll i k e l i h o o dr a t i os t a t i s t i c sa r e c o t m c t e df o rp a r a m e t r i cf i a n dt h ea s y m p t o t i cd i s t r i b u t i o ni sd i s c u s s e d t h e nt h ee m p i r i e a l l i k e l i h o o dr a t i oc o n f i d e n e ei sc o n s t r u c t e d k e yw o r d s ；p a r t i a l l yl i n e a rm o d e l ，n o n p a r a m e t r i ce s t i m a t e ，l e a s t - s q u a r e ，l i n e a rr e s t r i c - t i o n ，s t o c h a s t i cl i n e a rr e s t r i c t i o n ，e m p i r i c a ll i k e l i h o o dr a t i o ，a s y m p t o t i cn o r m a l i t y i i 第一章引言 部分线性模型最早是由e n g l e ，g r a n g e r ，r i c ea n dw e i s s ( 1 9 8 6 ) 5 1 在研究居民 用电与其收入及季节等变量之间的关系这一实际问题时提出的这种模型既 含有参数分量，又含有非参数分量它的特点是集中了主要部分( 参数变量 部分) 的信息又不忽略干扰项( 非参数分量部分) 的作用，较单纯的参数回归 模型或非参数回归模型有更大的适应性和解释力，因而引起了人们广泛的关 注此后的十几年，对部分线性模型的研究无论在理论上还是在应用上都得 到了很大的发展 在许多实际问题中，往往考察对象( 指标y ) 同若干因素( 指标为x 。，x 2 ，) 有关，但给定噩，恐，而尚不足以完全确定y ( 只能确定y 的条件分桶实 际上，y 与x = ( x l ，施，茸) 服从如下关系： y = u ( x ) + e ，( 1 1 ) 其中p ( ) 是一个未知的p 元函数，e 为随机误差称满足( 1 1 ) 式的变量y 与x 有回归关系，p ( ) 为y 关于x 的回归函数为了对肛( ) 作统计推断，对( y i x ) 作n 次观察得( k ，托) ，i = l ，n ，则 ( m ，墨) 恐l 满足 k = p ( 墨) 十e i ， = 1 ，- ，n ( 1 2 ) 通常假定误差序列 龟) 互不相关，且满足： e e i = 0 ，口2 = e ( e ) 2 5 0 ) 时是可以忽略的在异方差的情况 下，s c h i c k ( 1 9 9 6 ) 9 】构造了参数卢的扣阶加权最小二乘相合估计，并在方差函数 已知的情况下，提出了一个最优权函数最近l i a n g 和h a r d l e ( 1 9 9 7 ) 1 0 在更一般 的方差函数下进一步研究了这个问题其它还有许多工作，这里就不一一介绍 了具体可参见h a m i l t o n a n d t r u o n g ( 1 9 9 7 ) 1 1 】，c u z i c k ( 1 9 9 2 a ) 1 2 ，c t m i c k ( 1 9 9 2 b ) 1 3 ， c o l u b e ra n dh a r d l e ( 1 9 9 7 ) 等 国内统计学者在估计的渐近有效性、 非参数分量估计的渐近分布、收敛速度、 m 估计的渐近正态性，参数分量及 b e r r y - e s s e e n 界及其重对数律等多方 面都进行了一些相当深刻的研究l i a n g ( 1 9 9 2 ) 2 3 】系统地研究了下述若干情形 f 渐近有效估计的构造 ( 1 ) e ；的分布密度未知，而五的分布密度已知，且 置 和他 是相互独立 的 ( 2 ) e t 和墨的分布密度均未知，且 墨 和协 是相互独立的 ( 3 ) 龟和置的分布密度均未知，且 置 和他 是不相互独立的 同时，l i a n g ( 1 9 9 2 ) 2 3 还研究了o - 2 = e ( e t ) 2 的渐近正态估计的构造，卢加权最小 二乘估计声是卢的渐近有效估计的充要条件，卢的伪极大似然估计锄。是卢 的b a h a d u r 渐近有效估计的条件，卢的高阶渐近有效估计的构造，卢的二阶渐 近有效估计与卢的加权最小二乘估计序的关系 为了得到较为稳健的估计，s h i ( 1 9 9 2 ) 分别采用逐点多项式逼近和b 样条 逼近的方法得到了卢和g 的一类较为稳健的m 估计赢和如在一定条件下证 明了反具有渐近正态性，并得到了磊和靠的弱收敛速度薛( 2 0 0 2 ) 2 1 1 在一 定条件下构造了西的随机加权m 估计量矿，并证明了、，丽( 矿一氏) 的分布是渐 近有效的 h o n g 和c h e n g ( 1 9 9 2 a ，1 9 9 2 b ) 1 s 1 9 先后讨论了模型( 1 8 ) 中，当，t 1 ) 是独立 同分布随机设计情形且g 的估计取核估计时，怠及其学生化统计量的渐近分 布的b e r r y - e s s e n 界限h o n g 和c h e n g ( 1 9 9 3 ) 2 0 还研究了反和0 - 2 = e ( e ) 2 的估计 的重对数律在，如) 是固定非随机设计的情形下，g a o ( 1 9 9 2 ) 2 2 】研究了参数 声的加权最小二乘估计磊的渐近正态性及渐近b e r r y - e s s e n 界限，还给出了若 干估计的最优强弱收敛速度 近年来，人们的研究热点已向多个方面发展一方面，在实际问题中，如 在医学，经济学，可靠性研究等领域中产生的数据往往是不完全，而是右删失 数据，区间删失数据等此时常用的非参数方法及最小二乘估计法不能直接 使用，对于右删失数据的部分线性模型，秦( 1 9 9 5 ) 2 4 l 研究了模型( i i 8 ) 的最简 单形式，基于核光滑和综合数据法导出了参数分量卢和非参数分量9 ( ) 的估计 雕和靠并证明了佛的渐近正态性，获得了虻的非参数收敛速度王( 1 9 9 5 ) 2 5 】 分别就删失分布已知和未知两种情形利用核估计和最小二乘估计构造了固定 设计下半参数模型中参数分量卢和非参数分量9 ( ) 的估计，并证明了它们的 相合性王( 1 9 9 7 ) 2 6 】进一步就删失分布未知的情形定义了口和口( ) 的最t b - 乘 估计良和核估计如，证明了良的渐近正态性，并得到了蠡的最优收敛速度 对于区闽删失数据的情形，薛，宋，李( 2 0 0 i ) 2 7 在随机误差的分布函数完 全已知，响应变量的观测值为i 型区间删失数据的情形下，在一定条件下证明 了部分线性模型参数的s i e v e 极大似然估计具有强相合性参数分量卢的估计具 有渐近正态性，并且是渐近有效的；非参数分量g ( ) 的估计达到了最优弱收敛 速度薛( 2 0 0 2 ) 2 8 】进一步在其随机误差的分布函数属于刻度族，刻度参数未 知，并且响应变量的观测值为区间删失数据的情形时，讨论了部分线性模型 参数的s i e 、r e 极大似然估计的强相合性和弱收敛速度 另一方面，秦( 1 9 9 9 ) 3 3 】把经验似然比方法引入到部分线性模型中，构造了 部分线性模型参数的经验似然比置信域，为研究部分线性模型提供了一个新 的途径颜( 2 0 0 1 ) 3 4 进一步讨论了部分线性模型参数的经验欧氏似然比置信 域 1 _ 3 本文研究的主要问题 从以上的研究中，可以发现对部分线性模型的研究，多数学者把研究重点 放在对已有数据进行分析，讨论，从而得到参数分量卢和非参数分量g ( ) 的估 计，然后再对相应的估计作进一步的研究，讨论它们的各种性质但是实际 上，对参数分量p 并不是一无所知，根据以往实践的经验，我们常常可以获 得对参数卢的一些先验信息，如果把这些先验信息也利用起来，再对参数分 量卢进行讨论，将会收到更好的效果在文【3 6 】【3 7 】中，就曾讨论了在约束条件 下回归参数_ 日的估计问题受这个启发，本文在高【1 5 】和秦 3 3 的基础上分别 讨论了在约束条件下部分线性模型参数分量卢的最小二乘估计如。的性质及 其经验似然比置信域具体如下： ( 1 ) 第二章讨论了在线性约束条件r = r ；3 下，基于g 的估计取一类非参 数权估计( 包括常见的核估计和近邻估计) ，求出了参数分量卢的最小二乘估 计如。并讨论了如，的相合性，渐近正态性及一些其他性质 ( 2 ) 第三章讨论了在随机线性约束条件r = 邓+ 下，构造卢的经验似然 比统计量，并求出了该统计量的渐近分布，从而构造出口的经验似然置信域 7 第二章约束条件下部分线性模型中参数估计的性质 考虑线性约束下的部分线性模型 譬：+ 9 0 i ) + 岛， 1 n ( 2 1 ) r d 、4 其中( t o 是固定非随机设计点列，毛= ( 嘲，嗣，) ，卢= ( n ，、，纬) 0 1 ) ，g 是定 义在【o ，t j 上的未知函数，声是未知待估参数，0s 如! l ，e ；是i i 磕随机误差， 且e b = 0 ，e 4 = 一2 0知 n nn = ( r ( 磊) 一。硝) 一1 扣一r ( 五) 一1 五蟊) ( 2 9 ) i = 1 i = 1i = 1 由( 2 7 ) 、( 2 9 ) 式，可解得 hnnnn 硒s = ( i t ) _ 1 磊蟊+ ( i f i ：) 一1 ( r ( 最i ：) 一1 ) 一1 ( r 一兄( i i ：) 一1 盈吼( 2 1 0 ) i = lt = li = 1i = 1 i = 1i = 1 其中豇= 乌一饕1 眠她) z j ，甄= 弘一器1 w 。j ( t ，) 奶 由下述引理( 1 ) 可知，在适当的条件下，可证得矩阵；残二。i 。收敛于一 正定阵，故不妨设s = 贾贾= 坠。i t i ：当n n o 时s 可逆，且逆矩阵记为 s 一- = ( 丘贾) ，这里贾= ( i ”，i 。) 则如，可记为 序尉，= s - ：史7 矿+ s 一1 r ( r s 一1 r ) 一1 p 一兄s 一1 牙p ) ( 2 1 1 ) 在模型弘= z + 9 ( t t ) + e 下，芦的最z b - 乘估计为瓦。= s l 贾p 现在来证明 如。是r = r 卢下使e 7 e 达到最小的卢的最z j 、- 乘估计 因为r = r 翰。，所以对满足( 2 ，1 ) 的任意卢有 由( 2 9 ) 知 ( y 一2 z ) ( y x 口) ( p j 尻。+ 贾尻，贾卢) ( 矿一贾觑。+ 贾虎，一重卢) ( y x 卢l 。) ( y x 如。) + ( 屁。一卢) s ( 尻。一卢) ( p 一赏彘，) ( p 一吏多h ) + ( 参h 一参磁。+ 岛，一芦) s ( 彘。一番胁+ 参。一声) ( p 一贾) ( p 一露尻。) + ( 忽，一声础。) s ( 尻。一p 础。) + ( 庞。一应硪。) s ( 声础。一卢) + ( 矗础。一厣) 7 s ( 尻。一声尉，) + ( 西础，一所s ( 声础。一芦) ( 2 1 2 ) 2 ( 尻。一声尉，) s ( 声础，一卢) = 一2 【s 一1 r ( r s 一1 r o 一1 ( r r 虔r f 。一p ) j s ( 觑妇一卢) 9 = 一2 ( r 一r 觑。) ( r s 一1 r ，) 一1 r s 一1 s ( 声尉。一卢) = 一2 a r ( ( 声r f 。一p ) = 一2 a ( r r ) = 0 ( 2 1 3 ) 由( 2 1 2 ) ，( 2 1 3 ) 即有 e ，e = ( 矿一贾声l 。) ( p 一贾尻。) + ( 尻。一p m 。) s ( 彘。一声f h 。) + ( 声础。一p ) 7 s ( 声尉。一卢) ， ( 2 ，x 4 ) 从而当卢：如。时e 7 e = ( p 一贾卢) 7 ( 矿一j 卢) 达到最小，即 ( p 一贾声。) 够一贾如。) = ( p 一贾缸) ( p 一定瓦) + ( 缸一硒。) s ( 缸一硒d ( 2 1 5 ) 2 2 如。的性质 以下我们假设e 一( o ，一。厶) ，获得了如。的若干性质 性质1如。一p ( 卢，a 2 ) ，其中 h = s - 1 【一r ( r s 一1 f ) 一1 r s 一1 】 证明因为硒。是庇，的线性函数，而彘。是矿的线性函数，所以翰，服 从正态分布，又因为 e ( 触。)e ( 氏。+ s 一1 爿( 冗s 一1 硝) 一1 ( r r s 一1 玄p e o l , ) + s - t j v ( a s 一1 f ) 一1 【r 一r e ( 反。) 】 = 口 g ( 如。，如。) = 睇一s - 1 r ( r s 一1r ，) 一1 捌口2 s 一1 一r ( r s - 1 尉) - 1 r s - 1 】 = j 尹s 一1 耳一s - t r ( r s 一1 昱，) 一1 冗1 口2 s 一一，s 一1 爿( r s 一1 丑，) 一1 t l s 一。 + s 一1 彬( 置s 一1r ，) 一1 r a 2 s 一1 r ：，( r s 一1r ，) 一1 r s 一1 = a 2 s 一1 【一r ! ，( r s 一1 口) 一1 础一1 】 所以有 如。一 ，( 卢，口2 日) 性质2令瑶。= 贾如水崩。= p 一。则 1 0 ( n )e 尉，与声胁独立， ( b )8 刷，t ，( 0 ，0 - 2 ( 厶一贾日贾，) ) 证明( a ) 因为 o m 3彘。+ s - r 7 ( r s - 1 r ) 。1 p 一脚l 。) ( s - t 贾一s 一1 r ( r s 一1 r r l r s 一1 2 ) p + h 1 8 尉。= p 一2 s 一1 2 7 7 2 s 一1 r 7 ( r s 一1 硝) 一1 r s 一1 贾p 一贾日1 = 【k 一 i s 一1 膏+ 2 s 一1 r ( r s 一1 r ) 一1 r s 一1 盅7 】p f ( h l 其中h 。= s r ( r s r ) 一r 为常数向量，又因为如。服从正态分布，e 。是y 的线性函数，故e 殿，也服从正态分布所以要证明参础。与e 。独立，只需证明 如。中第一项与e 崩。中第一项独立，再考虑到总体服从正态分布，只需证明 ( s 一1 2 一s - i r ( r s 一1 r ) 一1 _ r s 一1 贾) 与 厶一2 s 一1 j + 2 s 一1 r ( r s 一1 r ) 一1 r s 一1 贾，1 的乘积为0 即可，而 f s - i 贾一s - i r ( r s 一1 r ) 一1 r s 一1 夏1 【厶一2 s 一1 贾+ 2 s 一1 r ( r s 一1 硝) 一1 r s 一1 2 j = s - i 贾一s - i r ( r s 一1 r 7 ) 一1 r s 一1 贾7 一s 一1 2 2 s 一1 碧+ s - x 爿( r s 一1 科) 一1 r s 一1 戈2 s 一1 夏 + s 一1 戈2 s 一1 r ( r s - 1 r ) 一1 r s 一1 元7 一s 一1 r ( r s 一1 r ) 一1 r s 一1 戈2 s 一1 支 =0 故如。与e 尉。独立 ( b ) 因为e ( e 豫。) = b ( p ) 一b ( x 虚。) = x 芦一z 犀= o ，且e j 口。与；知。= 戈参磁，独 立，矿；e 尉，+ 瑶i 。，故 c a o ( p ，p ) = c o v ( e 月。，e 用。) + g o ( 。，l - - 月$ 。) 从而c o v ( e 。，e 。) = c o y ( f ，p ) 一g m ，( 瑶。，瑶。) = 矿i 。一殳h 2 = t 7 2 ( k 一2 h 2 ，) 所以e 用。一( o ，口2 ( 矗一j 置贾) ) 性质3 记q 。= ( y 一。) 一端。) ，0 。= ( ，一吃) ，( y 一吃) 则 1 l ( q 。一q 。) 0 2 一x 2 ( ，) 证明由( 2 1 5 ) 可知 ( p 一蠕。) ，( 矿一竭。) = ( p 一也) 哆一堙，) + ( 咒一弱。) 7 ( 忍。一。) 即 ( 0 。一q 。) = ( 彘。一声。) s ( 氏。一9 ) = ( 月口h r ) ( n s 一1 只) 一1 ( - r 西l 。一r ) ( 2 ，1 6 ) 因为硫，一r 是p 的线性函数，又e c r 3 l ，一r ) = r 序一r = 0 且 v e , r ( r 声l 。一r ) = n v a r ( 声l 。) r ， = 0 2 r s 一1 硝 所以兄尻。一r 一以( o ，0 2 r s 。尉) 易知一( 冗尻。一r ) ( r s _ 1 掣) _ 1 ( 醯，一r ) 一瑶 即( q 。一口。) 一2 一x 2 ( ，) 2 3 对假设凰：r f l = r 的检验 对模型 y = x 卢+ ( ) + e ，e l v 。( o ，0 2 1 。)( 2 1 7 ) 一般可提出如下原假设 h o ：r 卢= r 其中r r 如( 2 1 ) 所设，郢r 是一个j * p 列满秩矩阵，r 是一个j 维向量 易知伙与尻。独立，再由( 2 1 6 ) 知轨与仉。一o 。独立，又因等一x 2n 一) 所以当原假设凰成立时 f 垒f 垒1 8 i 三= 壁1 2 生 一 q 。坼一) n k ( 冗口幻一r ) ( r s 一1 r ) 一1 【r 危。一r ) 一p 。e f ( p ，n 一) ( 2 1 8 ) 从而f 可作为凰的检验统计量特别的当r = o 时。f 可表示为 。n k y 7 魄一p 2 ) y 。一1 甄i 二瓦 1 2 其中 ，p x 。! 竺意：。删嘲咖。删碧 证明在( 2 1 ) 中令r = 0 即得 所以 又因 由( 2 1 9 ) 得 r = x 8 磁s = m y 0 。= y ( 厶一p z ) y q 。= 矿( k 一戈s 一1 戈) p = 矿( 厶一p 。) 矿 f = 了n - k 瓦y ( p 而x - p 2 ) y pp ( 厶一h ) y 本章给出如下假设： 条件1 存在一列定义在【o ，1 】的函数b ( ) 使得 。订= h j o i ) + u i j ， 1 i n ，1 s 歹p ， 其中t “：( 挑l i ，“如) 一是实值向量函数，满足 砾l。91。燃|蚤klim- 吲i o o ， n 一呐l 。g n 燃”刍嘶l l 呱 f 2 1 9 1 对任意( j i ，h ) a 。：魄，如) ：1 i n ，1 茎n 均成立；其中e 是正定阵， i 是胛中的欧几里德范数( 这里( j ，h ) 是( 1 ，n ) 的任一重排) 条件2g ，b o j p ) 在 o ，l 】上满足一阶l i p s c h i t z 条件，即存在绝对常数 m o ( o ( 伽1 ) 及m j ( o 鸩 o o ) 使得有 s u pi 矗( s ) 一f a t ) i m ji s t i s - t l 0 ，使的关于s ，t 【o ，1 】一致地有n l a o c 姆! 。i 眠。( s ) 一 ，竹i ( ) i mjs t l ，其中= n 一1 a l o g n 注1 上述条件l - 4 是较为基本的假设，它的合理性的说明可参见g 。1 1 4 1 以下就模型( 1 ) 给出本章的主要结果 定理1 若上述条件1 3 ( 1 ) 一( 3 ) 均满足，那么当n 充分大时有 a m ，一8 旦0 定理2 若上述条件i - 3 ( i ) 。( 3 ) 均满足，那么当n 充分大时有 、，伍( 如。一r j ) 立n ( o ，0 2 t e _ 1 ，) 其中t = j s 一1 兄( n s 一1 r ) 一1 r 为了本章定理证明的需要，首先给出几条引理 引理1 若条件2 ，3 ( 1 ) ，( 2 ) 满足，那么当n 充分大时有 s u p ，l 矗( t ) 一w , ( o d ( t ol = o ( ) o ! 垤l i = 1 其中j = 0 ，1 ，p t 南= g ，乃= b ，1s j p 证明参见g o o 1 4 中引理3 引理2 若条件1 ，条件2 ，3 0 ) 一( 3 ) 满足，那么有 l i m 三童贾：e n 证明参见g a o 1 5 l 中引理4 ( 2 2 0 ) ( 2 2 2 ) ( 2 2 3 ) 引理3 若条件1 - 3 ( 1 ) 一( 3 ) 成立，那么当n 充分大时有 、，丽( 既，一卢) 三n ( o ，扩e 一1 ) ( 2 2 4 ) 证明参见g a o 1 q 中定理1 下面我们就本章两个主要定理给出证明 定理1 的证明由( 2 1 1 ) 知 虚r f 。一卢= s - 1 戈蕈，+ s - 1 r ( r s 一1 r ) 一1 ( r r s 一1 戈p ) 一p = s - 1 贾p + s - 1 r ( r s 一1 r ) 一1 ( r 卢一r s 一1 足矿) 一卢 = ( s - z 贾p 一卢) 一s - * r ( r s 一1 兄) 一1 r ( s 一1 贾矿一p ) = ( f s - 1 冠( r s 一1 d ) 一1 冗) ( s 一1 支矿一毋) = ( j s - 1 r ( r s 一1 d ) 一1 r ) ( 彘，一卢) ( 2 2 5 ) 记m = s - 1 r ( r s “r + ) _ 1 r 由( 2 2 a ) 知，p p 矩阵m 及m m 中每个元素都为o ( 1 ) e ( 如。一卢) 7 ( 9 胁一卢) = e ( 尻，一卢) ( ，一 ，) ( 一m ) ( g l 。一所 =e t r ( a 。芦) ( 一卢) ( j 一 f ) ( ，一 f ) = t r e ( p l 。一卢) ( 彘。一口) ( j 一 f ) ( j 一 j ) ) = b ( a l 。一声) ( 氏。一口) ) ； ( f ) + ( j 一 f ) ) ，( 2 2 6 ) j = l 其中 a b 表示矩阵a 的第j 个列向量又因为 nn n 何( 玩一卢) = 椰_ 1 ( i 西一血( k ( 如) “) + 函q ) i = ii = ik = li = l 垒元s 一1 ( h 1 + 2 + h 3 ) 由条件1 、3 及引理1 ，应用a b e l 不等式有 又由 何乩= o ( n 1 2 l o g 一1 2n ) ；佃斯= d ( n 1 ，2 ) 加( 扁。一卢) ( 磊。一日) e ( i s ) 一1 + 。( 1 ) ) + 。( 1 ) ) ( ；) 一1 )e i ) 。1 + o ( 1 ) ) + d ( 1 ) ) 。( i ) 。1 1 a 2 ( + o ( 1 ) 知e ( 岛。一p ) ( 廓。一p ) = o ( n 一1 ) ( 2 ，2 7 ) 当n o 。时，由( 2 2 6 ) 、( 2 2 7 ) 式知( 2 2 0 ) 式成立； 定理2 的证明，由( 2 2 4 ) 可知 、席( 彘，卢) 旦n ( 0 ，口2 e 1 ) ， 由( 2 2 5 ) 式 每。一卢= ( ，一s - t r ( n s 一1 r ) 一1 r ) ( 声l 。一口) ， 及正态分布的性质可得( 2 2 1 ) 式成立 由上可知，定理l 和定理2 证毕 注2 如果再加上下列两个条件： ( i ) 存在实数q ( 2 ( q o o ) 使得有e ie l1 9 o o ； ( i i ) 存在实数列及绝对常数0 c o 。，使得有 nn e e x p ( 一c o p n n ( 1 - - 1 q ) ( 1 0 9 n ) _ 1 ) 0 即可当n 充分大时有彘。一卢= o ) + o ( ) d s ，其中如( i i ) 中所示， = n - 2 3 ( 1 0 9 n ) 2 ，见g a o 1 4 】那么我们就可以得到一个更强的结论：即如。与 矗。具有同样的收敛速度，且当加q n 一0 时，直接可得如。的弱相合性 1 6 第三章约束条件下部分线性模型的经验似然比置信域 考虑随机约束下的部分线性模型回归模型 舻裴j 掣托“k 坯 ( 3 1 ) in = g p + 也 、 其中( k ) 是固定非随机设计点列，吼= ( 抚 一，z ；，) ，芦= ( 反，绋) ，扫兰 1 ) ，g 是定义在【0 , 1 】上的未知函数，口是未知待估参数，0 t 。11 ，e ；是i i d 随机误差，且e e ，= 0 ， = ( a ) 2 o o ，r 是1 1 维向量，r 是n p 列满秩矩阵， 也是i i d 随机误差，且e 也= 0 ，e 钾= ”2 o 。，且与e 独立 o w e n l 2 9 1 3 0 1 1 3 x 】首先提出了用经验似然方法来构建置信域q i na n dl a w l e s s 3 2 把这种方法引入到半参数模型中q i n 3 3 】和颜分别用经验似然置信域和 欧式似然置信域讨论了对部分线性模型参数部分置信域的构建，他们的结果 对于处理这类模型提供了一个很好的方法本章采用这种方法来研究随机约 束条件下部分线性模型( 3 1 ) ，构建参数口的经验似然比置信域，并研究它的 极限分布情况，由此构造约束条件下部分线性模型参数部分的渐近置信域 在本章中假定m = e 研 0 ，i = 1 ，一p = 1 t = l 1 7 ( 3 2 ) ( 3 3 ) ( 3 4 ) n p 最一如( t ；) 一z ：卢) = 0 1 ；1 n p i t 矗( r l 一p ) = 0 ( 3 4 ) 式的最大值可由拉格朗日算法得出设 ( 3 6 ) ( 3 7 ) nnn = | o g p l + n l o g n + t ( ? ) ( 1 一& ) 一n ( 口) a 孟 ( 弘一懿( t - ) 一：芦) l = 1i = 1 i = 1 n n s ( 卢) a r ( n 一卢) ， ( 3 | 8 ) t = i 其中a ( 卢) 和s ( p ) 是p 维列同量 风对a 求导为 o a h 张o = a 1 一( 口) 一n a 7 ) 函慨一乱( 缸) 一z ：卢) 一似3 ) 皿n 一p ) 4 3 9 ) 对( 3 9 ) 式两边同乘p l ，求和有 ；j p 一1“p 一( 卢) 一n ( p ) n 一0 0 ( t ) 一p ) 一n s ，( 卢) n - e p , i i ( y ip 风( n 一p ) = o ，( 3 1 0 ) 鼽茗 a t ( 卢) 一n ) 一 t ) 一p ) 一n s ，( 卢) 鼽风( n 一p ) 2 o ，( 3 1 0 ) i = 1 ， i = 1 t = l t = l 即t ( 卢) = 吼 故 以= i 1 面两两丽f 丽万五1 万i 丽可再面两 ( 3 1 1 ) 由( 3 4 ) l ( 卢) = 一e 饕1l o g 1 + a 7 ( p ) 磊( 挑一如( “) 一霉：p ) 一一( 卢) 皿( n 一碍卢) ) ( 3 ，1 2 ) 按条件( 3 6 ) ( 3 7 ) ，a ( 卢) ，s ( 卢) 分别由以下( 3 1 3 ) 、( 3 1 4 ) 式决定 ：e 冬。雨丽未等誊崭蔫而= 。 ；难，而丽f 翥哥咎厕2 。 1 8 ( 3 1 3 ) ( 3 1 4 ) 下面用”i l 表示欧几里德范数为了方便起见，记 u 。= i 。( 玑一靠( “) 一z ：卢) ， = r ( n 一卢) nn 磊= 乌一w 。j ( t i ) e j ，蠡= w 南( 屯) 勺 j = 1j = l n r = ( r 一，嘞) ，h n j ( t 1 ) = h j ( t i ) 一b v n k ( t i ) x k j = l 则由( 3 1 2 ) 经验似然比统计量 n l ( f 1 ) = 一l o g ( 1 + a ( 卢) u + s ( 口) ) i = l ( 3 1 5 ) ( 3 1 6 1 ( 3 1 7 ) 下面给出本章的主要定理，类似于经典的w i l k s 定理它描述了当n 充分大 时，本文所构造的经验似然比统计量依分布收敛到x 2 分布 定理1 如果2 4 节中条件1 - 3 满足，则有 一2 l ( 卢) 0 ) ( 2 ( 2 p ) ，一+ 0 0 ( 3 1 9 ) 其中表示依分布收敛，x 2 ( 2 p ) 表示自由度为p 的中心x 2 分布 给定一个n ，0 n l ，选取c k 和使 p ( c l 。兰x 2 ( 印) ) c 2 。) = 1 一a ， 则由上述结果可知 p ( c l 。一2 l ( 口) c 2 。) 兰1 一a 由此，可近似地确定卢的水平为1 一n 的置信域 3 2 定理证明 为了定理证明的需要，先给出以下引理 引理1 如果如果2 4 节中条件1 - 3 满足，则有 】燃引= o ( n 一- ；l o g n ) 1 m 9 a xm m a x 。i h 可( t i ) i = 0 ( n 一 l o g n ) 1 9 ( 3 2 0 ) ( 3 2 1 ) 麟吲2 d p ( ”一5 1 0 9 ”) k ( 协啦i = o ( n ) 1 = 1 k ( “) u 巧= o ( n ) 1 m a x 。i 岛1 。o ( n ) ( 3 2 2 ) ( 3 2 3 ) ( 3 2 4 ) f 3 2 5 ) 证明参见高【2 2 l 中引理2 1 和2 , 6 引理2 设k 0 且为独立同分布的随机变量；设磊= m a x l 垡。k 如果 e ( y 1 ) 2 0 0 ，贝有 磊：。m 札：妻霹= 咖札 l = l 证明参见o w e n 3 1 】中引理3 引理3 如果如果2 4 节中条件i - 3 满足，则有 薹杀 二( 0 , a 2 b ) l = l 妻型 1 2 一一日= 榔 必一一日= 。p ( 1 ) 滕2 唧( ”5 ) 妻掣= 咖札 证明由g a o 2 2 知 又因为 。贾童加= b ， 、元( 怠一卢) 垒、厢( 贾，贾) 一l 壹氟( q 一自+ 亟) n ( o , a 2 口一1 ) i = 1 nn 咄元= 磊h 一蠡十亟) 靠= 贾戈- 何( 贾宜) 。磊幢一西十蠡) 胁 i = li = 1 所以( 3 2 6 ) 式得证 ( 3 2 6 ) ( 3 2 7 ) ( 3 2 8 ) ( 3 ，2 9 ) 由( 3 3 ) 式和条件( 1 ) ，可以得到 ：圳：= ；( ”西+ 砒矿z t ) ( 铲z e ) 。 = 1 = 1 e = 1k = l nnn = ( e 。一西十氨) 2 ( z 玎一 ( “) z 巧) ( 越一眠k ( t ；脚) m ”i = lk = l = l 1n = 圭( e ；一矗+ 蠡) 2 ( “玎+ 无n j ( 赴) ) ( n + 五 l i ( “) ) p p ( 3 3 0 ) ”t = 1 因此，如果我们能够证明 n ( 砰+ 赞一2 e 西十2 e f 亟一2 蠡蠡) ( 啦j + 元柳( “) ) ( 札订+ h ( 岛) ) = 唧( 礼) ， ( 3 3 1 ) - = 1 e 7 。f ( “) = 0 p ( n ) ， ；耋e , z i j t t l l - - 矿幻叫) 其中1 j ，j p ，岵为b 中( i j ) 处的元素；就能证明( 3 2 7 ) 式 为了证明( 3 3 1 ) 式，利用条件( 1 ) 和引理1 就可以得出： 因此可以导出 n ( e 。黾+ r 蠡) ( 廿u + 无n j ( ) ) ( 钍“+ k f ( 如) ) = 。- ( n ) t = l ( e 毛+ 蠡) 2 元n l ( “) = o p ) ；= l n ( e i 西- i - q 蠡) 2 吣h 甜= 0 p ( n ) 且1 j ，f p 先证( 3 3 4 ) 式，从条件( 1 ) 和引理1 ，有 e ( ：砉嘶蚴) 2 = q 2 刍n 以- 2 u 吾碍= 筹砉d ( 礼寻) o ( n ) = 。( ，) 令也= u ( i t “则 e ( j 挚咖鹕1 ) 2 2 1 ( 3 3 2 ) ( 3 3 3 ) ( 3 3