（概率论与数理统计专业论文）带约束条件的半参数回归模型.pdf

山东大学硕十学位论文 摘要 半参数回归模型是二十世纪八十年代发展起来的，一种新颖的重要的统计模 型该模型最早由e n g l e ，g r a n g e r , r i c e 和w e i s s ( 19 8 6 ) 在研究气候条件对电力需求影 响这一实际问题时提出近年来，半参数回归模型已成为人们研究最多的一种模型。 给定一个半参数回归模型 只= 口+ g ( ，) + e i ， 1 i 刀 ( 一，) ，1 ，刀 为i i d 随机设计或固定非随机设计点列且t r p , a 是p xl 未知 待估参数，g ( ) 为r 1 上未知函数，我们称a 为模型( 1 ) 的参数分量，g ( ) 为非参数 分量 多数学者把研究重点放在对已有数据进行分析，讨论，从而得到参数分量口和 非参数分量g ( ) 的估计，然后再对相应的估计作进一步的研究，讨论它们的各种性 质但是实际上，对参数分量a 并不是一无所知，根据以往实践的经验，我们常常 可以获得对参数口和非参数分量g ( ) 的一些先验信息，或称为约束条件，也就是说 需要研究参数分量a 和非参数分量g ( ) 受到某种条件的制约时的估计情况。 本文首先针对参数卢的模长受约束的情形，即针对模型 i y f = x ；a + g o f ) + 巳， 1 f n ti l a l l - 0 ，f 【o ，1 】 利用惩罚局部多项式讨论了半参数回归模型在非参分量受到单调条件的限制时的 & 舢及宫脚，并且研究了& 舢及雪舢的渐进性质，如相合性，渐进正态性和边界 点适应性等有利性质除了单调性，新提出的估计在单调性和渐近性质之间达到了 平衡比起单调估计的惯用技术，新估计有显式解并且在计算上更有效 第四，进一步讨论非参分量受到导数约束时的& 肼及单调条件方差估计，这种 方法被扩展到一般的情况。 关键词：局部多项式估计；参数约束；非参数约束；半参数回归模型 l i 山东大学硕十学位论文 a b s t r a c t s e m i - p a r a m e t r i cr e g r e s s i o nm o d e lw a sd e v e l o p e di nt h e t w e n t i e t hc e n t u r y ，e i g h t i e s ， a n dan o v e la n di m p o r t a n ts t a t i s t i c a lm o d e l t h em o d e lw a sf i r s tp r o p o s e db ye n g l e ， g r a n g e r , r i c ea n dw e i s s ( 19 8 6 ) a u d y i n gt h ei m p a c to fc l i m a t i cc o n d i t i o n so nt h e p r a c t i c a lp r o b l e mo fe l e c t r i c i t yd e m a n dm a d e i nr e c e n ty e a r s ，s e m i p a r a m e t r i c r e g r e s s i o nm o d e lh a sb e c o m et h em o r ei m p o r t a n t g i v eas e m i p a r a m e t r i cr e g r e s s i o n m o d e l y f = x l a + g ( f ) + q ，1 i n ( 一，) ，1 i n ) i s i j dr a n d o md e s i g no raf i x e dn o n - r a n d o m i z e dd e s i g np o i n t o u t ，a n d 墨r p ，a i s p x 1u n k n o w np a r a m e t e r st ob ee s t i m a t e d ， g ( ) i s a n u n k n o w nf u n c t i o ni nr1 w ec a l laf o r t h em o d e l ( 1 ) o fp a r a m e t e r sc o m p o n e n t ，g ( ) i sn o n - p a r a m e t r i cc o m p o n e n t m o s ts c h o l a r sf o c u so nt h e a n a l y s i sa n dd i s c u s s i o no fa v a i l a b l ed a t a ，i no r d e rt o o b t a i ne s t i m a t e so f p a r a m e t e rc o m p o n e n t saa n dn o n p a r a m e t r i cc o m p o n e n tg ( ) ， t h e nf o rf u r t h e rs t u d yo ft h ec o r r e s p o n d i n ge s t i m a t e ，d i s c u s s i o no ft h e i rv a r i o u s p r o p e r t i e s b u ti nf a c t ，c o m p o n e n t so fp a r a m e t e r sa r en o ti g n o r a n to ft h ep r a c t i c e ，b yp a s t e x p e r i e n c e ，w eo f t e ng e to nt h ep a r a m e t e r sa n dn o n p a r a m e t r i cc o m p o n e n to fs o m ea p r i o r ii n f o r m a t i o n , o rc a l la sc o n s t r a i n t s ，t h e nn e e dt os t u d yt h et h ee s t i m a t i o no f p a r a m e t e r so fc o m p o n e n t sa a n dn o n p a r a m e t r i cc o m p o n e n tg ( ) s u b j e c tt oac e r t a i n k i n d so fc o n d i t i o n s t h i sa r t i c l ef i r s tf o rt h ep a r a m e t e r sf lo fl e n g t hc o n s t r a i n e ds i t u a t i o n ，t h a ti s r e s e a r c hf o rt h em o d e l 弘 = x ：a + g ( t f ) + e f ， 1 i n m i i w h i c h ( x f ，t j ) i sa f i x e dn o n r a n d o m i z e dd e s i g np o i n to u t ，x ，= ( x 订，x ，2 ，x 驴) ， i i i 山东大学硕士学位论文 a = ( a l ，a | p ) ，( p 1 ) ，g i sa nu n k n o w nf u n c t i o nd e f i n e di n 【0 ，1 】，aa r eu n h a o w n p a r a m e t e r st ob ee s t i m a t e d ，0 t f 1 ，mi sk n o w nf o rt h en o r m a ln u m b e r ，a n dt h e n o m li st h eu s u a le u c l i d e a nn o r m i nt h i s a r t i c l ea u t h o rn o r mc o n s t r a i n e d s e m i p a r a m e t r i cr e g r e s s i o nm o d e le s t i m a t e dt h ep r o b l e mw a sf i r s tp r o p o s e da n dg i v e e s t i m a t e & o fac o n c r e t ef o r m ，i ti ss i m i l a rt oo u rw e l l k n o w nr i d g ee s t i m a t i o ni nt h e f o r m s e c o n d l y ，w h e nt h ea r g u m e n ti nl i n e a rc o n s t r a i n t s ，c o n s i d e rt h ef o l l o w i n gm o d e l p = x m p 仅p 。l + g h 。l + 口n 。i ， r i 。f ，a j 口。1 = d a m o n g t h e mxi st h e 丹xp d e s i g nm a t r i x ，a i sapx1d i m e n s i o nu n k n o w n p a r a - m e t e rt ob ee s t i m a t e d ，gi sa nu n k n o w ns m o o t hf u n c t i o n ，ri sj xpk n o w n c o l u m nf u l lr a n km a t r i x ，da r ek n o w nc o n s t a n t s f o rt h i sr e a s o nw ec o n s i d e rt w o s i t u a t i o n s ：s m o o t hm a t r i xsi ss y m m e t r i c ，a n dsi sa r b i t r a r y i nt h i sp a p e r , w i t h p r o f i l ek e r n e lm e t h o da u t h o rg i v ee s t i m a t o ro fab a s e do nt h em pa n dt h ep ku n d e rl i n e a rc o n s t r a i n t s a n du s em e t h o do fm i n i m i z a t i o nl l y - x a s ( y 一) f | 2 t h i r d ，g i v e nt h en o n p a r a m e t r i cc o n s t r a i n e ds e m i p a r a m e t r i cr e g r e s s i o nm o d e l ： ” = x ：a + g o ) + s ， 1 i 刀 g ( f ) 0 ，f 【0 , 1 】 d i s c u s s e dt h ea r l sa n d 惫嘟i ns e m i p a r a m e t r i cr e g r e s s i o nm o d e li nt e r m so f n o n p a r a m e t r i cc o m p o n e n tw i t ht h em o n o t o n o u s c o n s t r a i n t su s eo fp u n i s h m e n tl o c a l p o l y n o m i a l ，a n ds t u d yt h ep r o g r e s s i v en a t u r e ，s u c ha sc o n s i s t e n c y ，a s y m p t o t i cn o r m a l i t ya n db o u n d a r yp o i n t s ，a n dt h eb e n e f i c i a ln a t u r eo fa d a p t a b i l i t y i na d d i t i o nt om o r t o t o n i c i t y ，t h en e w e s t i m a t ep r o p o s e da c h i e v eab a l a n c eb e t w e e nm o n o t o n i c i t ya n da s y m p t o t i cp r o p e r t i e s c o m p a r e dt ot h eu s u a lm o n o t o n ee s t i m a t i o nt e c h n i q u e s ，t h en e w e s t i m a t ea n dt h ee x p l i c i ts o l u t i o ni sc o m p u t a t i o n a l l ym o r ee f f i c i e n t i v 山东人学硕十学位论文 f o u r t h ，f u r t h e rd i s c u s s i o no f & 脚w i t hn o n - p a r a m e t r i cc o m p o n e n ti nd e r i v a t i v e c o n s t r a i n t sa n dm o n o t o n ec o n d i t i o n a lv a r i a n c ei se s t i m a t e d t h a tt h i sm e t h o di se x t e n d - e dt ot h eg e n e r a ls i t u a t i o n k e y w o r d s ：l o c a lp o l y n o m i a le s t i m a t i o n ；p a r a m e t e rc o n s t r a i n t s ；n o n p a r a m e t r i c c o n s t r a i n t s ；s e m i - p a r a m e t r i cr e g r e s s i o nm o d e l v 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：亟佥! 堕垒i s期：丛! ：! ! ：2 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名： 蝉导师签名幽日 期： 山东大学硕+ 学位论文 带约束条件的半参数回归模型 第一章引言 半参数回归模型是二十世纪八十年代发展起来的，一种新颖的重要的统计模 型该模型最早由e n g l e ，g r a n g e r ，r i c e 和w e i s s ( 1 9 8 6 ) 在研究气候条件对电力需求 影响这一实际问题时提出，当时他们利用这种模型来研究气候条件对电力需求的 影响这一实际问题近年来，半参数回归模型已成为人们研究最多的一种模型，对 该模型的研究也引起人们的重视，这也对该模型的进一步发展奠定了坚实的基础 由于半参数回归模型更接近于实际，所以在现实中应用的例子很多，例如 s p e c k m a n ( 1 9 8 8 ) 将该模型应用于漱口药试验s c h m a l e n s e e & s t o k e r ( 1 9 9 9 ) 应用模 型来分析美国的家庭汽油消费等半参数回归模型被广泛应用于医学、生物学、经 济学和社会科学等领域 半参数回归模型介于参数回归模型和非参数回归模型之间，兼顾了参数回归 模型和非参数回归模型这两种模型的优点它既含有参数分量，又含有非参数分 量，参数分量部分可以用来描述函数关系明确的那一部分，而非参数分量部分则 可以用来描述函数关系或规律不明确的那一部分在一些实际问题中，半参数回归 模型更能充分利用数据中提供的信息虽然半参数回归模型的研究起步较晚，但其 发展较快，取得了大量相当深入的研究成果在理论上，处理这种模型的方法融合 了参数回归习用的方法和较近发展起来的非参数方法比单纯的参数回归模型或 非参数回归模型有更大的适应性，并且有更强的解释能力 半参数回归模型是一类非常广泛的统计模型下面我们简单了解一下半参数 回模型考虑半参数回归模型 y j = z 口+ g o ) q - e ， 1 f 疗 ( 1 1 ) 嘭为i i d 随机误差，且e e f = 0 ，0 仃2 = e e ? 5 0 ) 时是可以忽略的在异方差的情况下， s c h i c k ( 1 9 9 6 ) 9 构造了参数a 的甩阶加权最d , - 乘相合估计，并在方差函数已 知的情况下，提出了一个最优权函数最近l i a n g 和h a r d l e ( 1 9 9 7 ) 1 0 在更一般的 4 山东大学硕十学位论文 方差函数下进一步研究了这个问题其它还有许多工作，这里就不一一介绍了具 体可参见h a m i l t o na n dt r u o n g ( 1 9 9 7 ) 1 1 ，c u z i c k ( 1 9 9 2 a ) 1 2 ，c u z i c k ( 1 9 9 2 b ) 1 3 ，c o l u b e ra n dh a r d l e ( 1 9 9 7 ) 等 国内统计学者在估计的渐近有效性、m 估计的渐近正态性，参数分量及非参 数分量估计的渐近分布、收敛速度、b e r r y e s s e e n 界及其重对数律等多方面都进 行了一些相当深刻的研究l i n a g ( 1 9 9 2 ) 1 9 系统地研究了下述若干情形下渐近有 效估计的构造 ( 1 ) e ，的分布密度未知，而x ，的分布密度已知，且& ，) 和t i 是相互独立的 ( 2 ) p 。和t 的分布密度均未知，j t x ， 和p ， 是相互独立的 ( 3 ) 色和x 。的分布密度均未知，且& 。 和 f j 是不相互独立的 同时，l i a n g ( 1 9 9 2 ) 1 9 还研究了仃2 = e ( e ，) 2 的渐近正态估计的构造，a 加权最 4 , - - 乘估计磊是a 的渐近有效估计的充要条件，a 的伪极大似然估计尬是a 的 b a h a d u r 渐近有效估计的条件，a 的高阶渐近有效估计的构造，a 的二阶渐近有效 估计与a 的加权最小二乘估计茁的关系 为了得到较为稳健的估计，s h i ( 1 9 9 2 ) 分别采用逐点多项式逼近和b 一样条逼 近的方法得nt 口和g 的一类较为稳健的m 估计& 。和营。在一定条件下证明了 & 。具有渐近正态性，并得nt 磊。和色的弱收敛速度薛( 2 0 0 2 ) 1 7 3 在一定条件下 构造了& 的随机加权m 估计量，并证明了 一& 。) 的分布是渐近有效的 h o n g 和c h e n g ( 1 9 9 2 a ，1 9 9 2 b ) 1 4 1 5 先后讨论了模型( 1 1 ) 中，当( t ，) 是 独立同分布随机设计情n f tg 的估计取核估计时，& 。及其学生化统计量的渐近分 布的b e r r y - e s s e e n 界限h o n g 和c h e n g ( 1 9 9 3 ) 1 6 3 还研究了& 。和仃2 = e ( e f ) 2 的估 计的重对数律在( 毛，t ，) 是固定非随机设计的情形下，g a o ( 1 9 9 2 ) 1 8 研究了参数a 的加权最小二乘估计& 。的渐近正态性及渐近b e r r y - e s s e e n 界限，还给出了若干估 计的最优强弱收敛速度 山东人学硕十学位论文 近年来，人们的研究热点已向多个方面发展一方面，在实际何题中，如在医 学，经济学，可靠性研究等领域中产生的数据往往是不完全，而是右删失数据， 区问删失数据等此时常用的非参数方法及最d - - 乘估计法不能直接使用，对于右 删失数据的部分线性模型，秦( 1 9 9 5 ) 2 0 研究了模型( 1 1 ) 的最简单形式，基于 核光滑和综合数据法导出了参数分量a 和非参数分量g ( ) 的估计a ：和g ：并证明了 a ：的渐近正态性，获得了g ：的非参数收敛速度王( 1 9 9 5 ) 2 1 分别就删失分布已 知和未知两种情形利用核估计和最小二乘估计构造了固定设计下半参数模型中参 数分量口和非参数分量g ( ) 的估计，并证明了它们的相合性王( 1 9 9 7 ) 2 2 进一步就删失分布未知的情形定义了a 和g ( ) 的最小二乘估计& 。和核估计 雪。，证明了& 。的渐近正态性，并得到了季。的最优收敛速度 对于区间侧失数据的情形，薛，宋，李( 2 0 0 1 ) 2 3 在随机误差的分布函数完 全己知，响应变量的观侧值为i 型区间删失数据的情形下，在一定条件下证明了 部分线性模型参数的s i e v e 极大似然估计具有强相合性参数分量口的估计具有渐 近正态性，并且是渐近有效的：非参数分量g ( - ) 的估计达到了最优弱收敛速度薛 ( 2 0 0 2 ) 2 4 进一步在其随机误差的分布函数属于刻度族，刻度参数未知，并且响 应变量的观测值为区间删失数据的情形时，讨论了部分线性模型参数的s i e v e 极 大似然估计的强相合性和弱收敛速度 1 2 本文研究的主要问题 从以上的研究中，可以发现对部分线性模型的研究，多数学者把研究重点放 在对已有数据进行分析，讨论，从而得到参数分量a 和非参数分量g ( ) 的估计，然 后再对相应的估计作进一步的研究，讨论它们的各种性质但是实际上，对参数分 量a 并不是一无所知，根据以往实践的经验，我们常常可以获得对参数a 和非参 数分量g ( ) 的一些先验信息，或称为约束条件，也就是说需要研究参数分量a 和非 参数分量g ( ) 受到某种条件的制约时的估计情况。 到目前为止，李晨 2 5 研究了半参数回归模型在参数受到线性约束条件下的 6 山东大学硕士学位论文 参数分量口的最小二乘估计& 脚及其性质。m a r c i np r z y s t a l s k i 及p a w e l k r a j e w s k i 2 6 利用半参数回归模型的惩罚最小二乘y - x a - g 旷+ g ( s 一i ) g 及p r o f i l ek e r n e l 方法给出了参数在线性约束下的估计。j i a nh u a n g 2 7 利用 保序回归给出了半参数模型在非参分量受到单调条件的约束时估计的性质，即得 其最小二乘估计量在有限维回归系数下万阶相合性及渐进正态性。 本文研究的主要问题是：第一，利用p r o f i l ek e r n e l 方法在m p 及p k 基 础上给出线性约束下a 估计量应。第二，提出参数在范数约束下的半参数回归模 型问题，给出a 估计& 的具体形式，得到& 的形式类似于我们熟知的岭估计。第 三，利用惩罚局部多项式核方法讨论了非参分量受到单调条件的限制时的& 脚及 雪脚，并且研究了匠肼及雪脚的渐进性质，如相合性，渐进正态性和边界点适应 性等有利性质。第四，进一步讨论非参分量受到导数约束时的& 脚及单调条件方 差估计。 第二章对半参数回归模型和局部多项式估计给与简单介绍，第三章探讨导数 约束半参数回归模型，第四章讨论参数约束半参数回归模型问题，第五章是模拟 研究。 7 山东大学硕士学位论文 第二章模型和局部多项式估计 考虑f 面的半参数回归模型： y f = x ；a + g o ) + q ， 1 f n ( 2 1 1 ) 其中，( 一，) 是固定非随机设计点列，t = ( x j l ，t 2 ，x 驴) ，a = ( a l ，一，a p ) ， ( p 1 ) ，g 是定义在【0 ，1 上的未知函数，口是未知待估参数，0 f ，1 ，e i 是f j ，d 随 机误差，_ te e 。= o ，? = 仃2 o o 。 利用局部多项式估计来拟合非参数回归模型中的未知参数g ( t ) ，能很好的弥补 核估计的不足，同时还保留了它的其他优点，受此启发本文将局部多项式估计的 方法用于半参数回归模型，对非参数分量部分进行局部线性拟合，对参数分量a 部 分采用最小二乘法，最后构造出的估计量具有很好的样本性质同时对非参数分量 部分用局部多项式估计方法比核估计方法更优异 首先我们来了解一下局部多项式估计方法，考虑下面的非参数回归模型： y = ，( x ) + s ( 2 1 2 ) 这里( x ，l ，) 是一个联合密度为f ( x ，y ) 的双变量随机向量，给定x 的条件下y 的条 件密度为f ( y x ) ，x 的边际密度为厂( x ) ，厂 ) 是正的二次连续可徽的且有紧支 撑【o ，1 回归函数定义为，( x ) 7 - e ( r l x ) ，( x ) 是两次连续可微的，误差项s 的均值 为0 ，方差为仃2 标准局部多项式估计定义如下，我们在x 的一个邻域内通过一个多项式局部的 逼近r ( z ) ： 心) ，+ ，时咖+ 訾矿 三卢o + 卢l ( z x ) + + 卢p ( z x ) p ( 2 1 3 ) 令( x ，i ) 篙是来自( x ，聊的独立同分布的样本，通过使下式达到最小，我们 8 山东大学硕士学位论文 可以实现一个局部多项式回归， ( r 一卢。一卢，( x ，- x ) - 一卢，( x ，- x ) p ) 2 k 曲( x ) ( 2 1 4 ) 这里，k 曲( x ) ：h - ! k ( 三) ，乃是依赖于疗的带宽，核函数k ( x ) 在【o ，1 】上非负 厅 可微并且满足下面的条件： f l k o ) d x = 1 ； f l x k ( x ) d x = o ； ( 2 1 5 ) 0 o 的惩罚参数由于口。= 雪。( ，) ，所 以卢。的期望值仅需要是正的，九是严格大于0 的，九的更进一步的约束将在3 2 币甲给出 下面来求问题( 3 1 2 ) 的解 令 d ( f l 。以；加喜( z 叫口喝咱叫胚( 等) 一2 邶- ， 分别对卢。和3 。求导得： 罢= 喜2 ( z 却呐啪叫遮( 半) ( _ 1 ) _ 。， 署2 喜2 ( 即矿舻眦卅) ( ，- ，) ( - 1 湖半) - 2 刎， 罄珲得 1 2 岛 + q g + 、，口0 = y ，f【 山东大学硕士学位论文 ( r a 瞰t t - - t ! m 。k ( 等m 3 私_ f ) k ( 字) _ 0 ( 3 1 3 ) ( z - x l a ) ( t ， 1 = 1 由( 3 3 ) 得 代入( 3 4 ) 得 解得 _ ，) k ( 争讯私- ，) k ( 半m - 喜( 闽kt - 厅t _ ) + 刎， 3 0 = ( r i = 1却瞰半m - 私叫k ( t t - - t i ) 力z了力 喜k c 半， ( 3 1 4 ) ( z 叫毗叫k ( 等) 一喜( r _ a 擞譬) 豁卅k ( 字m 喜k ( 半) 私卅2k ( 半) k ( 等h 喜( 飚等) 】2 同理解得 风= 瓯_ ，) k ( 孚) 】2 一扎_ ，) 2 k ( 等_ ) 乞nk ( 彳- - t i = 1 i = ii = 1 ) ，l，i， ( i = 1 一r ) 2k ( 字m 静- f ) k ( 芋) 瓯_f)k(字)】2毒2k(了t-tj，白-生k(tt-tii=1 ) ， ，= l ，j f 兰l ， 由( 2 1 8 ) 和( 2 1 9 ) 矢1 1 硝 = 卢 山东大学硕十学位论文 其中， 3 2 & 及雪的性质： 雪p ) = 卢。= f f ( t ) + r l ( t ) 雪。( ，) = 夕。= 季( f ) + 吃( f ) 1 ( ，) = 丽矛n - l a 丽, m 丽2 ( t ) 而 ，2 ( f ) = 币丽n - l z 而m i ( t ) 标准局部多项式估计的性质保证了季( f ) 山g ( ，) ，季( ，) 山g ( f ) 为了在新 估计的一致性和单调性之间得到一个平衡，首先引进下面的引理 引理1 如果模型( 2 1 1 ) 的条件成立并且砌专佃，那么 并且 j 7 五i ! ：o p ( ，z j l 厅了- 3 ) ，z o 1 】 m ；( ，) 一m l ( ，) m 5 ( ，) 。1 丽m 2 ( t ) 2 p j 2 麓仰。1 x 驾 fll 记宫( f ) 的导数为季( ，) ，易证 雪( f ) = 雪( ，) 这意味着估计的导数就是导数的估计。那么季。( r ) o ，【0 ，1 】等价于雪( f ) ，t “0 ，1 】是 严格增的。值得注意的是m l ( f ) 0 ，m 5 ( f ) 0 ，m l ( f ) = d ( 1 ) ，a s m 5 ( f ) = o ( 1 ) a 矗以 及朋：( f ) = d ( 1 ) ，a s 那么我们希望能够选择适当的九使得_ ( ，) 专0 时吃( f ) 足够大， 从引理3 1 可以得到下面的结果： 定理3 1 假设模型( 2 1 1 ) 的条件成立并且砌3 专佃，那么当r j 足够大且 t 【o ，1 】时 1 4 ll 雪( ，) = 季( f ) + _ o ) ，1 ( r ) = q ( 九办2 刀2 ) 山东大学硕士学位论文 并且 一三一! 雪o ) = 季。( f ) + r 2 ( t ) ，厂2 ( ，) 0 ，2 ( f ) = o p ( 九 2 门2 ) 从定理3 1 我们看到，为了保证雪( f ) 的单调性及收敛性，我们对九进行约束 ( 3 2 1 ) 一! 其中h = o ( n5 ) 这样的丸，能够在依概率收敛和单调性之间得到一个平衡。定理 ( 3 2 ) 说明了这个问题。 一! 定理3 2 假设模型2 1 1 的条件成立且办= o ( n5 ) ，如果九满足( 3 2 1 ) ，那么 对于t 0 , 1 】， 一三 营( ，) = 季o ) + 0 p ( 胛5 ) ， 宫o ) = 季( f ) + ， 这里， 0 ，rr = o p ( 1 ) 众所周知，标准局部多项式季( f ) 具有很好的性质，如相合性，渐进正态性和设计 点的边界适应性等有利性质。细节见f a na n dg 曲e l s ( 1 9 9 6 ) 【2 9 】那么定理3 2 保证了 这些性质，同时有效的提高了单调性。 h 3 定理3 3 假设模型2 1 1 的条件成立，3 洋r o x 。一( ，) x 】 ，z ，那么当，z = l 足够大且， 0 , 1 】时，丸满足3 2 1 时 定理3 3 证明： p a r l s 一口岱 & j r 岱= & 岱+ 巧o ) ，其中吩= 一a 皖，( r ) 霉 i = 1 i 吩i = l 一窆j = l 九或，。，z l = l 喜a 元，o ，霉i = i 喜1 ，z f c a , h 2 1 n ! 副= 蚴- 2 7 1 ；b 一喜吣刊 山东大学硕士学位论文 即 d ( 吩) o ( z h 2 n2 聆5 ) = 0 ( 1 ) p n o o 时，吩一o 则由上述定理，立即可得 n 一一4 定理3 4 假设模型2 1 1 的条件成立，y f a o x ，一( f ) x 】- 刀5 ，九满足 3 2 1 时，那么当刀足够大且， 0 , 1 】时， & 脚= & 船+ o p t 7 n5 )a 脚2a 船+ 。) 可见， o x ，- z w s ( t ) x ，】越小，则& 麟依概率趋于& 岱的速率越快。现在我 们讨论关于a 矗收敛和a 矗单调的更进一步的结果 引理3 3 在模型2 1 1 的条件下 3 0 】，如果 并且 c l 办一1sc 2 ( 兰) 卜7 ( 3 2 2 ) ， l o g n f e l s u p 。上y 2 f ( y | ) d y 2c 3 + o 。，e l y l 7 0 上面的约束最4 - - 乘问题是以约束o ( t ) 的二阶导数为基础的，更一般地， 考虑k 阶导数的限制，k = 1 , 2 ，p 通过最小化 兰( r c i a - 风一卢。( 一f ) 一戌( t i - - t ) p ) z k 曲( z ) 一2 pk 成， k 0 ，k = 1 , 2 ，p 上面的约束最小二乘问题的解能表达为： ( 3 3 3 ) ( 3 3 4 ) 夕= ( 丁k 。丁) 一1 丁。疋( 】，一c a ) + 兄。】= 万+ s 2 1 a 。， ( 3 3 5 ) 这里九= ( o ，九。，九：，) ，声，x ，】，和k 。按第二节中的定义，且 并且 a = d i a g ( 1 ，乃，h p ) ， h 一 邑：i ； i l s = ( - - - - r ) j k , h ， ( 4 5 ) 的解是一个一般的约束导数估计，注意到s n 渐近正定的定义，那么我们 能够将( 4 5 ) 重写为 卢t = 卢女+ o p ( c 础( 九) 办廿) ，k = 0 ，1 ，p ( 3 - 3 6 ) 这里c 威( 九。) ，k = 0 ，l ，p 有相同的渐近阶，跟前一节相同，我们能够选择适当的 九，刀和h 使得成 0 3 3 2 方差约束下的半参数回归模型 前一节提出的方法能用来估计单调方差函数，考虑下面的半参数回归函数模 型 1 8 d 动 生 3 b p 山东人学硕+ 学位论文 r = c l a + g ( f 1 ) + 腼i ，1 f 疗 这里( f ，r ) ，g ( t ，) 和e ，按第二节的定义，s ( t ) ：【o ，l 】专r + 是方差函数不失一般性， 5 ( f ) 被假定为严格增的并r - - - 次连续可微，我们现在感兴趣的是函数的单调性和 ( 3 1 2 ) 相似，通过最小化下式： ( 2 一t 7 0 一7 7 l ( i f ) ) 2 k 胁( t ) - 2 p 。7 7 i ( 3 3 7 ) j = 1 p 一 0 ( 3 3 8 ) ，表示半参数拟合中的残差和伪残差关于残差和伪残差的细节可以参考 【31 3 2 3 3 和 3 4 】例如在【3 2 】中伪残差定义为 a j = d j r , + ， j = o 这里玩，d l ，一，d 。满足 嘭= o ，d ；= 1 ， j = lj = l f 1 3 ( 3 3 7 ) 和( 3 3 8 ) 定义的问题的解是s p ) 和j ( ，) 的估计，记为 ；( x ) = 7 7 。，；( x ) = 7 7 ， ( 3 3 9 ) ( 3 3 9 ) 的估计和前面的估计有相同的表达式和性质 1 9 山东大学硕士学位论文 第四章参数约束半参数回归模型 4 1 范数约束下的半参回归模型 参数卢的模长受约束的情形还未得到充分研究，本文针对这种情形，即针对模 型 乃2t 三| + ，( ，j + 岛，1 7 刀 ( 4 1 1 ) 【m r v 进行研究其中，( x 川t ) 是固定非随机设计点列，t = ( x n ，x ，) ， a = l ，一，a 口) ，( p 1 ) ，g 是定义在 o ，1 】上的未知函数，a 是未知待估参数， 0st ，1 ，e ，是f i d 随机误差，j te e ，= o ，e e ；z = 仃2 m 2 ( 事实上，当设计阵病态时，总会是这种 情况) ，则根据a a m 2 知，该约束极小值必在a a = m2 处取到即a 的约束估计 问题转化为求解下述惩罚最d , - 乘问题： & 冗绻= a r g m i n f ( a ，九) = a r g m i n l l y - 雪- x a l l 2 + 2 允( a 。a m 2 ) ， 经计算得到 戈( y 一雪) = x x a + 2 a a( 4 1 2 ) 于是 & 脚( a ) = ( x x + 2 村) _ 1 x 。( y 一雪) ( 4 1 3 ) 可见，上述结果与通常的岭估计形式比较近似，只是这里的允不是常数，依赖于样本， 属于自适应非线性估计借助岭估计的几何意义，限定允 0 是合理的，允 o ) 由于x x 0 ，故存在正交矩阵q ，使得 q x x q = 人= d i a g ( ；q ，a 口) ，其中九 0 ，f = 1 ，p 由4 1 3 式可得 & 膦( a ) = q ( q x x q + 2 q a s q ) 。q x 翘9 ( 彳。x ) - 1x ( y 一雪) = q ( a + 2 盯) 一a q & 岱， ( 4 1 4 ) ( 其中，& 腰= ( x x ) 。x 。( 少一季) 2 1 令b = ( x 。v 一1 x + 2 m ) ，则( 4 1 3 ) 式为 & ( a ) = b x ( y 一鲁) 又雪= a ( y x a ) ，其中a 为平滑矩阵，将其代入上式， 解得 & ( 九) = ( j b x a x ) 。1b x ( j - a ) y 令b x = c ，贝i j & ( a ) = ( ，一c n x ) 。1 c ( i - a ) y = 彳眇y = a ( i 一碰咐r 、) y = a 邺r y 下面给出a 的表达式由( 4 1 2 ) 式可得 ( x x + 2 力) & 脚= x ( y 一季) 又由于a 仅= m 2 ，则 其中舍= y 一一邶 冗= 击陋脚。x ( y 书“雕】 ：j 上& 彳占 2 m ( 4 1 5 ) ( 4 1 6 ) ( 4 1 7 ) 2 推厂 模型4 1 在e ( p ) = o , c o v ( e ) = a 2 e ，p = ( p l ，一，p 。) 条件下，利用类似方法可得其惩 罚最d , - - 乘估计量为 & r 塔( a ) = ( x 一1 x + 2 x i ) - 1 x - 1 ( y 一雪) = q ( a + 2 射) 1 人q & 鲫 其中，x 一1 x 0 ，q x 。一1 翘= d i a g ( 1 h ，a p ) ，其中九 0 ，i = l ，p & 岱= ( x 一1 x ) _ 1 x 一(