（概率论与数理统计专业论文）一种半参数回归模型的局部多项式光滑方法.pdf

山东大学硕士学位论文 一种半参数回归模型的局部多项式光滑方法 姜文晖 ( 山东大学金融研究院，济南，2 5 0 1 0 0 ) 摘要 半参数回归模型是近来研究最多的一种模型，它综合了参数回归模型和非参数 回归模型，更接近于现实对于半参数回归模型。人们研究的重点是依赖已知信息 求解出模型中卢和9 的估计量，并研究其性质对于求解模型中卢和g 的估计量， 现有文献给出了很多方法，例如最小二乘法，核估计，近邻权估计，小波估计等 本文对于解决半参数回归模型的估计，综述了两种估计方法( 即先进行非参数 估计，再进行参数估计，最后对非参数估计进行修正以及先进行参数估计，再进行 非参数估计，最后对参数估计进行修正) 对于半参数回归模型中的非参数分量部 分，所述的两种方法均采用了核估计方法进行估计，在此基础上，本文对两种方法 的估计结果进行了比较但是核估计方法具有一定的缺陷，即在边界点处估计的性 能不好，通常称之为边界效应近年来新兴的一种估计方法局部多项式估计方法 应用非常广泛，并且有很多优点利用局部多项式估计来拟合非参数回归模型中的 未知参数，能很好的弥补核估计的不足，同时还保留了它的其他优点另外，局部 多项式方法的估计结果具有重要的样本性质，它既适应于固定设计，也适应于随机 设计且适应于各样的设计密度函数，并且从渐近最小最大的意义上它是最佳的线性 估计i f ( 1 9 9 2 ) l ，拥有高统计有效性且是设计适应的，同时它也有好的有限样本性 质和设计适应性质更进步得说，它能自动校正边界影响咿口砘g 钉6 e b ( 1 9 9 2 ) 】 本文利用局部多项式方法对两种估计方法中的方法二做了改进，得到的估计结果不 仅m s e 有它的优点，并且还解决了核估计方法带来的边界效应问题最后本文通 过数值模拟形象的说明了局部多项式估计方法在解决非参数回归模型时的优势 关键词半参数回归模型核估计局部多项式估计边界效应 山东大学硕士学位论文 l o c a lp o l y n o m i a le e s t i m a t i o r s i ns e m i p a r a m e t r i cr e g r e s s i o nm o d e l j i a i l gw j n h u i ( s h a n d o n gu n h n e r s i t ym a t h e m a t i c a lc o u e g e ，j i n 姐，2 5 0 1 0 0 ) a b s t r a c t s e m i p a r 岫删cr e 昏伪s i o nm o d e l s ，w h i d h8 坤a ni n t e 旷鲥o o f p 缸锄e t r i ca n d n o n p 时a m e t d cr e 孕髑画o nm o d e l 8 蛆dt h 盯e f o r em o 弛p r a c t i c 8 l i y 瑚e f u l ，h 8 坩b e e n 唧l o r e di 玎：蛔1 s i v e l yi nr e c e n ty e a r s o n ei n l p o r t a n tg o a lo f t h e 弛吣础i 8t oo b t a j n e 8 t i n 础咄o f b e 乞a 龇l dg 丘o ms e m i p 壮锄e t r i cr 芦耐o nm o 出k 锄dt 0i n v e 8 t i g a t e t h e i r 啊t o t i cb e h a v i o r 耐t h 舀v e ni 血o r m 8 t i o n l o t so f 叩伊o a c h 憾，l i l 【ek a s t 战l u 盯臼，k e m e l 锄o o t h i g n e i g h b o r h o o dp r i 嘶，a n dw a l e t b 髑t i m a t i o ne t c ，h ，e b p r o p e d t o i y e t h i 8p r o b l e l n t h i 8p a p 盯i n _ t r o d u 嘲t w om e t h o d 8 ( m e t h o dl ：l l n o p 籼e t r i c 帮t i 姗 t i o n 血吼a n dt h e np 盯眦e t r i c 瑚七i m a t i 0 咀，m o d i 分n o n p 龇钏n e t n c 髑t i m a t o 碍五】1 a ：i l y m e t h o d2 ：u p 盯龇n e t r i ce 8 t i m a t i 丘r s t 觚dt h 衄n p a 咖e t r i c 糟t i m a t i o n ，m o d - i l yp a r 羽n 酏r i ce s t i m t o 增丑】1 a i l 弘) t 0 缸8 t e m i p 缸蛐e 啪cr e g 删o nm o d e l 8 b o t hm 成h o d sa d o 戚k n l e 王觚o 乇h i n gf o rt h en 叫【p 越锄醣矗c 颤i m 8 t i o np a 矗h t h ep a p 盯，t h ee 8 t i m a t o r so b t a i n e d 在o mt h ea _ b o v et w om e t h o d 8a 托m p a r e d h c 帆v e r ，k e r n d8 m 0 0 t h i gh 蠲蛆删d e s i r a b l ep r o p 昀，w h j c hi 8c 8 1 l e de d g ee 矗曲t 8 t bd e a lw i t ht h i sd i 墒c i e n c y t h ep a p e r 伽i d 哪u s i n g8n 印坶p r o p 嘴e dm e t h o d ， - c a l l e dl o c a lp o l y n o m i a le 8 t i m a t i o n ，w h i 血w o i 凼e d g ee 丑锄t sw h 丑ek e e p 6o t h 盱 m 硝t 8o f k r n d8 i n o o t 王l 嘲，l o c a lp o l y 】1 伪n i a l t i m a t i 蛆i 8w i c i e l y 璐e df b ri t so t h 艇 缸l v a n t a g 瞄m t h ea c 咄a t i o nt oe i t h 既出d 凹r 蛆d o md 谓i g 瑚a n d0 t h e rv a r i 伽8 心g nd 锄i t i a n di ti 8t h eb e s tl i n e 盯e 8 t i m a t 叫i n 呛舶n o fm i n i m x e m 呦【8 f 肌( 1 9 9 3 ) 】a d o p t i gh 柚p 0 1 ) r n o 血8 le s t i m b t i ，t h i 8p 印盯m m 嘲 咖e i n l p 咖f 僧m 卸t 8f b rt h e 舶c o n dm e t h o do f 嘲幢m a t i o nf o r 删p 咖e t r i cr e g r e 8 - s i o nm o d 幽t h er 训t i d g 档虹m a t m b8 h o wn o to n l yg o o da 驰p t c 止i cp r o p e r t i b u t a 1 8 0b o l l n d a r yc a r p e n t r y f 缸g 讪e 】8 ( 1 9 9 2 ) 】t h a tj 8r e m a r k a b l yd i 丘打e n t 丘d mt h e i i 山东大学硕士学位论文 e d g e 胡缸t 8i nt h ek e m 越目吣o t h i n g t h e a c i v a n t a g 龃ef i l r t h e rd m o t r a t e d 姆 t h e m e r i c 柚8 i m l l l a t i o ni nt h ep a p 日 k e y w o r d s ：s e i p 盯锄e t r i cr e g 嗍i o m o d e l 8 k e r 耻le s t i m 8 t i o nl o c a l p o l y n o n l i a l t i m a t i o ne d g ed f e c t 8 i i i 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：垫日 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：超导师签名：监日期：丑生卫 第一章前言 半参数回归模型是二十世纪八十年代发展起来的，一种新颖的重要的统计模 型该模型最早由西w kg r 伽9 e r ，崩钟和e l s o ( 1 9 8 6 ) 提出，当时他们利用这种 模型来研究气候条件对电力需求的影响这一实际问题 近年来，半参数回归模型已成为人们研究最多的一种模型，对该模型的研究也 引起人们的重视，这也对该模型的进步发展奠定了坚实的基础由于半参数回归 模型更接近于实际，所以在现实中应用的例子很多，例如跏珠m ( 1 9 8 8 ) 将该模 型应用于漱口药试验s 曲m 越e 伽s t 幽e r ( 1 9 9 9 ) 应用模型来分析美国的家庭汽 油消费等半参数回归模型被广泛应用于医学，生物学经济学和社会科学等领域 半参数回归模型介于参数回归模型和非参数回归模型之间，兼顾了参数回归模 型和非参数回归模型这两种模型的优点它既含有参数分量，又含有非参数分量， 参数分量部分可以用来描述函数关系明确的那一部分，而非参数分量部分则可以用 来描述函数关系或规律不明确的那一部分在一些实际问题中，半参数回归模型更 能充分利用数据中提供的信息虽然半参数回归模型的研究起步较晚，但其发展较 快，取得了大量相当深入的研究成果在理论上，处理这种模型的方法融合了参数 回归习用的方法和较近发展起来的非参数方法比单纯的参数回归模型或非参数回 归模型有更大的适应性，并且有更强的解释能力 半参数回归模型是一类非常广泛的统计模型下面我们简单了解下半参数回归 模型考虑半参数回归模型 k = 卢+ 口( t ) + e i ，1 s i s n ( 1 o 1 ) 诸劫为已知p 维向量，9 ( ) 为r 1 上未知函数，p 为p 1 维待估参数向量，误 差序列似) 独立同分布，且 i 溉= o ，o = 刀 ( 1 o 2 ) 我们称卢为模型( 1 o 1 ) 的参数分量，9 ( ) 为非参数分量研究半参数回归模型 的基本问题就是基于模型给出的条件，基于( x ，丑) 估计p 和g 肌曲m m ( 1 9 8 6 ) 提出了光滑样条的估计方法，并得到了估计的相合性和渐近正态性 s p e 旆m d n 山东大学硕士学位论文 ( 1 9 8 8 ) 提出了核与最小二乘估计方法，并研究了估计的渐近性质对上述模型研究 的还有g l i l e 砘r 幽礼s 帆( 1 9 8 8 ) ，舶凹( 1 9 9 1 ) ，g n d & l 缸叼( 1 9 9 2 ) ，g 0 0 z n o ( 1 9 9 3 ) ， b 舰t t 口c n r 私哦z h d ( 1 9 9 3 ) ，s c 触盔( 1 9 9 6 ) ，g 甜r d f f ，w 肌d ，凡以c g 巧6 e b ( 1 9 9 7 ) ， m i l f f e r r 阮z ( 2 0 0 0 ) 等，他们相继对半参数回归模型的研究发展做出了突出贡献 迄今为止，人们仍然在继续完善半参数回归模型，使之在现实生活中发挥更大 的作用 本文在综述了半参数回归模型两种估计方法的基础上，对两种估计方法的估计 结果作了比较，并利用局部多项式估计方法修正了方法二中半参数回归模型中非参 数分量部分的估计 本文的组织结构如下 第一章介绍了半参数回归模型的历史，发展及现状 第二章介绍了半参数回归模型的两种估计方法，并对两种估计方法的估计结果 进行了比较 第三章首先介绍了局部多项式估计方法，然后利用局部多项式估计方法对在上 一章中提到的方法二进行了修正，最后把局部多项式估计方法的估计结果与第二章 中的估计结果作了比较 第四章给出了方法修改后估计结果的性质 第五章利用数值模拟来说明局部多项式估计方法解决非参数回归模型的优势 第六章给出了部分计算过程及部分定理的证明 2 第二章估计方法及结果比较 半参数回归模型介于参数回归模型和非参数回归模型之间，它既含有参数分 量，又含有非参数分量，处理这种模型的方法融合了参数回归习用的方法和较近发 展起来的非参数方法 对于半参数回归模型( 1 o 1 ) ，首先分析模型给出的已知信息，即数据( 五，正) 般我们考虑两种情况，固定设计和随机设计对于设计点是随机的情况，已经有 很多结果( 见文献【1 】【1 9 】) 当设计点是固定的情况的研究较少。在已有的文献中 也提出了几种方法去估计p 和9 ( 见文献【2 】【3 】) 当然。固定设计和随机设计还 是有一定关系的，当( 五，五) 是随机设计时，定义 吩( 正) = e ( 。甜i 噩) = 一e ( i 正) 对于模型( 1 o 1 ) ，我们做如下假设 l ( a 1 ) e l ，眈，i i d j 强= o ，o p 半 1 当( 托，冠) 是随机设计时，满足 ( a ) p 1 ) 8 毗蝉剐i 圳3 l 阽t ) o o i ( g 2 ) e = ” 墨一e i 乃) ) 当( 五，正) 是固定设计时。存在定义在【0 ，l j 上的连续函数吩( ) ，使得每个 五满足 基鞋 芝 山东大学硕士学位论文 对于( 1 ，2 ，n ) 的所有排列o l ，五，矗) 。= ( 蛳l ，锄，t ) 7 ， = 竹；l o 幅n 并且e 是一正的有限矩阵 最后，给出半参数回归模型中p 和9 的估计 2 1方法介绍 m = 三 ，轧= 薹 ，岛= ： ，9 c t t ，= ：兰：) ，岛= 二) 4 整理得 k = 以卢+ g ( 赴) + 白， = 1 ，2 ，n( 2 1 1 ) 聋= k 一以卢= g ( t ) + 岛 第步，利用核权函数法得出未知函数9 ( ) 的估计， 其中 nnn 靠( t ，卢) = ( t k = 蛳( t m 一如卢 ( 2 1 _ 2 ) t=l=1=l u k 。 耳( 警) 釜。k ( 警) k ( ) 为核函数，可根据实际情况进行选择 ( 2 1 3 ) 山东大学硕士学位论文 第二步。估计p 记 则 再记 饥( t ) = ( t ) k t = l n 瓤( ) = ( ) 蕙 k 一以卢= 氟。( “) 一2 ，i ( 如) 卢+ e k 一鱼。( t ) = ( 而一9 2 ，l ( 如) ) 卢+ e m = k 一鱼。他) 或= 以一锄他) 则由e = 戤p + 白可以得到的最小= 乘估计。 良= ( 叠饶) - 1 矿 p = ( 蜀，托) ，氟。，= ( 量- ，) 7 第三步，得到9 ( t ) 的最终估计 ( 2 1 4 ) = ( t ) m 一( t 反 ( 2 1 5 ) = 1t = l 第四步，调整窗宽_ i l ，l 直到获得满意的结果 我们基本了解了上述方法的思想，就是先进行非参数估计，再进行参数估计， 最后对非参数估计进行修正由此，我们想到柴根象等提出的另外一种解决半参数 回归模型的方法，即先进行参数估计，再进行非参数估计，最后对参数估计进行修 正下面我们对这种方法介绍一下 人们基于模型( 1 0 1 ) 的可加性，得到了卢和9 的估计量反和蠡，并建立二 阶段估计方法首先将( 1 o 1 ) 变换成一个标准的线性模型，利用最小二乘法得到 5 山东大学硕士学位论文 p 的第一次估计废，然后用核估计方法得出9 的估计知，最后将氩代回模型 ( 1 o 1 ) ，再次利用最小二乘法得出卢的估计量良 具体的说，令 口= f g ( 如) ，岛= 9 ( 岛) 一n + e l ， 1( 2 1 6 ) 则模型( 1 o 1 ) 变换成模型( 1 0 1 ) k = a + 卢+ 矗 l i 住 且 如= o ，o 脚) = d ( ) ； ( e 4 ) m p 嘲i ( ) | - o ( 蝠1 ) ； ( e 5 ) ：1 吨( t ) e ( 碍) = 著+ d ( 去) ，对于某个碚 o 在这个假设中，和都是正数并且满足 l i m = 0l i m 垒= o 以及 ，熙n 5 l o g 薏 m ，熙8 u p 瑶 o o 由此，对于非参数分量9 ( ) 。有下面的定理 定理1 - ( 引自文献f 2 0 】) 当函数9 ( ) 满足条件( d ) 和条件( e ) 时，在该函数的 每个连续点有 e 靠( ) 一9 ( t ) 2 = 孚+ o ( 碡) + o ( 啄1 ) + o ( p ：) ( 2 2 1 5 ) 般情况下，我们取= 磅。= 竹_ i l ，1 这样定理结果成为 2 量知( t ) 一9 ( t ) 22 老+ d ( 醒) + 。( n _ 1 k 1 ) + 。( 碟) 这样，我们分别计算两种方法中非参数分量部分估计的m s e 由后面的定理 证明我们知道，两种方法中非参数分量部分估计的的差异在于( 6 2 1 1 ) 的结果方 法一中卢的最终估计口和方法= 中卢的步估计成具有相同的渐近性质( 见文 献【1 】和f 5 | ) ，都满足结论( 2 2 1 5 ) 。通过比较可知，两种方法中对非参数分量部 分9 ( ) 的估计( ) 的m s e 是相同的 由此可见，对于非参数回归模型，这两种二阶段估计方法的估计效果是基本一 致的 8 第三童局部多项式及方法修正 在上一章节中，我们介绍了半参数回归模型的两种估计方法同时，通过比较 可知，两种方法对参数分量部分p 的估计都已达到最优。并且当光滑参数取一定数 值的时候。对于非参数分量部分9 ( ) 的估计可以取得理想的结果另外，对于非参 数分量部分的估计，现有文献已提出了一些估计方法，主要有样条估计，核估计， 三角级数估计，近邻权估计，小波估计等，并且得到了大量的结果核估计是出现 较早并且比较成熟的方法，但有一定的缺陷，即在边界点处估计的性能不好，通常 称之为边界效应本文中提到的两种估计方法在估计非参数分量部分的时候均采 用了核估计的方法，并且对方法一中的非参数分量部分的估计现有文献已经做了 很多工作，应用了多种估计方法，并说明了其优劣性( 见文献【4 1 【5 】等) 而方法二 中对非参数分量部分做的工作至今为止还是较少的，由此想到可以在此做些工作 近年来一种新兴方法一局部多项式估计方法应用很广泛，并且有很多优点于 是想到在方法二中对非参数分量的估计采用局部多项式估计方法，应该能得到更 好的结果下面我们来介绍局部多项式估计方法 3 1局部多项式方法及修正 我们这里所利用的局部多项式估计方法，其思想最初由s t 渊( 1 9 7 7 ) 提出 a 鲫e z 口谢( 1 9 7 9 ) ，k 口删女( 1 9 7 9 ，1 9 8 5 ) 把这种思想应用于非参数回归模型， f 口砘卿6 e b ( 1 9 9 6 ) 对局部线性估计作了较为的详细的描述类似的思想也可以 在k ，e u t l e ( 1 9 8 5 ) ，m i i z f e r ( 1 9 8 ”，a 删幽m 弛d f 轨( 1 9 8 8 ) ，何o z f g o ”讲z ( 1 9 8 9 ) ， 凡竹( 1 9 9 2 ) ，f 口施铆纠s ( 1 9 9 2 ) ，f d n ( 1 9 9 3 ) ，e 啪n ( 1 9 9 4 ) 和f 帆y ( 1 9 9 8 ) 等文献中发现 方法偏差方差 n w 估计 ( m ，( 功+ 竺篑铲) j ：“2 k ( “) d u 磅a ( z ) n n ( j 一一 、”，” g m 估计 m ”( ) j ：舻k ( u ) 扎醒溉尼舻( ”m 局部多项式估计 m ”( z ) j 三u 2 ( u ) 如磅赢j ：舻( “m 山东大学硕士学位论文 利用局部多项式估计来拟合非参数回归模型中的未知参数，能很好的弥补核估 计的不足，同时还保留了它的其他优点，受此启发本文将局部多项式估计的方法应 用于半参数回归模型，对非参数分量部分进行局部线性拟合，对参数分量部分采用 最小二乘法，最后构造出的估计量具有很好的样本性质同时由上表我们也可以看 出，对非参数分量部分用局部多项式估计方法比核估计方法更优异 首先我们来了解一下局部多项式估计方法考虑下面的非参数回归模型。 y = r ( z ) + s ( 3 1 1 ) 这里( x ，y ) 是个联合密度为，扛，) 的双变量随机向量，给定x 的条件y 的条件密度为，白一功，x 的边际密度为，( z ) ，( z ) 的正的二次连续可微的且 有紧支撑【0 ，1 】回归函数定义为r ) = e ( yix ) ，r ( z ) 是连续可微的，误差项 的均值为o ，方差为矿 标准局部多项式估计定义如下。我们在z 的个邻域内通过个多项式局部的 逼近r ( z ) 心) 叫卅m 叫+ + 掣( z 叫， ! 岛+ 角0 一。) + + 岛p 一$ ) p( 3 1 2 ) 令( x ，k ) 坠l 是来自( 墨y ) 的独立同分布的样本，通过使下式达到最小，我们 可以实现个局部多项式回归 n 嘭一岛一岛扛一x ) 一岛扛一五) 】2 噩一( z ) l = l ( 3 1 3 ) 这里，尬h ( 卫) = - 1 耳( 2 争) ， 是依赖于n 的带宽，核函数k ( 功在【o ，1 】上非 负可微并且满足下面的条件一 1 0 爨k 囤d z = k 詹z ( 。) 如= o ； ( 3 1 4 ) o 詹舻( z ) 如 江1 ，2 ；j = 1 ，2 ； 通过求解( 3 1 3 ) 式，使其达到最值的 展，l s i 白即我们所要的结果 山东大学硕士学位论文 我们了解了局部多项式估计方法的思想。下面利用局部多项式方法来估计部分 线性模型中的非参数分量部分我们对9 ( “) 使用泰勒展式， 卵淞郇m 吼) + 一+ 掣( ) = m o + m 1 0 一缸) + + 仇，0 一如)( 3 1 5 ) 我们的目标是使下式达到最小- 兰翌蒿二0 ；麓一。洲 叫， = ：。【m 一，n 0 一m - ( t 一岛) 一一嘶( t 一岛) 】2 k 矗( 力 其中敝 ( t ) = - 1 k ( 警) ， 是依赖于n 的带宽 利用最小二乘方法求解椭，仇l ， l p ，即求解满足 m j n d 【”o ，m l ，m p ；” 的竹1 0 ，”“一，m p 如果，锄表示问题( 3 1 6 ) 的局部最小二乘问题的解，那么由 ( 3 1 5 ) 知j ! 确分别是9 0 ( t ) 的估计，j = 1 ，2 ，p 本文的目的是估计g ( ) ，为简便起见，假定9 ( ) 的二阶导数存在那么m o 的估 计为 壹蔹( t 一缸) ( 警) 壹( t t ；) k ( 警) 一妻取( 警) 妻( t 一岛) ：k ( 警) 确= 堕1 _ 上l 1 广_ 旦了l 一 匿( 一t ) k ( 警) j 一蚤( 警) 蚤( 。一t ) 2 k ( 半) m l 的估计为 。； 耋或( t _ 如) ( 警) 耋( 警) 一耋或k ( 警) 耋( t 一如) k ( 学) 觑= 坠i i 曼三l 五型_ _ r 一 ( 气 ) 一如) 2 耳( 与争) 一l o t ) ( 警) l 1 2 lt o l l p lj ( 具体计算过程见第六章) 将开1 0 整理一下可得， 确= 酱 山东大学硕士学位论文 也就是说非参致分萤邵分9 的佰计为 绯) = 磷 为了避免分母为零，采用技术手段将( t ) 改写为。 卵) = 龋 其中，定义叼为t 奶= 耋耳( 警烨岫- ( t 叫蛳) s 叫= 0 一如) ， l = o ，1 ，2 i = l 估计( 3 1 7 ) 的个好的特性就是权重嘶满足 n ( 一如) 嘶= o = l ( 3 1 7 ) ( 3 1 8 ) ( 3 1 9 ) ( 3 1 1 0 ) 这个性质保证了估计的偏差不依赖于边际密度矗( ) 的导数为了明白这一 点，我们看下面的式子 e 危( t ) 一m ( 站= f 至銎丛号差学) ， 利用( 3 1 1 0 ) 我们得 e m ( ”) 一m ( d = e 至羔尘丛塑二逞曼三三芝必) 如果我们在t 点对m ( 如) 进行泰勒展开，当有效设计点有m t ) 2 = d ( 胪) 的 阶时，则估计的偏差的阶是d ( 胪) 因此，在上面的计算中知( ) 的导数没有被涉 及 3 2结果比较 在上一章节，我们利用局部多项式方法估计了半参数回归模型中的非参数分量 部分对于估计结果( 3 1 7 ) ，我们计算它的m s e ，与方法一中核估计方法得出的 1 2 山东大学硕士学位论文 估计作比较局部多项式方法估计结果的m s e 满足下面的定理首先把定理需要 的条件陈述如下 ( i ) 非参数分量函数g ( ) 具有有界二阶导数； ( i i 妒的边际密度厅( ) ，对于o a o ，满足 l ，p ) 一，( ”) i sc 忙一p r ( i i i ) 条件方差护( t ) = y 甜( z i t = ) 有界并连续； ( i v ) 核函数蜀( t ) 有界且连续，其密度函数满足下面的条件t 耳( ) 出= 1 ； j 一 ，+ t 耳( ) 出= o ； j 一 ， t 2 耳( t ) 疵o ； j 一 ，+ p ( ) d t o o ， j 一 其中r = l ，2 ， 说明；对于k ( t ) 的条件约束是由于技术方便并且可以放宽 定理2 在上述条件下，如果 _ i i ，i = 办，o 卢 1 则估计( 3 1 7 ) 的m s e 为， e 0 ) _ 舶) ) 2 = ：p ( 蛐e 铲脚) 2 碟+ 击，- 1 ( 如川妨e 舻( “胁 + 。( 碍+ 击) 伽( ) 是有界权函数并且有紧支撑【o ，1 】 通过比较定理1 和定理2 的结果，我们看到两种非参数估计方法的估计效果基 本相同，但是在处理边界效应问题的时候，局部多项式估计相比核估计而言，有很 大优势 山东大学硕士学位论文 我们以区间【0 ，1 】为例，在点f = 咖，口【0 1 ) 。那么在边界区域【o _ 1 1 ) ，对 于核估计方法我们有以下定理 定理3 ( 引自文献【1 6 】) 在定理2 的条件下 础旷如蝴2 = 淞。+ ) u 2 m ) 叫2 磋 + 襄，- l ( 。+ ) 瑶( u ) 咖+ 。 + 去) 我们注意到，上述定理结果在表达形式上与在内点处是一致的，但是它仍然是 要付出一定代价的上述表达式中对于积分j ! lj p ( “) 如而言，是大于 ij 一( “) 础的这就说明，对于，( t ) = ，( o ) ，岛 ( 口 ) 的渐近方差是大于甄( t ) 在内点处的方差 在文献【1 1 】中，由定理3 3 可知，对于局部多项式面言，它在处理内点和边界 点的效果是一致的 现在，我们已经得到修正后的非参数分量9 ( ) 的估计雪( t ) ，然后将按照方法 = 中，将( t ) 代入( 2 1 1 4 ) 中，求得p 的最终估计卢 1 4 第四章估计结果的性质 在t 章节中。我们对方法二进行了修正，得到了估计9 ( ) 和声，通过研究可 知，它们都具有良好的样本性质这一章节中我们来介绍估计( t ) 和口的性质 4 1( t ) 的性质 首先我们先介绍成的一些性质 引理1 在条件( a ) - ( d ) 下， ( ) 如_ a d s ( i i ) 熙_ _ p 当且仅当s ：1 一。 推论1 在引理l 的条件下， 成三卢铮成二p ，o r 2 甘成_ 卢 口s 其中与表示引i 一。 引理2 在条件( a ) ( c ) 下，且 撬兰警= o ，溉燃靠1 “= o n 一+ nn l o ，o ( i ，1 ) 则 缸( 岛) 一g ( 岛)口矗v 如c ，n 垴：，( 如) o ) 在引入下个定理之前，我们把定理需要的条件陈述一下一 ；：翟竺喜。裟嚣时茗嚣篓 定理5 在定理4 的条件下，且假设f 成立，则 8 l l p i 如( 如) 一g ( 如) i _ + o 口& 4 2 卢的性质 在1 中我们讨论了p 的个估计成，它具有较好的样本性质然而，从另一 个角度来说，从模型( 1 o 1 ) 到( 1 o 1 ) 的变换，使得随机误差的方差增大了c 狄碚 增大到矿) ，因此，废还有进步改进的必要 下面我们讨论卢的最终估计卢的性质显然 声= 1 墨( k 一( t ) ) 其中雪( t ) = 岱( t 1 ) ，参( “) ) 定理6 在定理4 的条件下，其中用旧2 ) 髓p 1 ：凸，1 。= d ( 1 ) 代替条件( b 2 ) 。且 ( i ) o i n k 而，( 如) 8 u p 如而，( 岛) o o ，而为r - u t 的支撑集 ( i i ) 9 在r 1 上有界 则当s ：1 0 时，卢的最终估计 1 6 p p 8 s 山东大学硕士学位论文 定理6 的推论假设定理4 的条件成立，且 ( i ) o ln a 定理7 在定理6 的条件下，且 熙骂嚣( 畿瓢) = o 则 耳1 ( p p ) ( o ，) 此处风= 咖簖l 推论3 在定理6 的条件下，其中用定理6 的推论的条件( 饿) 代替2 ) 及 靠1 _ o ，则 何( p 一卢) 三( o ，砖) 1 7 第五章数值模拟 在半参数回归模型中，验证局部多项式估计方法优越于核估计方法，其实本质 就是关于非参数回归模型的数值模拟现有文献已经做过许多的情况在此，本文 为了明了简便起见，以非参数回归模型为例，通过数值模拟说明在半参数回归模型 中局部多项式估计方法的优越性 模型 饥= 咖( 丌 以) + o 0 7 矗 其中矗一( o ，1 ) 图5 1 ：n 幽r 叼口一w n 8 t 核估计作图 山东大学硕士学位论文 图5 2 ：g s e r m 训z e r 核估计作图 图5 3 ：局部多项式估计作图 1 9 山东大学硕士学位论文 如上三图所示。实线均表示真实函数区线，由上到下。虚线分别表示 d 如r d f 口一t m 核估计，g d s s e r m m f e r 核估计和局部多项式估计三种情 况下的函数曲线( 三个图中均取窗宽k = 0 0 5 ) 由图示，我们可以明确看出在内 点处三种方法模拟效果相差不大。而在边界处，局部多项式方法拟合情况明显要比 其他两种核估计方法优越 通过数值模拟，我们得出结论，对于非参数回归模型，局部多项式估计方法是 一种很好的估计方法 第六章部分计算及部分定理证明 6 1计算步骤 对g ( t ) 使用泰勒展式， 啪) 吲讣巾m 叫+ + 掣( 一o ) = t r l 0 + m l o 一岛) + + ，唧0 一如) 我们的目标是使下式达到最小， d ( 蛳，m l ， f ) = 銎l 【或一m o m l o 一如) 一一m p 0 一“) 】2 甄 ( t ) 其中j r 赢( t ) = - 1 ( 警) ， 是依赖于竹的带宽 利用最小二乘方法求解蛳，m l ，仃b 。即求解满足 m i n d ( 姗，m l ，饰；t ) ( 6 1 1 ) ( 6 1 2 ) 的 1 0 ，m 1 ， l p 如果锄表示( 6 1 2 ) 的局部最小二乘问题的解，那么由 ( 6 1 1 ) 知j ! 嘞分别是9 ( j ( t ) 的估计，j = l ，2 ，p 令 t ( t ) = m = ( 伽，m l ，m p ) 币= ( 讯，佩l ，而p ) 7 j 厶( t ) = 班叼( 耳埔( t ) ，j r 她( t ) ，j l i i ( t ) ) 1 o 一1 ) 0 一t 1 ) p 1 o 一如) ( t 一屯) ij ； 1 ( t t 。) ( t k ) p 这里正= ( 1 ，0 一如) ，o 一如p ) 下面求问题( 6 1 2 ) 的解令 = ( 五，乃，死) 山东大学硕士学位论文 得 即 由 罴= 。 p 瞰一( t 一岛y 叻】( t ) ( 一岛) = o l = l j 卸 霹甄 ( t ) ( t 一岛p = ( ( 一如) ) 甄 ( t ) ( 一“) t=l自l j = o pn = ( 甄 ( ) ( t t l ) 叻 ( 6 1 3 ) r k 。= r t = 甄 ( t )局 ( t ) 玩 ( t ) ( t 一1 ) j “ ( t ) o t 2 ) 鲍 ( t ) o k ) ( ) ；i ! o t - ) p j “ ( t ) o 一如) ，k h ( ) 0 一k p j 厶 ( t ) ：， ( t ) ：。0 一缸) j ( t ) ：l ( 一岛) j ( t ) 这样。( 6 1 3 ) 可以表示为 ：l o 一岛) j o ( t ) 鑫l o 一岛) 2 j ( t ) ：1 0 一t ) 升1 ( t ) r 或= ( r t ) m ：。0 一t ) ，k 矗( 0 ：l o 一屯) p + 1 凰 ( t ) ：l o 一岛) 2 p 甄 ( t ) 因为矩阵r j l t 是正定的，所以( r 即4 存在，从而上面的方程有解解 上面的方程得m 的最小= 乘估计为 赢= ( r t ) 一1 r 蚝矿( 6 1 4 ) 将p 选择为1 。下面来求g ( t ) 和矿( t ) 的估计 2 2 山东大学硕士学位论文 令 d ( 伽，州t ) ：壹障一姗一m 小一如) 】2 k ( 警) 分别对m o 和m l 求导得- 罴= 言2 ( 或一啪一以叫字) 器= 娄2 ( 最一伽一舰( ) ) ( 卜郴( 警) 整理得 砉或耳( 警) 一蛳娄( 警) 一m ，喜( t 一如网警) = 。( e 工s ) 嘉蛳吨) k ( 警卜蛳喜( t 一“) k ( 警卜m ，砉( t 一妒k ( 半) = 。( 6 1 6 ) e ( 州i ) k ( 三) 一蛳( t 一“) k ( 三 ) 一m - ( t 一如) 2 k ( 三。) = o ( 6 1 6 ) 一童蹩端铲 喜如叫k c 警，喜c 警卜伽隆叫c 警， 2 一喜嘲宁) 砉c 肛( 警) + 蛳娄c 警喜肛c 警， 妻e ( t t ) k ( 警) 壹( 一岛) ( 譬) 一量或k ( 警) 壹( 一屯) z ( 警)k ( t t ) k ( 警) ( 一岛) ( 譬) 一k k ( 警) ( 一屯) 2 ( 警) 低= 堕t - 型下：- j 生- 型一 l o 一缸) j r ( 警) l e ( 警) e o 一句) 2 k ( 警) l = lj 垂= l 诘1 椭= 童鳖迄糍掣 山东大学硕士学位论文 代入( 6 1 5 ) 得 喜娜叫c 警，喜k c 学舯- 匿c 网警， 2 一喜嘲宇宙网宁卜m 砉k c 警，喜c 肛c 学， = o ” ( 6 1 8 ) 解得”l 的估计为 壹或。一t 。) k ( 警) 妻( 譬) 一壹e k ( 譬) 壹( t 一岛) ( 半) 慨= 丝_ i 土l _ 曼瓦上l f 一 耳( 气争) 一南) 2 ( 气 ) 一i o 一如) j r ( 与争) i 212i l l = ij 6 2定理证明 定理1 的证明一 氟( t ) 一9 ( ) = ( t h + ( t ) 砰( 卢一阢) + 蛳“( 蛔( 噩) 一9 ( t ) ( 6 2 9 ) 由文献f 2 0 】中引理a 1 ，在9 ( ) 的每个连续点，我们有 ( t ) 9 ( 正) 一g ( ) = o ( ) ( 6 2 1 0 ) 类似于文献f 2 0 l 中引理a 2 的证明，对于l sj 茎p 。我们有 i ( t ) i = l ( t ) 脚+ 吗( 丑) i = d ( 1 ) + i ( t ) 助l 剿1 器m 圳聪i 善脚i = d ( 1 ) + 0 ( n 1 ，2 l o g 删- 1 ) = o ( 1 )( 6 2 1 1 ) 山东大学硕士学位论文 另一方面，由比s 的定义我们可以得到 e ( 卢一见s ) 2 = e ( 一层口h ) 2 + ( 卢一胁) 2 = d ( n 一1 )( 6 2 1 2 ) 这个结果是显而易见的由假设( e 5 ) ，我们有 e 砉t n c t ，日) 2 = 喜t t - “c t ，e c s 匀= 譬+ 。c 啄1 ， c e 。s ， 由( 6 2 9 ) 一( 6 2 1 3 ) 我们得 e 如( ) 一g ( ) 2 = 挚+ o ( 疋) + o ( 啄1 + o ( 疋) ) 证毕口 定理2 的证明。 。 首先，估计( 3 1 7 ) 的m s e 可以写成 e t 如，一，c t 。，2 = f ( 至萼5 ；毛j i ! 鸶学) 2 + n 一4 矿c 知，e ( 辜t 吩+ n 一2 ) 一2 2 舭窀祭警 。“， 得 定义磊= q ) 。由c a t l d l y s d l w a r z 不等式 0 r ) o r ( 6 n ) = d r ，2 ( d ，l k ) 磊= + d r p ( 陬一| r ) l ，) ( 6 2 1 5 ) 因此，根据核密度估计的方法，由( 3 1 9 ) 给出定义式的s 。j 易得 e 3 椰= n 1 疗( 岛) s l ( 1 + o ( ，瑶) )z = o ，1 ，2( 6 2 1 6 ) 对于任意整数，由( 6 2 1 5 ) 得 去铲去+ o r ( 去)砜f 晰2 磊耵如+ 罅l 了焉， = 肿加r + d r ( 醒+ 焘) z = 0 ，1 ，z ( 6 2 1 7 ) 2 5 山东大学硕士学位论文 其中 研= k ( m ，一 特殊的情况，o o = 1 ，3 l = 0 这样( 6 2 1 7 ) 的个直接结果就是 = o 屯2 一( 1 ) 2 = n 2 砖s 。厅) ( + 0 r ( 蛭一了击) ) ( 。2 s ) 令 = 警 缈= 却群( 岛) 我们将要证明 嘉= 专+ 0 4 ( 1 )瓦2 谚十0 4 ( 6 2 1 9 ) e ( 嵩一) 4 = e 业赢产j i 卅s 晔+ 曰业蠢产概卅，叩 s ( 警) 一e 一) 4 + e 一w 一卅，即 暑a + 玩 在最中，h