（概率论与数理统计专业论文）局部多项式模型的两步回归估计.pdf

山东大学硕士学位论文 局部多项式模型的两步回归估计 李莹莹 ( 山东大学数学与系统科学学院，济南2 5 0 1 0 0 ) 中文摘要 局部多项式估计是非参数方法中一种有效的估计这种方法既适用于固 定设计点模型，也适用于随机设计点模型而且不管设计点是高度集中还是 近似平均，局部多项式方法也均适用另外局部多项式还有一个重要的性质， 即与非参中的核估计相比，它有效的解决了边界效应问题这一重要性质在 f 缸( 1 9 9 2 ，1 9 9 3 ) 【l ，2 】，f 越a i l dg i j b e l s ( 1 9 9 2 ) 【3 】和r u p p 酿a n dw 删( 1 9 9 4 ) 【4 】中有详细 描述和证明 ， 局部多项式方法虽然解决了核估计中存在的众多问题，但是就均方误差的 收敛速度而言，局部多项式并没有取得较核估计更为理想的结果，而且麓使局 部多项式估计达到较好效果的最优窗宽寻找起来非常麻烦同时 由于寻求最 优窗宽的标准不统一，不同的标准将求得不同的窗宽，从而导致了不同的估计 目就计算窗宽常用的方法有c v 、g c v 方法而用这些方法寻找窗宽时的计算 量非常庞大本论文主要提出了改进非参方法中局部多项式模型的两步估计 在第一步中，用局部多项式方法得到不考虑窗宽的估计，此估计的结果与窗宽 的选择有关，不同的窗宽选择对应不同的估计结果；第二步中，不是按照一般的 模式去求最优窗宽，丽是构造了一个新的模型，对窗宽做回归，把r ( 曲作为截距 去估计从而得到新的结果经过证明得到的新估计的偏差阶数比局部多项式 估计的偏差阶数小，方差阶数没有变化，从而使均方误差阶数变小，估计的有效 性得到改进对于单变量模型，均方误差的收敛速度分别由一帮) ，0 ( 拧一帮) 变为d ( 一一帮) ，研n 一帮) 比较前后的收敛速度的阶数可以看出，改进之后的估计 收敛速度较局部多项式估计的收敛速度有所提高 本文中的方法既保留了局部多项式本身的有效性，同时大大减少了选择窗 宽所带来的麻烦和计算量本文在最后给出了有限样本的模拟，模拟的结果充 分说明了新方法的有效性， 关键词：局部多项式估计，两步估讹均方误差m s e ，窗宽 山东大学硕士学位论文 a b s t r a c t l o i p o l y n o m i a l 化伊豁s i o n t c c h n i q u e i s a p o p u i a r n 唧a 舢e t r i c r e g r e 蟠i o n t c c h n i q u e t h em e t l l o da d a 吣t ov 撕。璐坼脑o fd e s i g n ss u c h 鹪渤d o m 柚d6 x c dd e s i g n s ，h i g t l l y c l u s 删a n dn e a r l yu i l i f o 咖d e s i 粤坞f 叫h e 锄o r e ，m e r ei sa na b s e n c eo f b o u n d a r ye l f b c t s ： t h eb i 醛a tt h eb o 佃d a r ys 纽y s 卸t o m a t i c a l i yo f t h es 锄eo r d e r 船i nt h e 砬e r i o f ，w i t h o u tl l s e o f s p e c i 丘cb 0 硼d a l yl 【e m e l s ，砌c hi s 衄咄a b l yd i 厅e r t 丘伽n 血eo t h e rm e t h o d s i tw 硒 s y s t c 【n 撕c a i l ys 恤d i e db yf 删1 9 9 2 ，1 9 9 3 a ) 1 ，2 1 ，f a n 柚d 卿b e l s ( 1 9 9 2 m 3 】锄dr u b b e r t 锄d w 曲d ( 1 9 9 4 ) 【4 】 h o w e v 甑妣a lp o l y i r i i a ln e 9 1 馈略i 瞄o i v e sl o 协o f q u e s t i o 邶，i th a s ta s a t i s f a c t o r y m 暇r ：g e n c e 眦a n d 砒t l l es 黜t i i n e ，i t i s a h a r d w 讲k t o 丘n d t h e o p t i m a l b 雒d w i d 1 t h e d i f f ：e r e n tc f i t e al dt od i 厅tb 粕d w i d i l l s 趾dt h ed i f r b r c n tb a l l d w i d c h sl e a dt od i l f e r e r l t r e s u t t s n o w t h 哦躺a l o t o f m c l l l o d s f o rg c t t i n g b a n d w i d t h 僦h 勰c v ，g c v a n d 钒 a s w ea nl a 坩w 0 m s s - w l l i d a t i o ni sap i 叩u l 盯d a t a 珂r i v m e 出o d ，b u ti tn dh u g ec a l * i 舐o n m 山i sp a p e f o wt c 蛳q i 圮a i l o w s 璐t 0s e l e c ta p p r o p r i a t eb 卸d w i d t hm o e 勰i l y w h i l el 唧吨t b ee 行e c t i v 髓e 豁o f l o c a lp o l y m i a lr e g 踞i o n t oi m p r w cl o c a lp o l y m i a l r e 伊豁s i o ni nt h e n o fc o m r a 罾m c em t e ，w ep r o p o at w 0 s t a g e 铲鹤s i e s t i m 撕o n i i lt l i e 触s t a g e ，w eg n 船t i m 砒i 、 ，i m i l tt i l i n “n go fb a n d w i d t h t h c 他鲫l tc h 姐g cw i 也 b 姐d w i d t h t h e 辩s e i c c t c dc s t i l n a t o r sa mi nt h es e c o n ds t a g ec o m b i n c db yap 踟e t r i c 陀一 g r c s s i o nt c 蛳q u e s 鹊t of 0 咖an e w 镐t m l a l o r a saf 器u 也f o ru n i v a a t em o d e l s ，t h e 0 p t i m a lc o n v c r g c n f a t eo f t h em e 锄s q t m 捌e n u ri so f o r d e r 血e0 ( 玎一帮) ，0 ( 玎一秘) ，w h i c h i so fo r d 盯a 协一蓐；，) ，a 协一务) a c h i 眦db y 山ec x i s t i n gm e n l o d s a sw ec 孤s ，a p p r o x i - 棚t e d m 啪s q u 删锄f i s 捌v c d 船u s i n g n e w m e t b o d kt h i sp a p 哪t e c h n i q u ea l l d w su st os e l o c ta p p m p f i a t eb 蛆d w i d t h s i 盯w h i kk e e p - i n gt h ee 慨t i v e n 髂so f l o c a lp o l y n o m i a lr e g r c s s i a tl a 吼s o m es i m u l a t i o 璐a r cg i v 朗t o i i l 璐t r a 比也et h r c t i c a lr e 娜l t sa n dc o m p a r ；ei tw i l ht b ee x i s t i n gm e t h o d s 原创性声明 本人郑重声明t 所呈交的学位论文，是本人在导师的指导下。独立进 行研究所取得的成果除文中已经注明引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写过的科研成果对本文的研究作出重要贡 献的个人和集体，均已在本文中以明确方式标明本声明的法律责任由本 人承担 论文作者签名，盔盔：室：日期。丝1 2 ：垒! 论文作者签名，：嵫：鲎： 日期。丝12 ：垒! 关于学位论文使用授权的声明 本人完全了鹪山东大学有关保留，使用学位论文的规定，同意学校保 留或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅 和借阅；本人授权山东大学可以将本学位论文的全都或部分内容编入有关 数据库进行检索，可以采用影印、缩印或其他手段保存论文和汇编本学位 论文 ( 保密论文在解密后应遵守此规定) 论文作者签名，缸：生。导师签名。 第一章前言 我们主要研究非参方法中的局部多项式估计：对于模型 k = 一而) + 岛 j = l ，2 ，刀， 其中，k ，。匕分别表示设计点而，上的观察值为方便起见，我们假设此 模型为固定设计点模型，满足如下的约束条件：0 而 恐 而 1 ，且 而一犯l _ 研一一1 ) 误差项独立同分布，其均值和方差分别为0 和矿 若方程，有尹阶连续的微分，则对v 善( o ，1 ) ，( 田z 埘+ r ，一曲+ + 孚蛳) v 甜 都成立令k 是关于0 对称，且以( 1 ，1 ) 为支撑的概率密度函数定义 d ( 6 0 ，6 l ，如，曲= y ( 巧一6 0 一6 l ( 而一曲一一6 p 一矿) 2 足( 兰) ，d ( 6 0 ，6 l ，如，曲= 2 ：( 巧一6 0 一6 l ( 而一曲一一6 p 一矿) 2 足( 2 ) ， 计算合适的6 0 ，6 i ，使d 最小，此时得到的估计即为啾) 的局部多项式估汁 局部多项式估计能减小核估计的偏差和方差，而且能自动适应设计点的边 界，这是局部多项式公认的优点局部多项式估计的优劣与窗宽选择密切相关， 窗宽选择是否恰当直接影响到局部多项式的估计效果，而最优窗宽的确定非常 麻烦目前常用的求窗宽的c v 、g c v 等方法其计算量的庞大远远超过了局部多 项式估计本身的推导，而且局部多项式估计是有偏估计受t o n gt i c j u n ( 2 0 0 5 ) 【5 】 文章中方法的启示，我们可以对局部多项式的窗宽进行两步估计由最小二乘 方法的特点可以预见到，这种方法可以改进局部多项式的偏差，如果方差阶数 没有增加的话，得到的新估计其均方误差将会减小更明显的是，用此方法推导 出的新估计省略了计算最优窗宽的复杂过程使最优窗宽问题不再足困扰局 部多项式估计的一大难题 对于非参数回归模型( i 1 ) ，雕c e 给出了残差的估计 最= 志宝o 一蚰) 2 噶2 芝i 而舀o 一蚰) 。 山东大学硕士学位论文 在此基础上，t o n gt i e j u n ( 2 0 0 5 ) 【5 】，定义了七步r i c e 估计讯似) ： 嘲2 志荟一尉小l 2 ，棚“ 进一步计算了残差估计量的期望值； ( 砖( ) = 0 2 + ，以( 1 七s1 ) 其中，= r 吲删2 d w 2 ，磙= 妒矿，由此可以构造出线性模型靠= 仃+ 触+ 略传= l ，2 ，肼) 常数项口的估计a 即可作为残差方差的估计舻这种通过回归方法 得到的残差估计具有很好的性质 受其启发，我们用此方法推导出局部多项式的两步估计，从推导出的两 步估计的渐近性质可以证实，从埘e 的角度来沈本方法是有效的，有较好的 理论结果而且在研究过程中发现，这种方法在一定程度上大大减少了寻找 最优窗宽所带来的庞大计算量，而且在减少计算的同时，得到了理想的结果 本文是在等权重的前提下进行讨论的，还可以进一步考虑权重的影响 本文主要包括以下内容：第二章介绍非参方法以及窗宽的选择对估计的 影响第三章第一节介绍了局部多项式的性质，第二节给出用两步估计方法计 算出的新估计第四章第一节讨论新估计的渐近性质，第二节给出渐近性质的 证明和改进前估计的渐近性质进行比较，可以得到新估计的偏差明显变，j 、，方 差阶数没有变化，均方误差因为偏差的变化也随之减小第五章给出针对本方 法做的一些模拟和比较由此来验证新方法的优势所在 2 第二章预备知识 回归模型是数理统计中发展较早、理论丰富，而且应用性很强的重要模型 回归分析的方法自f g a l t 首先提出以来在几十年的时问里，经历了由线性回 归到非线性数回归，由参数回归到非参数回归再到半参数回归的演变过程 对于模型 e = r ) + 岛， j = l ，2 ，打 ( 2 1 ) 其中，y l 一，取分别表示设计点而，而上上的观察值，为方便起见我们假 定设计点满足如下的约束条件t0 莉 勋 o 是窗宽( 也称为平滑参数) ，它的取值关系到估计函数的平 滑性 埘卿一肜骶加估计的优点在于它有一个明确的关于工的核权函数的 表达式 这样便于计算但是诎，叼，口一阢吲册估计有较大的偏差，同时由于它 的分母表达式是随机的，给理论处理带来了困难为此g 傩册和埘胁于1 9 7 9 年提出了g o s s e r m 融t e r 该估计 豸韵= ；喜k 烈等) 饥 其中，两= o 淌= 掣，f = l ，2 雄一i ，且岛= 1 g a s s * m 翊e r 核估计对应的权函数是： ；斛等，妣 从g i 船s 盯一朋i 硼卯的函数表达式可以看出：此估计的权重和为l ，它解决了 分母是随机变量的问题无论舭叼，口一阢f 嬲核估计，还是国s s 一施脑核 估计，实际上都是局部常数拟合，事实上是对，( ) 作局部常数近似口，再利用局 部加权最小二乘回归求得“) 的估计： 协咄砌喜( 2 劬= 鬻- i ，= 上一j 令啦= 士板警) ，可以得到肌砒l 阳咿一砌s 册估计， 令w f = 。 衩并坳，可以得到g 鲫s 盯一m b ，衙估计 对于上述两种估计以嗍一砌跏估计在回归函数有较大导数的地 方存在较大的偏差，即使在回归曲线为线性时m 积嗍，口一胁s 鲫估计的偏差 也会很大；而g 口s 聊一施胁估计虽然有较小偏差，但却增大了方差而且无论 弘唧一耽f 删估计还是g “s 一一砌i 胁估计，它们在估计曲线的边界点上 都存在较高阶的偏差，即所谓的边界效应 4 山东大学硕士学位论文 q 妒r t e s n 哆一c h a o 话诗 该估计由p ，妇s f 坳和c j 啪于1 9 7 2 年独立提出： = ；一犯- ) 蚱聪孚) 此种核估计方法也存在明显的边界效应问题对于边界效应，虽然有些文 献提出了一些边界核修正方法但是效果并不理想 ( 4 ) f 讲i r i 留级数估计 抵蝴) = 妻er 蜀瓴“讪) 幽 ( 5 ) 局部多项式估计 着方程，有p 阶连续的微分，y x e ( o ，1 ) 荆+ ，愀站一功+ + 与产， 对任意的”) 都成立，令鬈是关于o 对称。且以( 一l ，1 ) 为支撑的概率密 度函数。定义 酏 ，力2 善( 耳一6 0 一6 - 一的一一魄一矽) 2 甄等) ， 计算合适的6 0 ，6 l ，使d 最小，此时得到的估计即为一功的局部多项式估 计 这里矗是一个依赖于的带宽，核函数甄功在【0 ，l 】上非负可微且满足下 面的条件： 出= l ， 埔出= o ( 2 3 ) 局部多项式方法中最常用的是局部线性估计和局部常数估计假设的 二阶导数存在，且在工的邻域内，( = r ( 功+ ，( 曲【“一曲= 6 0 + 6 l 一曲，此时估计 r ( 的的问题就是局部线性回归问题，即估计截距，方法如下：寻找6 0 ，6 l 使 委( 耳一6 0 “一砌2 麒警) 5 山东大学硕士学位论文 取到最小值，令，占l 是使上式最小化的结果，则占o = 鞴 其中 劬= 联三茅) 【品。一 一五) 屯t 】 嘶= ：l 脚警一并只，= l ，2 当取p = o 时，即得到局部常数估计当，足够光滑时，随着p 的增大，偏差会 减小最重要的是，局部多项式估计很好的解决了边界效应问题这个优点是核 估计所不能达到的 二窗宽对非参方法的影响 在非参数回归中，一个非常重要的问题是窗宽的选择问题在给定样本之 后，一个估计性能的好坏，取决于非参方法和窗宽的选取是否恰当窗宽k 随行 的增大而减小从理论上说，圾是随一一m 面趋于0 当毛= o 时拟合曲线把所 有的数据点连接起来，会产生最复杂的模型当= + m 时，则会产生最简单的 模型可以说窗宽的选取决定了模型的复杂度另一方面，k 取得太大时由于工 经过压缩变换，警之后平均化作用突出了，而淹没了密度的细节部分；反之， 太小了，随机韵影响会增加从而b 呈现很不规则的形状，这可能掩盖r j 的重要 特性所以适当的选取窗宽，以平衡上面两种效应就显得尤为重要了 窗宽的选择分为常数窗宽和变窗宽两种常数窗宽又称全局窗宽就是 在每一个拟合点取等窗宽，也就是说他既不依赖于x 位置也不依赖于数据点 五这使得所得估计不能充分利用变量x 的设计密度所提供的信息，此外， 常数窗宽在待估计曲线具有复杂形状时，缺乏灵活性从而对复杂曲线的拟 合效果尤其欠佳鉴于止匕日陀蛔口h ，删和a ，c 娥1 9 7 7 ) 在密度估计的背景下 提出了变窗宽的概念即热，这里口( ) 是反映每一数据点光滑度的非负函 一r j ， 数彳打咖阳啊1 9 8 2 ) 月删胛狮( 1 9 8 8 ) ， 爿硼1 9 9 0 ) 以及妇眦1 9 9 0 ) 分别对变窗宽做了进一步的研究变窗宽有局部变 窗宽和全局变窗宽两类局部变窗宽| i | ( 粕) 随位置两的变化而变化，而全局变窗 宽 陇) 随数据点五的变化而变化变窗宽的引入可以反映不同点的光滑程度， 降低拟合曲线在峰顶区域的偏差以及尾部区域的方差，提高了拟合曲线的灵 活性，适用于对空间非齐次曲线的拟合 6 山东大学硕士学位论文 理论上计算最优窗宽的办法就是寻找出使均方误差达到最小的窗宽 因为根据上面的描适当我们减小窗宽时，估计的偏差会减，j 、，但同时方差 却变大了为了平衡两种准则( 光滑性和偏差) ，我们寻找合适的窗宽i l ，使 均方误差埘e = 伍( ) 一m ) ) 2 = 妇蛾o ) ) + ( 联 ) 一r ) 2 达到最，j 、i 这时 得到的窗宽即为理论上的最优窗宽在具体计算过程中，我们把懈e 分解 朋“；帕= 职工；| j i ) + r ( 力， ) ，其中j c 戤；| | i ) 为主导项，尺 ，矗) 随 的变化不明显我们 通过求 盖瓤= o h 仃 得到一列窗宽此列窗宽可以使h m s 1 峨一兹勰i ，其中峨是其他任何的窗 宽列 目前在应用上，计算窗宽常用的方法是伽甜一谳f 加c 矿方法被认为是 妇细一棚的方法其基本思想是用部分数据建立模型，然后利用模型预测剩 余数据对于给定的模型我们可以通过所有点的预测计算出一个平均预测误 差使这个平均预测误差最小的窗宽就是最优窗宽对于模型2 1 ) ，令必，” 是r 的估计鳆，k ) 是与珂，k ) 相同类型的估计不同之处在于允( ，l i i 。) 在计算时 把数据( 而，k ) 排除在外如下定义c 哪。) ： h c = 三f ( e n 僦丸) ) ”管 使c 取k ) 最小的即为最优窗宽由此可以看出，用c y 方法去寻找窗宽时要以 庞大的计算量为代价 7 第三章两步回归修正的局部多项式估计 3 1 局部多项式的性质 f 蚰( 1 9 9 8 ) 给出了局部多硬式的渐近性质，通过此定理我们可以得知局部 线性估计是有偏估计根据f a n 的定理我们推导出如下引理， 引理3 1令s 表示点j 的邻堍 ( a ) 边际密度e 一，矿l * ，且在s 上r o ( b ) 方差矿e “固，且在s 上j r o ( c ) 回归方程，1 ，且在s 上，p 为奇数时，i i i 护为偶数时，r 。 ( 由核置是有界对称的密度函数，且有有限的四阶矩则当开一m ， 一o 。砌- p 为奇数时， 脚，p ) ) = + 扩1 ( 若鬻) 叮矿1 巧( f ) 哟 3 吾篙p 删击+ ； p 为偶数时 脚，朋= + 矿2 c 若等+ 菩筹黑，c ，缉o ，枷+ 矿“ 其中，满足t c 等等+ 善善勰，加+ o ， n ， 而= q ( 半) j = l 2 山东大学硕士学位论文 q ( = r 1 ( n 刖= j r 厂( “) 幽，。 1 局部多项式在两种情况下的方差。 吲) = 1 l 鬻叮啪机砌) 因此。由此引理我们容易得到， p 为奇数时， e ，西一椭= 吾鼍l k p n 一导l p k 鼬m p 为偶数时， + d ( 矗p + 3 ) + c 一) 脚p ) - 删( 龋+ 篇) ，扩2 巧出+ ( 高 ( 3 2 ) + 善善船) 厂尸帆。+ ) ( 3 ，) 由上一章知遣在局部多项式估计中，如( 功的取值与窗宽的选取有凳我们 通常令m s e 最小，计算此时的理论最优窗宽在最优窗宽下的蝴，即我们的最 终取值下面计算得出脚e 船目 ，o ) ) = d ( ，a ) ) + 饵( r ( 的) 一，( 功) 2 在局部多项式中，由引理3 1 的结果得到； p 为奇数时 椰联) = ) - l 鬻以( 曲埘1 ) ( 若鬻疗r 彳2 ) 2 9 山东大学硕士学位论文 p 为偶数时 + o 缈1 ) + o ( 驴1 ) ) ； 脚e c ，= c 嗍叫鬻以c 力+ 炉t 若器+ 若等与勰) 2 c 2 ) 2 + o ( 2 ( p 蝴+ 口( 1 2 ( p + 2 ) ) 在此基础上，我们可以计算出使 舔最小的窗宽即最优窗宽为： 仁嚣三 把最优窗宽带入m s e 公式得到 l o p 为奇数， 尹为偶数， p 为奇甄 ，为偶数 p 为奇数， p 为偶效 由 由 一 一 卿 ，tj、i = 籍 赫 一 一 咖 咖 + + 獬 赫 一 一 ，i_lj，l_il = 杈目 兰童 3 2 局部多项式的两步回归 “五凸力= 二：三二：二 ：兰二： f 距一( 甑，力- 口l 一6 l 矿1 ) 2 ， p 为奇数， i 羔。眠p ，力一砚一如哆+ ：，：， p 为偶数 其中。 计算得到： p 为奇数， p 为偶数 玎晰一加。小i ，2 ， 卢l 呦( 嘭一砭炒o ，f = l 2 = 1 磁1 = “节1 ，j = l 2 ， 瑶 磁 籼 幻 一 一 d 力 p p 工 r 似 似 吼 岘 鼍严 脚卢 = = 氟 赴 ，-_j、-i_ 2 = 2 扩， 吣 。州 = 2 瑶 山东大学硕士学位论文 ，二lt o l 珂五，力( 节1 一硪1 ) 1 名l m l ( 群“一硪1 ) 2 ，二。玎产( 置p ，力( 2 一硪2 ) 。 羔。( 矿一砭2 ) 2 实际上。南，i = l ，2 ，印为z ( o ，1 ) 上 曲的估计我们把产( d 的最小二乘修正结 果表示为双曲，这样得到巾) 的新估计= 南，z e ( o 1 ) 下面我们将考察的渐 近性质，进而与其x ) 相比，得出它的优势所在- 1 2 且 第四章局部多项式两步回归估计的渐近性质 4 1 局部多项式两步回归估计的渐近性质 在这一节我们将介绍新估计的渐近性质为计算方便，令乃= 叩1 ，o a o 卢i户l ( 4 1 ) 定理4 1假设( 4 1 ) 式成立，( 曲在( o ，1 ) 上具有s 阶连续的导数s ) p + 3 ，则当h 一* 时。 其中 目阿曲) = ，( 力+ “帕， d ( ”一”3 扣) + 0 ( h 一1 ) ，p 为奇数， 0 ( ”巾+ 铷) + 0 伽一) ，p 为偶数 与前面的( 3 1 ) 式相比，我们可以明显的看出新估计的偏差比原来没有改 进时的偏差有了明显的减小这一改进应该归结于最小二乘的性质，但是定理 4 1 同时也表明新的估计仍然是有偏的，只是其阶数明显降低，接近于无偏 定理4 2 假设( 4 i ) 式成立则对于he ( o ，1 ) ，当h _ o o 时 爿x ) 的方差为 r ( 珂x ) ) = d ( h 一1 1 ) ) 与( 3 2 ) 相比，可以看到新估计的方差和原来估计的方差阶数相同方差没 有变大也没有什么改进两步估计只是改进了偏差，从而新的估计均方误差 也会随着偏差的改进而有所减小 山东大学硕士学位论文 定理4 3 假设( 4 1 ) 式成_ 立 则对于搬( o ，1 ) ，当月一* 时 ，仨： 4 4 2定理证明 本节中我们给出部分定理的证明 定理4 1 的证明( 1 功为奇数时为证明方便，定义 勺= 节3 帮+ 0 ( 一一) ， 仇= 0 ( ”p 3 ) + 0 ( h 一1 ) 显然，得到修正之后的新估计的期望如下式所示t 聊：，( 曲+ 扩，( 错簪) + 西 我们先计算玩的期望 踯肛靶鼍筹笋翟l m i ( 叩1 一蟛。) 2 由下式 翟刚妒- 一聪1 ) + 坐喘牲) = t 一 暑- ，( 带1 一面1 ) 2 一h 一( x ) 矿1 翠m ，町( 垆一瑶1 ) = 一十= 一 ( p + 1 ) 翟一。j 盱一瑶) 2 ：掣晕+ d ( 以 = 弋而十d u 婶 册 肘 町( 一硪) i ( 0 ；) 1 ，2 山东大学硕士学位论文 得到。 墅业拿雾( 堕掣) 1 ，：嘞耐气 兰，钟”一瑶1 ) 2 - 嘭 ”1 “” 下面求截距项估计的期望； 砸) = 雌。( + 号簪矿1 ) + 勺) 一( 等誓+ o 泸露1 ) = ，( 曲+ 嘞 ( 2 ) 当p 为偶数时，记 勺= 矿c 错+ 券勰，+ 酬，。 仉= 1 p 3 k ) + o ( 疗一1 ， 一帕而。一两，t x 、。 莉+ 石丽2 虮 如，= 墅笺鬻笋羔lo 玎( 蟛“一 彳) 2 = g 2 + o ( 庐) ， 占( a 2 ) = i 巧( ，f 曲+ 。g 哆+ 2 + 町) 一再：2 ) 一矿l + 2 g + 町o f 月h ) ) = m ) + “ 1 6 山东大学硕士学位沦文 定理4 2 的证明 矿矾私”= i z 二1 嘞融) ) 一2 c d “lq ( 6 i 砭) + 州5 l 瓦) 下面我们计算右边部分的近似阶数 n i r ( ；im l j ( 曲) = p 钿i 名i ；ly f o “j = 0 2 ；i 撕嘶) 2 = 0 2 l l j 二l 嘶l “征 蔓0 2 二。q 0 2 二。嗽厕琢 = 0 ( 一1 1 ) 同理，其他两部分用同样的方法分别得到， 因此得到； c 叭q ( 曲，毛瓦) = _ ) 。 j 。l 州5 i 瓦。) = 0 ( 一。计) 跆 f ( j ”= o ( 1 1 1 ) ) 定理4 3 的证明 舔f 载了) ) = ，饼f 于j ) ) + f ( 声( 工) 一，o ) ) ) 2 1 7 p 为奇数 p 为偶数 炉 炉 抽 啪 q ( ( ) ) 烈 吼 ，l_，、_j_l 一一 山东大学硕士学位论文 即。 分别令 p 为奇数 p 为偶数 一t t 一= ：i 三：三： 腑叫竺： 舢 h 3 4 胪 p 一 一 片 玎 q 嘶 + 十 咀 咀 研 ，-_，1-_，-_ i i 曲 其 【)! 呈 第五章模拟 在这一章，我们通过模拟结果来展示两步回归修正后的局部多项式方法 在有限样本下的统计性质，并与传统的局部多项式方法进行比较，以展示两步 回归修正对偏差，方差m s e 收敛速度的改进 考察如下回归模型t 儿= j 加( 丌研) + 句，f = l ，2 。5 l ， 乃= j 加伍新) 一酬功+ 句，f = l 。2 5 l ， 弘= 而+ 0 0 l ( 5 妇l ，r 而) + 日，f = l ，2 。5 i 初步估计使甩局部多项式方法，p 表示多项式的次数由前文所述的理论 结果知，两步回归估计将减小初步估计的偏差而局部多项式估计的偏差随p 的增大而减小，有较小偏差的初步估计会使得修正的效果不显著，故我们在做 初步估计时设定p 等于。或l ，即局部常数方法和局部线性方法，这也是实际中 最常使用的方法在运用非参平滑方法时，比较敏感的是窗宽的选择在同一样 本下，不同的窗宽会产生差异显著的估计在前文已给出了理论上的最优窗宽， 但不能给出确切的数值，特别是在有限抽样条件下。不能直接的应用对这类 问题，应用较广泛的足c ，0 s - m f 枷方法，它能给出基于数据的最优窗宽， 在模拟中能得到满意的结果，只是为得到最优窗宽的计算往往超过了估计本 身我们的两步回归修正方法，恰好能避开这一问题在应用中，我们可以在较 宽的值域内选择一窗宽序列，此值域的选择可以参考理论最优窗宽在得到初 步估计序列之后，我们应用等权重的最小二乘做第二步修正，应该指出的是如 果选用权重适当的加权最小二乘将得到更杰出的结果，但需要更为复杂的计 算，比如求最优窗宽，即便是在等权重的情况下，我们的结果依然是令人欣慰的 山东大学硕士学位论文 图l ：此图由对应于模型乃= j 加( 丌而) + 岛，j = l ，2 ，5 l 的模拟数据绘成，最光滑 的虚线代表真实的曲线。另两条虚线分别表示第一步的局部常数估计和局部 线性估计的曲线实线是经修正的估计曲线，模拟的结果清楚的显示修正保 持了局部多项式方法本身的优点，特别是在边界上给出了满意的估计同时方 差偏差较初步估计有所减小，收到了预期的效果 山东大学硕士学位论文 图2 ：此图由对应于模型弗= s 加( 吼) 一唧) + 靠扛l ，2 ，5 l 的模拟数据绘成， 最光滑的虚线代表真实的曲线，另两条虚线分别表示第一步的局部常数估计 和局部线性估计的曲线实线是经修正的估计监线，模拟的结果清楚的显示 修正保持了局部多项式方法本身的优点，特别是在边界上给出了满意的估计 同时方差偏差较初步估计有所减小，收到了预期的效果 2 1 山东大学硕士学位论文 图3 ：此图由对应于模型j = 麓+ o 0 1 0 砌啊) + j = l ，2 ，5 l 的模拟数据绘成， 最光滑的虚线代表真实的曲线，另两条虚线分别表示第一步的局部常数估计 和局部线性估计的睦线实线是经修正的估计曲线，模拟的结果清楚的显示 修正保持了局部多项式方法本身的优点，特别是在边界上给出了满意的估计 同时方差偏差较初步估计有所减小，收纠7 _ 预期的效果 参考文献 【l 】f a n ，j ( 1 9 9 2 ) d e 蛔却d 化f 唧郴删肋证胄曙r 墨鲥鲫a l o f t l i ea m c t i c 釉s 缸t i 撕c a la s - 鲫c i a 曲l i v o i 盯n o 4 2 0 p p 舯8 一l 0 0 4 【2 】f 锄，j ( 1 9 9 3 ) 幻c 口，砌w 熠脚加d d 船r 删船妒m m 砌“e 脚a m ，s 枷c ，2 0 ，即2 0 0 8 2 0 3 6 【3 】f 锄，j a n dg i r b e i s 1 ( 1 9 9 2 ) 绷p 哳恸拓钿眦 ，矗加d 耐，如甜砌盯m 孽陀鼯i 鲫删历优 a m ，s 协6 0 也，2 0 p p 2 0 0 8 2 0 3 6 【4 】酗椰d ，w a n d m p ( 1 9 9 4 ) 胁触俐施加彬w 劬耐玩甜踯懈嘲加a m ， s 喇盹，2 2 ，p p 1 3 4 6 - 1 3 7 0 【5 】t i c j 皿t o n g ，d o n g w 柚甙2 0 0 5 ) 皿砌自鲥馏，嚣砘耐懈慨加加印口，册龇馕 脚砌， 淞魄妇r 明b i 鲫e 删妇，9 2 ，4 ，p p 8 2 l 一8 3 0 【6 】矾g i u dk g l a d ( 1 9 9 8 ) 屈，删鲫嘻砂函埘耐l 研巾鲥鳓神晓r 删砌 b o a r do ft h e f 咖n d a t i o no f 血cs c a “i l l a v i a i lb l m a lo f s 谢s t i c s ，u s a ，v o l ：2 5 ，p p 6 4 9 6 6 8 ，l ”8 【7 】l j ni m ，c u jx i aa n dz h ul i x i n g ( 2 0 0 6 ) 4 村a 反擎，r 世胁s 细pe 叫朋口f f d ，l 矽一反，f ，押p 朋a 破妇 观l u 恤嗡，t w o - s l d g er 哪e s s i o ne s n m 口t t 如g e 诚n o 唧m w t n cr e 铲s i o nm 缸 【9 】n 撕o ，k ( 2 0 0 4 ) & 肼枷玳珊e 州c 如，辑砂鲥砌讲砌l 砂h 槲蝴以g a 加s 喇s t 3 2 p p 1 1 6 2 一1 1 9 1 【1 0 】e u b a n k ，r l s p i e g e l l n 撕，c h ( 1 9 9 0 ) 死s f 俩 t 妇g o d d h 哪谚弦咖胁础妒埘砌，砌加喝即r 口。 胁叻记俺龙s f 凹姚