（应用数学专业论文）变系数部分线性模型的局部m估计.pdf

太原理i ：人学硕十研究生学1 ：f 7 ：论文 变系数部分线性模型的局部m 一估计 摘要 在非参数回归中，对函数的估计已有核估计、局部多项式估计、光滑 样条估计、级数估计等方法，这些方法在处理一维问题时显示了强大的处 理能力但是随着维数的增加，高维领域所包含的样本减少，由这些方法 得到的估计也越来越不稳定，即出现了“维数祸根”的现象，所以这些方 法较难估计一般的多元非参数回归函数为了克服“维数祸根 ，现代统 计学家提出了许多回归模型，其中变系数模型就是针对处理高维数据时遇 到的困难，应运而生的一种模型它既部分的继承了非参数回归模型的稳 定性的特点，又保留了线性模型的结构简单、易于估计、容易解释的特点， 因此对它的研究受到人们的极大关注并且被广泛而深入的应用到生物医 学，流行病学、环境科学等领域 变系数模型是h a s t i e 和t i b s h i r a n i 于19 9 3 年提出的，但它是一个抽象 的模型，在实践应用中的可行性较差为了能够在实践中应用它，许多学 者根据不同情况对其作了处理其中，z h a n g 和w a n g ( 2 0 0 5 ) 提出了变系 数部分线性模型，变系数部分线性模型也是由变系数模型衍生出来的模型， 它是常数项函数和系数函数具有不同自变量的变系数模型，是一种在实践 中应用广泛的变系数回归模型z h a n g 和w a n g ( 2 0 0 5 ) 采用局部多项式估 计方法对变系数部分线性模型的常数项函数和系数函数进行了估计，在样 太原理l ：人学硕十研究生学位论文 本独立同分布的条件下，分别给出了估计的弱相合性和渐近正态性 本文则采用变窗宽的局部m 一估计，在样本独立同分布的条件下，估计 了变系数部分线性模型的常数项函数和系数函数，给出并证明了估计的渐 近性质局部m 一估计的应用，继承了局部多项式估计方法的所有优点，而 且克服了其缺乏稳健性的缺点变窗宽的局部m 姑计则是在局部m 一估计 方法基础上嵌入一个变窗宽，变窗宽的使用提高了所得到的局部m 一估计的 灵活性并使得它们能成功地处理空间非齐性曲线为验证估计的效果，我 们给出了具体的实例，在计算机上进行了模拟，结果表明所选估计方法的 估计效果是比较理想的 关键词：变系数部分线性模型，稳健性，变窗宽，局部m 一估计，渐近正态 性 太原理i ：人学硕十研究生学位论文 l o c a lm e s t i m a t l o nf o r v a r y i n g co e f f i c i e n t p a r t i a l l yl i n e a rm o d e l a b s t r a c t i nn o n p a r a m e t r i cr e g r e s s i o n ，t h em e t h o d si n c l u d ek e r n e l t y p ee s t i m a t i o n ， l o c a lp o l y n o m i a le s t i m a t i o n ，s m o o t h i n gs p l i n ee s t i m a t i o n ，s e r i e se s t i m a t i o na n d s oo n t h e s em e t h o d sd e a lw e l lw i t h o n e d i m e n s i o n a ld a t e ，h o w e v e r ，w i t ht h e i n c r e a s eo fd i m e n s i o n ，t h es a m p l e sw ec a ng e tb e c o m ev e r ys p a r s ea n dt h e e s t i m a t i o nw i l lb ei n s t a b l e ，n a m e l y ， c u r s eo fd i m e n s i o n a l i t y ，w h i c hr e s u l t si n t h a tt h ec o n v e n t i o n a lm e t h o d si nn o n p a r a m e t r i cr e g r e s s i o ns h o wu s e l e s s n e s st o h i g h d i m e n s i o n a ld a t e m a n yp o w e r f u la p p r o a c h e sh a v eb e e nc r e a t e dt oa v o i d t h es o c a l l e d c u r s eo fd i m e n s i o n a l i t y i n c l u d i n gv a r y i n g - c o e f f i c i e n tm o d e l v a r y i n g c o e f f i c i e n t m o d e ln o t o n l y i n h e r i t st h et r a i t so fr o b u s tf r o m n o n p a r a m e t r i cm o d e l s ，b u t a l s o k e e p s t h e a d v a n t a g e so f l i n e a rm o d e l s t h e r e f o r e ，t h er e s e a r c h e r sh a v eb e e np a i dm o r ea t t e n t i o na b o u ti tr e c e n t l ya n d v a r y i n g c o e f f i c i e n tm o d e lh a sb e e nw i d e l yu s e di nb i o m e d i c a l ，e p i d e m i o l o g i c a l ， e n v i r o n m e n t a ls c i e n c ea n do t h e rf i e l d s v a r y i n g c o e f f i c i e n tm o d e lw a si n t r o d u c e db yh a s t i ea n dt i b s h i r a n ii n 19 9 3 i ti sa na b s t r a c tm o d e l ，s ot h ep r a c t i c a l i t yo fi ti sp o o r m a n yr e s e a r c h e r sd e a l w i t hi t a c c o r d i n g t oc i r c u m s t a n c e s f o re x a m p l e ，z h a n ga n dw a n g ( 2 0 0 5 ) i ii 太原理i ：人学硕+ 研究生学位论文 p r o p o s e dv a r y i n g c o e f f i c i e n tp a r t i a l l yl i n e a rm o d e lw h i c hi s d e r i v e df r o m v a r y i n g c o e f f i c i e n tm o d e l i ti sak i n do fv a r y i n g - c o e f f i c i e n tm o d e lt h a tt h e c o n s t a n tp a r tf u n c t i o na n dt h ec o e f f i c i e n tf u n c t i o n sh a v ed i f f e r e n tv a r i a b l e sa n d i ti s w i d e l ya p p l i e di np r a c t i c e z h a n ga n dw a n g ( 2 0 0 5 ) a d o p t e dt h el o c a l p o l y n o m i a lt e c h n i q u ea n dg o te s t i m a t i o n so ft h ec o n s t a n tp a r tf u n c t i o na n dt h e c o e f f i c i e n tf u n c t i o n so fv a r y i n g c o e f f i c i e n tp a r t i a l l yl i n e a rm o d e l t h ew e a k c o n s i s t e n c ya n da s y m p t o t i cn o r m a l i t yo fe s t i m a t i o no nt h ec o n s t a n tp a r tf u n c t i o n a n dt h ec o e f f i c i e n tf u n c t i o n sa r eg i v e nu n d e rt h ec o n d i t i o nw h i c ht h es a m p l ei s i n d e p e n d e n ti d e n t i c a l l yd i s t r i b u t e d i nt h i sp a p e r ，w ea p p l yt h el o c a lm e s t i m a t i o na u g m e n t e dw i t hv a r i a b l e b a n d w i d t ha n dg e te s t i m a t i o n so ft h ec o n s t a n tp a r tf u n c t i o na n dt h ec o e f f i c i e n t f u n c t i o n s t h ew e a kc o n s i s t e n c ya n da s y m p t o t i cn o r m a l i t yo fe s t i m a t i o na r e g i v e na n dp r o o f e du n d e rt h ec o n d i t i o nw h i c ht h es a m p l ei si n d e p e n d e n t i d e n t i c a l l yd i s t r i b u t e d t h el o c a lm e s t i m a t i o ni n h e r i t sa l la d v a n t a g e so fl o c a l p o l y n o m i a lr e g r e s s i o nm e t h o d m o r e o v e r ，t h el o c a lm e s t i m a t i o nc a na c h i e v e d e s i r a b l er o b u s t n e s sp r o p e r t i e s t h el o c a lm e s t i m a t i o nw i t hv a r i a b l eb a n d w i d t h i ss i m i l a rt ot h el o c a lm - e s t i m a t i o nm e t h o d sa n di se n h a n c e dv i ai n c o r p o r a t i n ga v a r i a b l eb a n d w i d t hs c h e m e t h i sa l l o w st h er e s u l t i n ge s t i m a t i o np r o c e d u r et o c o p ew e l lw i t hs p a t i a l l yi n h o m o g e n e o u sc u r v e s t ot e s tt h ee f f e c to fe s t i m a t i o n ， w eg i v eas p e c i f i ce x a m p l ea n ds i m u l a t ei t ，t h es i m u l a t e dr e s u l t ss h o w e dt h a t t h o s em e t h o d sa r ef a i r l yi d e a l k e yw o r d s ：v a r y i n g c o e f f i c i e n t r e g r e s s i o nm o d e l ，r o b u s t n e s s ，v a r i a b l e b a n d w i d t h ，l o c a lm e s t i m a t i o n ，a s y m p t o t i cn o r m a l i t y i v 声明尸明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名： 辎一日期：墨型厶l 一 关于学位论文使用权的说明 本人完全了解太原理工大学有关保管、使用学位论文的规定，其 中包括：学校有权保管、并向有关部门送交学位论文的原件与复印 件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学棱可允许学位论文被查阅或借阅；学校可以学术交流为目的， 复制赠送和交换学位论文；学校可以公布学位论文的全部或部分内 容( 保密学位论文在解密后遵守此规定) 。 签名：主叠日期：签名：翌蜇日期： 导师签名： 如讳 日期： 伽莎 太原理j ：人学硕十研究生学位论文 第一章绪论 1 1 变系数模型及国内外的研究现状 回归分析是数理统计的重要分支之一，它在实际中得到了广泛的应用一般来说， 统计模型只是客观情况的一个近似，一个好的模型能够比较好地解释数据和预测未来 如何建立一个更加接近现实的模型，一直是统计工作者不断追求的目标在现代统计中， 我们常常面临的是高维数据，因此对高维数据回归分析的研究是一个重要的问题理论上 讲，一元非参数回归函数的估计方法可以直接推广到多元非参数回归但实际上，对于 高维的非参数回归，运用一元非参数的估计方法的估计效果是非常差的这是因为非参 数函数估计方法本质上讲都是局部估计或局部光滑，要想比较充分的估计f ( x ) 在x 点的 值，就必须使得x 的邻域包含有足够多的数据但当x 为高维数据时，这个条件存实际 中很难满足，而且由于维数的增加，( x ) 的估计值收敛到( x ) 的速度缓慢，估计极不 稳定，人们称这种现象为“维数祸根”( c u r s eo f d i m e n s i o n a l i t y ) 为了克服“维数祸根”，许 多统计学工作者都在努力探索】，与高维变量x 之间的回归关系，其最终目标就是寻找结 构简单、易于估计和容易解释的回归模型，总的来说可以把这些工作分为两大类：一类 称为函数近似，如单指标模型，可加模型，部分线性模型，变系数模型；另一类为降维， 如s i r 回归，图回归，p h d 分析等本文主要研究的是变系数模型 1 9 9 3 年，h a s t i e 和t i b s h i r a n i t l l 提出了变系数模型： y = 夕。c r ，) z ，+ + 芦伍p ) z p + 占 ( 1 1 1 ) 其中系数函数历( ) ( ，= 1 ，p ) 是一些未知的函数；】，是响应变量，x = 伍，x p 户尺，和 太原理f ：人学硕十研究生学位论文 z = ( z | ，z 。y r p 是p 维协变量，s 是随机误差，且e p ) = 0 ，d ( 0 = 盯： 相对于一般的多元非参数回归，变系数模型对回归函数的结构提出了一些限制可 是，尽管变系数模型看起来比较具体，实际上许多模型，如一般的线性回归模型，非参 数回归，部分线性模型，可加模型等都可以看作是变系数模型的特殊形式，这一模型仍 然是一个很一般的模型在实践应用中的可行性较差为了能够在实践中应用它，人们根 据不同情况对其作了处理，主要方法是取系数函数厥) ( ，= 1 ，p ) 为一元函数，且在模 型中这些函数取相同的自变量 例如，f a n 和z h a n g 2 】提出了以下模型 y ：兰夕，妙) z ，+ s ( 1 1 2 ) = 1 其中y 尺是响应变量，u r ，z = ( z ，z ，尸r p 是p 维协变量，是随机误差，且 e 0 ) = 0 ，d g ) = 仃2 ，占与z ，【，相互独立，系数函数以) ( ，= 1 ，p ) 是r - - ，r 的未知可 洳函数f a n 和z h a n g 2 1 使用局部多项式方法和两步法估计了以) ( ，_ l ，p ) ，并在样本独 立同分布的条件下，给出了估计的渐近结论c a i ，f a n 和y a o 【3 1 对同一模型使用局部线 性方法进行了估计，且在样本是口一混合相依的条件下给出了估计的弱一致性和渐近正 态性 x i a 和l i t 4 】讨论了单指标变系数回归模型， 】，= o ( g e o ，z ) ) + 。( g ( o o ，z ) 沙。+ + ，g 0 名，z ) ) x ，+ f 其中( f ) ( ，= o ，p ) 是一元可测未知函数，g ( 8 0 ，z ) 是含有参数岛r 的尺“4 一r 的 已知函数，z r q 和x = 伍，x p ) ，r p 是回归变量，占是期望为0 的随机误差他们 用核方法估计了以) ( 户1 ，。，力，并给出这些估计的弱一致性和渐近正态性同年，他们 5 1 又用局部多项式方法估计了厚( ) ( = 1 ，p ) ，并给出这些估计的弱一致性和渐近正态性 f a n 和z h a n g 6 2 0 0 0 年把变系数模型应用到l o n g i t u d i n a l 数据的分析，提出了以下模 9 太原理i ：人学硕十研究生! 学位论文 型： y o ) = 届q 沙，o ) + + p ( o x p 0 ) + o ) 其中夕，o ) ，歹= 1 ，p ，是一元可测未知函数，x 必) ，_ = 1 ，p ，和s o ) 是一些随机序 列他们用两步估计方法进行了估计，而c h i a n g ， r i c e 和w u t 7 则采用样条方法对其进 行了估计。 型： z h a n g 和w a n g 8 1 2 0 0 5 年提出了常数项函数和系数函数具有不同自变量的变系数模 y ：g + p8 j 妙、z j + s ( 1 。1 3 ) 其中y r 是响应变量，彳r ，u r ，z = ( z ”，z 尹) r r p ，是p 维协变量，z ，u 独立于x ，s 是随机误差，且e g ) = 0 ，d p ) = 仃2 ，与x ，z ，u 相互独立，常数项 函数g ( ) 和系数函数岛( ) ，= 1 ，p 是尺寸月的未知可测函数他们利用两阶段估计方 法，并在独立同分布和口一混合相依的条件下分别给出了常数项函数估计的弱相合性， 强相合性，渐近正态性和系数函数的弱相合性，渐近正态性，他们称这一模型为变系数 部分线性模型 变系数部分线性模型是对经典的线性回归模型的推广，它是非参数模型和变系数回 归模型的结合，包含了非参数模型和变系数回归模型作为特殊形式， 当夕( ) = 0 ，o = l ，p ) 时，它变成了一般的非参数模型( n o n p a r a m e t r i cm o d e l s ) ： y = g ( x ) + 当g ( ) = 0 时，它就变成了变系数回归模型( f u n c t i o n a l c o e f f i c i e n tr e g r e s s i o nm o d e l s ) ： y = 屈妙) z ，+ ，+ p ( u ) z p + s 当岛( ) = 色，d = l ，p ) 时，其中岛，= 1 ，p 是常数，它就变成了部分线性模型： y = g 心、+ p i z i + ，+ p p z ，+ 3 太原理i ：人学硕十研究生学位论文 所以说变系数部分线性模型是一种在实践中应用广泛的变系数回归模型本文用种更 稳健的估计方法变窗宽的局部m 一估计对其进行了估计。 1 2 经典的估计方法 关于非参数回归函数的估计方法很多，这些方法大致可以分成三类第一类是局部 光滑，如n a d a r a y a w a t s o n 核估计，g a s s e r m u l l e r 核估计，局部多项式估计，局部m - 估计；第二类是样条逼近，如光滑样条逼近，b 样条逼近；第三类方法是正交级数逼近， 如f o u r i e r 级数法，小波方法等本节我们简要地介绍与本论文研究有关的核估计、局部 多项式估计及局部m 估计 ( 1 ) n a d a r a y a - w a t s o n 核估计 在进行回归估计时，因为距离近的观察点对估计f ( x 。) 的影响大一些，距离远 的观察点对估计的影响小一些所以为更准确地估计厂( 工) 在x o 点处的值f ( x o ) ，我们给定 一个权函数，即给每个观察值一个权，使得距离近的观察点取得的权大一些，距离而 远的观察点取得的权小一些，记这个权函数为k ( ) ，它是一个实值函数，通常为对称的 具有紧支撑的密度函数，人们称其为核函数那么f ( x 。) 的一个自然的估计是加权平均， 即 k 。( x i x o ) r , 厶( ) = 艺一 k 。( x ，一) i = j 其中k ( 。) = h - i k ( h ) ，h o 称为窗宽( b a n d w i d t h ) 这一估计是由n a d a r a y a 9 和w a t s o n 提出的，故称其为n a d a r a y a w a t s o n 估计 核函数通常取两类：一类是g a u s s i a n 核函数 七( x ) = ( 瓜) e x p ( 一x 2 2 ) 4 太原理l ：人学硕十研究生学伉论文 另一类是对称多族核函数 庀( j ) = 赢( 1 一x 2 ) ：，y = 。，1 ， 当7 = 0 时，它是均匀( u n i f o r m ) 核函数；当7 = 1 时，它是e p a n e c h n i k o v 核函数；当7 = 2 时，它是b i w e i 曲t 核函数；当厂= 3 时，它是t r i w e i g h t 核函数 ( 2 ) 局部多项式估计( l o c a lp o l y n o m i a le s t i m a t o r s ) 局部线性估计方法是局部多项式估计方法的特殊情况，也是一种常见的估计方法， 所以我们首先来介绍局部线性估计假设厂( _ c ) x o 附近有二阶导数，则在嘞的某一邻域 有 极小化 f ( x ) f ( x d ) + ( x 。) ( 石一x o ) r p 0 - p , ( x ，一x o ) ) 2 k 。( x ，一x o ) ，= i 其中k 。( ) = h - j k ( h ) ；k ( ) 是核函数，且有紧支撑，h 称为窗宽，记上式的解为麂，矗， 则定义厂( ) 及其导数厂7 ( ) 的估计分别为夕( x 。) = 反，夕( 石。) = 矗故 彬 f ( x 。) = 艺一 彬 扛i 其中彬= k 。( 彳，一x o ) s 。：一( x ，一x o ) s ，) ，s f ( x o ) 的局部线性估i 十( l o c a ll i n e a re s t i m a t o r ) ：窆k 。( ，一x 。) ( x ；一工。) ，夕( 工。) 称为 f _ 1 通过对f ( x 。) 的n a d a r a y a w a t s o n 估计和局部线性估计的条件偏差和条件方差的比 较，我们可以知道局部线性估计的方差与n a d a r a y a w a t s o n 估计的方差一样，但其偏差 比n a d a r a y a w a t s o n 估计小，由此可见，局部线性估计优于n a d a r a y a w a t s o n 估计 将局部线性估计方法推广，可得如下的局部多项式估计方法 5 太原理i ：人学硕十研究生学位论文 假设( j ) 在x 0 的附近存在p + 1 阶导数，则在x o 的一个邻域内有 极小化 厂( 工) 厂( 工。) + 厂，( x 。) ( x - x o ) + + 二竺三兰立( x - x o ) p 1 9 1 ，r p 2 fr 一色( z ，一) 7i k 。( x i - x o ) ( 1 2 1 ) i = 1l j = o j 其中k 。( ) = h - t k ( h ) ，k ( ) 是核函数， 称为窗宽记上式的解为色( _ ，= 0 , 1 ，p ) 定义 1 ) 的估计为夕1 ) = ! 夕，( = 0 , 1 ，p ) 记 则有 x = ( ( x ，一x o ) 。) ；。略；p ，y = ( y ；) ：一，= ( 屈) 墨o ，= ( ，) 墨o ， 矿= d i a g ( x 。似。一x o ) ) ， = ( x7 麟) 叫x 。w y ：f r 在实践中，局部多项式方法已被证明是一种非常有效的估计方法，相对核估计，它 具有如下优点： 1 ) 局部多项式估计有相对小的偏差和方差； 2 ) 局部多项式方法适用于各种设计； 3 ) 局部多项式估计没有边界效应； 4 ) 局部多项式估计有很好的极小极大效率 关于局部多项式估计及其性质更加详细的讨论可参考文献 1 1 】 ( 3 ) 局部m 估计 局部多项式方法是一个非常有效的估计方法它具有相对小的偏差和方差以及较高 的渐近效率，而且能适应几乎所有回归设计并成功地处理好边界效应( 详细讨论见文献 6 太原理l ：人学硕十研究生学传论文 1 2 和 1 3 ) 局部多项式方法通常采用最d - - 乘原理，虽然最小二乘估计是线性无偏估 计类中唯一具有最小偏差的估计，在统计模型的估计理论和实际应用中占有重要的地位 但是最d , - 乘估计对异常观测点很敏感，故其估计有时效率低下，缺乏稳健性【h 1 对此 的一个改进就是局部m 估计方法 局部m 一估计是由g a s s e ra n dm u l l e r 于1 9 7 9 年首先提出的( 参见文献 1 5 ) ，其本质 上就是用一个可在一定范围内自由变化的p ( ) 函数来替代局部多项式估计中最小二乘的 平方项在实际应用中常取p g ) = h ( 2 d 、一乘估计) ，p g ) = z 2 ( 最小二乘估计) 或 p ( x ) - - l n f ( x ) ( 极大似然估计) 等由此可见，局部m 。估计方法不但继承了局部多项式 估计方法的所有优点，而且克服了最小二乘方法缺乏稳健性的缺点，故局部m 估计方 法优于局部多项式估计方法 另外，在通常的局部m 一估计中窗宽h 。是一个常数，即在每一个拟合点取等窗宽， 与工的位置和数据点x i 的值没有关系，故其在估计形状复杂的曲线时不够灵活，所以我 们又在局部m 一估计方法基础上引入了变窗宽圯尼) ，其中口( x ；) 是在每一数据点光滑 程度可变化的非负函数变窗宽可以反映不同点的光滑程度，降低拟合曲线峰顶区域的 偏差和尾部区域的方差，其使用提高了所得到的局部m 一估计的灵活性并使得它们能成 功地处理空间非齐性曲线变窗宽的概念是由b r e i m a n ，m e i s e l 和p u r c e l l 。6 1 于1 9 7 7 年提 出的，相关的研究还有a b r a m s o n ( 1 9 8 2 ，见文献【1 7 ) ，h a l l 和m a n - o n ( 1 9 8 8 ，见文献【1 8 ) ， h a l l ( 1 9 9 0 ，见文献 1 9 】) ，和j o n e s ( 1 9 9 0 ，见文献 2 0 ) 在本文中，我们对变系数部分线性模型进行估计采用的就是变窗宽的局部m 估计 1 3 本文的主要内容 本文主要讨论了变系数部分线性模型： p l = 口。( x i ) + 口，妙，) z 。+ g ， 7 太原理j ：人学硕十研究生学位论文 其中y 欠是响应变量，x r ，u r ，z = ( z ，z ，) 7 r p 是p 维协变量，z ，u 独 立于x ，占是随机误差，且g ) = 0 ，d p ) = 盯2 ，f 与x ，z ，u 相互独立，常数项函 数口。( ) 和系数函数口j ( ) o = o ，p ) 是月专r 的未知可测函数 本文的主要内容为：第一章概述了变系数模型的研究现状，主要估计方法以及本文 所用的变窗宽的局部m 估计的优势；第二章利用文献 8 】中所得到的常数项函数的半日估 计，采用变窗宽的局部m 估计和b a c k f i t t i n g 技巧，得出常数项函数和系数函数的精估 计；第三章给出了精估计的弱相合性和渐近正态性；第四章讨论了最优窗宽和核函数的 选取；第五章在计算机上对具体的实例进行了模拟；第六章对精估计的渐近性质进行了 证明 8 太原理l ：人学硕十研究生学位论文 2 1 模型 第二章变系数部分线性模型的估计 z h a n g 和w a n g 8 1 提出了常数项函数和系数函数具有不同自变量的变系数部分线性 模型： z ：口。( x ) + 兰口，妙，) z ，+ 8 i ( 2 1 1 ) 其中】，尺是响应变量，彳r ，u r ， z _ - ( z ，z ，y r p 是p 维协变量，z ，u 独 立于x ，是随机误差，且e p ) = 0 ，d p ) ：仃2 ，g 与x ，z ，u 相互独立，常数项函 数口。( ) 和系数函数口( - b = o ，p ) 是r r 的未知可测函数 2 2 粗估计及其渐近性质 设，x ，u ，z j 汜是( 2 1 ) 式独立同分布的一个样本，a o g ) 和a j 0 ) 有连续的二 阶导数，则在r 。，y o 附近有以。g ) a 0t 。) + 口：o 。一f 。) ，a j0 ) a j “) + d ：“x u - v o ) 其中t o 在彳的支撑内，v 。在u 的支撑内由局部线性方法的思想，口t o ，v 0 地= o ，p ) 的 估计z ( ，v 。) 是极小化 i窆(y,-ao-bo(即a一圭j=l-bg ，+ b j ( u ，- - v 0 她，m 牛t o ) g ：n y o ) ( 2 2 1 ) ( x ，一f 。) 一- ， ，抛，ig ，( x ，一) g ：p ，一y 。) ( 2 2 1 的解其中z 是2 ：的第- ，个分量的观测值，g i ( ) = g ( ? 7 9 。) g ，g 2 ( ) = g ( ；g ：) g ：是核 9 太原理i ：人学硕十研究生学位论文 函数对( 2 2 1 ) 式求偏导，由最小二乘原理可得，对每一个= o ，p 有 z o 。，v 。) ：窆e t j , 2 p + 2 ( v r 荫影) - 1 矿g ，( z f 。) g ：妙，一皿 ( 2 2 2 ) 忙i 其中e y , 2 p + 2 是( 印+ 2 ) 1 的单位向量，其第产1 个元素是1 ，其余是o ；影是一个，z ( 印+ 2 ) 的矩阵，其第f 荇矿r ：1 , z i r , x i - t o 一，互堑捌1 ：荫：疥昭“g l 一气) g ：p ，一) ) ：。) 6j9 2 从而由平均方法可得常数项函数和系数函数的粗估计分别为： 和 历。也) = ! n 窆k = l 瓦纯，以) ( 2 2 3 ) 五，三喜影伍。) ，川，- 卯 ( 2 2 4 ) 为讨论粗估计的渐近性质，我们作如下假设： a i 核函数g ，( ) ，g ：( ) 是有界对称，具有有界紧支撑的概率密度函数，g ， 0 ， 9 2 0 ，称为窗宽； a 2x 与u 的联合密度函数记为p ( x ，甜) ，边缘密度函数记为ab ) ，p 2 0 ) ： a 3 e ( z x ：x ，u = u ) ，e ( z z ，i 彳= 五u = “) ，e 心z ，) 车z z ，l x = x ，u = “) 是l i p s c h i t z 连续的，其中彳半b = ( 口口6 f ) 是矩阵爿- - ( a 口) 和b = 魄) 的h a d a m a r d 积； a 4 令 s ( 工，甜) = ( e ( z i ：1 工，u ：“) e e ( z 仁z 叫r x x 2 = x x , u u 2 = 甜u ) ) 、= g 。 l 。p ，孤如。， s - x ，”) = b 扎i zk 尔p 尔尔p ，“( g ，) = p 。g ，( t ) d t ，儿( g ) = p 。q 2 0 协，i = l ，2 ， 则在上述假设成立的前提下，我们可得如下定理 定理2 1 令g ：g 。丰0 ，n g l 9 2 专o o ，c l 是一个常数，则 1 0 太原理j ：人学硕+ 研究生学何论文 厩( 吼0 ) - “a 一到1咖瓶拼) 山( o , c r 2 7 0 ( g 2 ) ) ( 2 2 5 ) 其中( d 0 2 ( f 0 ) = 唰也 定理2 2 令9 1 膪2 寸0 ，n g ，9 2 寸o o ，c 2 是一个常数，则对每个歹= 1 ，p 有 厩( 拍0 ) - 口，( v o ) 7 1 ：( g 弦m ：2 ) 与( o , 仃2 y o ( g ：如，2 ( v 0 ) ) ( 2 2 6 ) 其呐址聘掣出 为讨论粗估计的优劣，我们将粗估计的结果用于非参数回归模型 y ；= 口o ( x ，) + o ，i = 1 ，玎，e g ) = 0 ，v a r ( c ) = 盯2 将其偏差和方差与文献【1 3 】中的估计结果相比较，二者的偏差是一样的，但是本文中的 粗估计的方差比较大，所以说粗估计的收敛速度不太理想，关于粗估计的详细的讨论见 文献 8 为了改进粗估计的收敛速度，我们引入变窗宽的局部m 估计和回切法 ( b a c k f i t t i n g ) 去求常数项函数和系数函数的精估计，所得精估计的收敛速度将有很大改 2 3 精估计 记( 2 1 1 ) 式为： y ；一口。伍扣羔口，( ，) z ，+ g ， 我们利用所求得的常数项函数的粗估计毛，) 代口。i ) ，则有 r 一玩乒p 口，( u ，k + s ， ( 2 3 1 ) ( 2 3 2 ) 设也，x ，u i ，z ，n ：。是( 2 3 2 ) 式独立同分布的一个样本，a j q ) ，a 0 ( 工) 有连续的二阶导数， 则在“。，附近有口，0 ) a j0 。) + 盘j0 。一“。) ，a ob ) a ob 。) + 口；k x x 一) 其中? d o 在 太原理j ：人学硕十研究生学传论文 u 的支撑内，在彳的支撑内记云，( h 。) ，j ( u 。) 是极小化 酬即一如忻半呲。( 半仲，) ) 皿3 固 的解；其中z 口是z ，的第个分量的观测值，p 。( ) 是给定的抗异常值的函数，k 。( ) 是 一核函数，h 。= h 。是一正数序列，成( ) 是在每一数据点光滑程度可变化的非负函数， h i 屈( ) 称为变窗宽x 9 ( 2 3 3 ) 式中的未知函数求偏导，则口0 。) 的精估计历, 。) = 西0 。) 和n ：0 。) 的精估计云；g 。) = 房0 。协，满足 卅咆鼢如啡。i i 云u ol z ，灿k ( 半仲枝牛 - o ( 2 3 4 ) 其中 f ，( ) 是岛( ) 的导数再将所求得的系数函数的估计五，妙，) 代入( 2 1 1 ) 式中，得 i 一五j ( u i ) z ，= a o ( x 冉i ( 2 3 5 ) 则a o k ) 和反( x 0 ) 是极小化 纠_ 专旭踣”q _ ( t x ，- x o 炉吣：( 挚h 2 饵，) ) 亿3 q f = j ，= l0 2 ， 、一， 的解，其中勿是乙的第- ，个分量的观测值，勿( ) 是一给定的抗异常值的函数，憨( ) 是一 核函数，h 2 = h 丹是一正数序列，口( ) 是在每一数据点光滑程度可变化的非负函数， 五：t 2 ( ) 称为变窗宽对( 2 3 6 ) 式中的未知函数求偏导，则a o k ) = 瓯k ) ， 云；g 。) = 反g 。协：，满足： 斯孛如加以卜诋) ( 半肛叫竿饵陇) ) ( 串) - o ( 2 3 7 ) 其中：( ) 是p ：( ) 的导数 12 太原理i ：人学硕十研究生学位论文 第三章精估计的渐近性质 3 1 系数函数精估计的渐近性质 对给定的点u 。，我们作如下假设： b i 核函数k 1 ( ) 是一有界对称的，具有有界紧支撑的概率密度函数，且 ，= p 。k 。g 灿，q = f s , k ，2g 灿( f o ) ； b 2 屈( ) 在“。连续；回归函数口，( ) ，= 1 ，p 在点有连续的二阶导数； b 3 当万寸。时，在( z 。，“。) 的邻域内，关于( z ，u ) 一致的有 d 跏c ，嘲嘲圳z z ，u = “ 却， e 融，7 矿删l z = z , u = u 卜，； b 4 e 眵o j 】z ，：z ，u ，：“，) ：0 ，且占i ：r 一厅。伍，) 一羔口，( u ，) z ，f ：1 ，咒， j = l j = 1 ，p ； b 5 ( z ，“) 是z 和u 的联合密度函数； b 6 当n 专o o 时，h l 一0 ，n h l 寸0 0 ； b 7 函数少。( ) 连续，几乎处处可导，缈( z ，甜，) = e 。2g ，) | z ，= z j ，u i = “，) 和 矿z i ，u i ) = e ( ，( 占一z i = z ，u ，= “i ) 在( z 。，“。) 处连续且均为正， y ，= f ( 1 9 ( z , u 0 7 f ( z , 1 , 4 0 弛，y ，= 少( z ，“。) z7 f ( z , u 0 边，当，= 2 时，定义z 2 = z z 7 在上述假设成立的前提下，对模型( 2 3 2 ) 应用变窗宽的局部m 一估计，可得如下定理： 13 太原理l ：人学硕十研究生学位论文 定理3 1 五，k - a j ( “。) q o ，h ig j ( 甜。) 一口：( ”q o ，即五，( ) 和a ：( “。) 分 别是痒，0 。) 和口；0 。) 的弱一致估计 定理3 2 厮心知，一g 。 中d i = o r o ) ，n ，“) ) r _ 如唯o ) ) 与2 ) ，其 确 1 2 t 1 ，仃2 = 1 2 - i 胁。盹) f 1 3 2 常数项函数精估计的渐近性质 对给定的点x o ，我们作如下假设： a ”u o ) = g k 口：0 。矿 c 1 核函数k ：( ) 是一有界对称的，具有有界紧支撑的概率密度函数，且 + ，= p7 k ：g 协，= p 7 k ：2 g 协0 o ) ； c 2 口( ) 在连续，回归函数以。( ) 在点有连续的二阶导数； c 3 当dj o 时，在x o 的邻域内，关于x 一致的有 s u p f s , ：p + 足) 一2 g ) 一少：g k j 1 3 i x = x = 。( d ) ， e ( 溜衅+ 七- - 驴f 2 f g 忙石 = d 0 ) ； c 4 占p ：g j 】z = _ ) = 0 ， c 5 厂b ) 是x 的密度函数； 且占，：r 一兰占，妙，弦口一口。( x ，) ，i ：l ，嚣，：l ，p ； j = j c 6 当刀专o o 时，h 2 0 ，n h 2 一o o ； c 7 函数少：( ) 连续，几乎处处可导， y + g i ) = d 沙：7 g + ，x ，= ) 在而处连续且均为正 妒+ ( x ，) =e p ：2 g 。，】，= ) 和 在上述假设成立的前提下，对模型( 2 3 6 ) 应用变窗宽的局部m 一估计，可得如下定理： 定理3 3 a o