（应用数学专业论文）半变系数模型的m估计与误差相关下的随机约束估计.pdf

太原理l ：人学硕十研究生! 学伉论文 半变系数模型的m 估计与误差相关下随机约束估计 摘要 h a s t i e 和t i b s h i r a n i ( 1 9 9 3 ) 提出的变系数模型为 y = 口t ( u ) 彳+ 占， 其中，y 是响应变量，u ，= ( 五，x ，) 7 是协变量，口( ) = ( 口，( ) ，口，( ) ) 7 是未 知的函数系数向量，吼( ) ( 尼= 1 ，p ) 是一些未知系数函数，随机误差占独立 于( u ，x ) 且满足e e = o ，v a r ( e ) = 盯2 变系数模型是现代数理统计中处理高维数 据的一个新的发展方向，广泛的应用于环境，生物，医学等领域 然而在实际中，函数系数往往很难全面、具体的反应客观，这便要求 把部分函数系数假设为常数系数，即假设h 。：( ) = 层，对部分f 是合理的 于是在接受饥情况下，f a n 和z h a n g 提出半变系数模型 y = 口了( 己，) z + 7 x + g ， 其中，y 是响应变量，u ，x = ( 一，x 。) 7 ，z = ( z i ，一，z ，) 7 是协变量，口( ) = ( q ( ) ， ，( ) ) 7 是未知的系数函数向量，口尺) ( = 1 ，2 ，p ) 是从r _ r 的未知可测函 数，= ( 届，层) 7 是未知的常系数向量，展( k = 1 ，q ) 是未知参数，随机误 差s 独立于( u ，x ，z ) 且满足e 占= 0 9v a r ( e ) = 盯2 显然，如果口尺) = o ( = 1 ，p ) ， 模型即为线性模型；若把展( k = 1 ，g ) 看作一些函数，那么模型就变为变系 数模型；如果令= 1 ，z = 1 ，则模型变为部分线性模型 我们往往会遇到这样的情形，即各变量之间存在一定的制约条件，带 有这种约束条件的模型称为约束回归模型通过残差分析表明，模型的误差 太原理 ：入学硕十研究生学位论文 方差存在千变万化的微妙关系，且约束条件也可能相应作随机变化，所以 缀设模型“等方差且不榴关殍有定韵弱限性和不合理潍，为此，在l v 想 法的基础上，对半变系数模型加入误差褶关和隧机约束条件，改进酶模型翔 y = z 十x g ( 秽) + g ，e n ( o ，) l a f t = 务+ 岛g - n ( o , e x ：) 称这模型力误差相关下半变系数混合隧机约束回归模型 其中，y 然誓，薯) r 是响应变量，搿，) = f 啦( - ) ，) ) 丁是秽维函数系数商量， 玩z = 互，乏一拦= 五，置y 楚协变量，显互= 磊) r ，置- - ( x , 矿一，r 是其分量溉察值，= ( 黩，幺) r 是常系数向量，么为己知矩阵，厶为已知绘 定向量，。与：为已知的正定矩阵，g = 心，鬈罗和g = f 耵”，乞) r 是随机误差 显露与。褶互独立， 由于“维数祸根 阍题，当u 为高维数据时，参数估计显现出极不稳 定性，模型实践应用的可行性也较差，所以通常假定为维的协变量。 全文分为三部分， 第一部分力绪论，主要概述了模型的发展掰程及半燮系数模型的研究 现状，并对模型以往的经典估计方法作简单回顾，对本文主要研究的半变 系数模型作简要介绍。 第二都分讨论半变系数模型的麓甓诗。在假设数据“独立同分布 鞠参 数向量未附加约束条件的情况下，采用局部线性方法给礤了该模型未知系 数溺数的麓估计，并讨论萁弱榴合性和渐近正态性；基于该可濑函数的德 计结果，通过运髑b a c k - f i t t i n g 技巧，给惠未知参数鹣量麓一般鹾信计， 太原理l ：人! 学硕士研究生学位论文 并讨论其渐近正态性在此过程中，本文采用的m 估计方法既能够继承单纯 的局部线性方法和最d , - 乘法的优点，又能达到很好的稳健性 第三部分讨论的误差相关下半变系数模型的随机约束估计先通过局 部线性方法给出未知可测函数的估计，再由最小二乘法估计出未知参数， 并讨论了估计的渐近正态性结论表明，这种更具一般性的模型参数估计有 很好的渐近正态性 关键词：半变系数模型，m 估计，局部线性方法，弱相合性，渐近正态性， 随机约束估计 t h er o b u s tm e s t i m a t i o no ns e m i v a r y i n g c o e f f i c i e n tm o d e l sa n dt h er a n d o mc o n s t r a i n e d e s t i m a t l 0 n t hc 0 r e l a t i o n a le r r o r a b s t r a c t h a s t i ea n dt i b s h i r a n i ( 19 9 3 ) p r o p o s e dt h ev a r y i n gc o e f f i c i e n tm o d e l ， w h i c hi sd e f i n e da s y = 口t ( u ) x + 占， w h e r eyi st h e r e s p o n s ev a r i a b l e ，u ，x = ( 一，以) r a r et h ea s s o c i a t e d c o v a f i a t e s ，口( ) = ( 口l ( ) ，口。( ) ) 7 i sa v e c t o ro fu n k n o w nc o e f f i c i e n tf u n c t i o n s ， 吼( ) ( 尼= 1 ，p ) a r e u n k n o w nc o e f f i c i e n tf u n c t i o n s ，占i si n d e p e n d e n t o f ( u ，x ) a n ds a t i s f i e dw i t he s = o ，v a r ( c ) = 仃2 t h ev a r y i n gc o e f f i c i e n tm o d e li s a n e wd e v e l o p m e n t a ld i r e c t i o ni nd e a l i n g w i t h h i g h d i m e n s i o nd a t ao f m a t h e m a t i c a ls t a t i s t i c si nm o d e mt i m e s ，a n di ti sw i d e l yu s e di nm a n yf i e l d s s u c ha sc i r c u m s t a n c e ，b i o l o g ya n dm e d i c i n ee t c h o w e v e r ，i np r a c t i c e ，f u n c t i o n a lc o e f f i c i e n t sa r er a r e l yd i f f i c u l tt or e a c to n c o m p r e h e n s i v ea n ds p e c i f i co b j e c t i v ef a c t s ，w h i c hr e q u i r ep a r t s o ff u n c t i o n a l v 太原理l ：人学硕十研究生! 学位论文 c o e f f i c i e n t sa sc o n s t a n t c o e f f i c i e n t s n a m e l y , h y p o t h e s i sh o ：口) = 屈i s r e a s o n a b l ef o rs o m e t h e n ，u n d e rt h ec o n d i t i o no fa c c e p t i n g h o ，f a na n dz h a n g p r o p o s e dt h es e m i v a r y i n gc o e f f i c i e n tm o d e l y = 口r ( 己，) z + 7 x + s ， w h e r eyi st h e r e s p o n s ev a r i a b l e ，u ，x = ( 五，t ) 7 ，z = ( z i ，z p ) 7 a r et h e a s s o c i a t e dc o v a r i a t e s ，口( ) = ( 口i ( ) ，口p ( ) ) 7 i sav e c t o ro fu n k n o w nc o e f f i c i e n t f u n c t i o n s ，晓j ( ) ( = 1 ，2 ，p ) a r eu n k n o w nm e a s u r a b l ef u n c t i o n sf r o m rt or ， = ( 届，层) 7 i sav e c t o rb yu n k n o w no r d i n a r yc o e f f i c i e n t ，展( k = 1 ，q ) a r e u n k n o w np a r a m e t e r s ，占i s i n d e p e n d e n to f ( u ，x ，z ) a n d s a t i s f i e dw i t h e s = 0 ，v a r ( s ) = 盯2 o b v i o u s l y ，i f 哆( ) = o ( j = l ，p ) ，t h em o d e lb e c o m e s al i n e a rm o d e l ；i fw e r e g a r d 展( k = l ，q ) a ss o m ef u n c t i o n s ，t h em o d e lm e a n sav a r y i n gc o e f f i c i e n t m o d e l ；i f o r d e r j = l ，z i = 1 ，t h e ni tb e c o m e sap a r t i a l l yl i n e a rm o d e l w eu s u a l l ye n c o u n t e rs u c hc a s e ，w h i c hi st h a tt h e r ea r es o m ed e f i n i t e c o n s t r a i n tc o n d i t i o n sa m o n gv a r i a b l e s ，a n dt h i sk i n do fm o d e li sc a l l e d c o n s t r a i n tr e g r e s s i o nm o d e l t h r o u g ht h er e s i d u a la n a l y s i s ，i ti n d i c a t e st h a t e r r o r sh a v es o m ed a e d a lc o n n e c t i o nw i t he a c ho t h e r , a n dc o n s t r a i n tc o n d i t i o ni s l i k e l yt oc h a n g ec o r r e s p o n d i n g l ya tr a n d o m s ot h eh y p o t h e t i c a l m o d e lo f “e q u a lv a r i a n c e sa n di r r e l e v a n c e i so fl i m i t a t i o na n di r r a t i o n a l i t y ，t h e r e f o r e ， o nt h eb a s i so fl v st h o u g h t ，t h ec o n d i t i o no fe r r o rc o r r e l a t i o na n dr a n d o m c o n s t r a i n t sa r ea d d e do nt h es e m i v a r y i n gc o e f f i c i e n tm o d e l t h en e wm o d e l t h a ti sc a l l e dt h em i x e dr a n d o mc o n s t r a i n e dr e g r e s s i o nm o d e lo fs e m i v a r y i n g v i t o e 衢c i e n tm o d e lw i t hc o r e l a t i o n a le r r o ri sa sf o l l o w s ： f y = z 声+ x a ( u ) + 占，s n ( 0 ，2 。) l 彳= b 托e u ( 0 ，吒2 ：) w h e r ey ：( y ：，匕) 7i st h er e s p o n s ev a r i a b l e ，口( ，) = ( 口。( ) ，口，( ) ) 7i s ap d i m e n s i o nf u n c t i o nv e c t o r , u ，z - - ( z i 一，乙) 7 ，x = ( x j ，以) 7 a r et h ea s s o c i a t e d c o v a r i a t e s ，a n d y , = ( 一j ，一，) 7 i sc o m p l o n e n to b s e r v e dv a l u e ，= ( 屈，成) 7 i s av e c t o ro fo r d i n a r yc o e f f i c i e n t ，ai sak n o w nm a t r i x ，bi sak n o w nv e c t o r ， a n d 2 a r ek n o w np o s i t i v em a t r i x ，占= ( 驴，乞) 7 a n d e = ( ，巳) r a r er a n d o m e r r o r sa n di n d e p e n d e n tw i t he a c ho t h e r o w i n gt o d i m e n s i o n c u r s e s ”，w h e nui sh i g hd i m e n s i o nd a t a ， p a r a m e t e re s t i m a t i o n sa p p e a rt e r r i b l ei n s t a b i l i t ya n dt h ep r a c t i c a lf e a s i b i l i t yo f m o d e l si sb a d t h u s ，w eg e n e r a l l ys u p p o s eut ob ea na s s o c i a t e dc o v a r i a t eo f o n ed i m e n s i o n i nt h ep a p e rt h e r ea r et h r e ep a r t sa sf o ll o w s ： t h ef i r s tp a r ti si n t r o d u c t i o n t h ed e v e l o p m e n ta n dr e s e a r c ha c t u a l i t yo f s e m i - v a r y i n gc o e f f i c i e n tm o d e l sa r em a i n l ys u m m a r i z e d a sw e l l ，t h ec l a s s i c a l e s t i m a t em e t h o d sa r eb r i e f l yr e v i e w e da n dt h es e m i v a r y i n gc o e f f i c i e n tm o d e l s i nt h i sp a p e ra r er e c o m m e n d e d t h es e c o n dp a r td i s c u s s e st h er o b u s tm - - e s t i m a t i o no ns e m i - v a r y i n g c o e 伍c i e n tm o d e l s t h er o b u s tm e s t i m a t eo ft h eu n k n o w nm e a s u r a b l ef u n c t i o n i sp r o p o s e db yl o c a ll i n e a rm e t h o da n dw e a kc o n g r u e n c ea n dt h ea s y m p t o t i c n o r m a l i t y a r ed i s c u s s e d ，u n d e rt h ec o n d i t i o no fh y p o t h e t i c a ld a t a w i t h v i i 太原理：人学硕十研究生学位论文 i n d e p e n d e n t i d e n t i c a ld i s t r i b u t i o na n d p a r a m e t e r v e c t o rw i t h o u ta d d e d c o n s t r a i n tc o n d i t i o n s b a s e do nt h ee s t i m a t eo ft h em e a s u r a b l ef u n c t i o n ，t h e g e n e t i cm - e s t i m a t e so ft h eu n k n o w np a r a m e t e rv e c t o ra r eg i v e nb yb a c k f i t t i n g t e c h n i q u ea n dt h ea s y m p t o t i cn o r m a l i t yi s d i s c u s s e d i nt h i sp r o c e s s ，t h e m e s t i m a t em e t h o di nt h ep a p e rn o to n l yi n h e r i t st h ee x c e l l e n c eo fl o c a ll i n e a r m e t h o da n dl sm e t h o d ，b u ta l s oo b t a i n sg o o dr o b u s t t h et h i r dp a r td i s c u s s e st h er a n d o mc o n s t r a i n e de s t i m a t i o no f s e m i v a r y i n g c o e f f i c i e n tm o d e l sw i t hc o r e l a t i o n a le r r o r f i r s t l y , t h ee s t i m a t eo ft h eu n k n o w n m e a s u r a b l ef u n c t i o ni sp r o p o s e db yl o c a ll i n e a rm e t h o d s e c o n d l y , t h ee s t i m a t e o ft h eu n k n o w np a r a m e t e ri s g i v e nb yl e a s t s q u a r et e c h n i q u e a n d t h e a s y m p t o t i cn o r m a l i t yo f t h ee s t i m a t i o ni si n v e s t i g a t e d t h ec o n c l u s i o ni n d i c a t e s t h a ts u c hp a r a m e t e re s t i m a t e so fr u n o f - m i l lm o d e l sh a v eg o o da s y m p t o t i c n o r m a l i t y k e y w o r d s ：s e m i v a r y i n gc o e f f i c i e n tm o d e l s ，m e s t i m a t e ，l o c a ll i n e a r m e t h o d ，w e a kc o n g r u e n c e ，a s y m p t o t i cn o r m a li t y ，r a n d o mc o n s t r a i n e d e s t i m a t i o n v i ii 声明户明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名：红垫超日期：、一f 。 关于学位论文使用权的说明 本人完全了解太原理工大学有关保管、使用学位论文的规定，其 中包括：学校有权保管、并向有关部门送交学位论文的原件与复印 件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；学校可以学术交流为目的， 复制赠送和交换学位论文；学校可以公布学位论文的全部或部分内 容( 保密学位论文在解密后遵守此规定) 。 签名：红兰塾日期： 导师签名：2 坐生日期： p 色，舌 炒p 二厶 太原理工大学硕士研究生学位论文 1 1模型的发展历程 第一章绪论 在现实世界中，许多量之间存在如线性、非线性等复杂的依赖关系例如两个变量x 和】，当x 变大，】，也倾向于大，但x 不能严格的决定y ( 往往这种决定不确切) ，变 量之间具有的这种关系称为“相关关系”n 1 通常，称y 为相应变量，x 为自变量概率 统计学中，概率分布的某些数字特征( 如分布的均值) 能很好的描述变量间的微妙关系， 不妨假设 y = e ( r x = 石) = f ( x ) ， ( 1 1 ) 称该函数为j ，对x 的回归函数乜1 回归分析是数理统计的重要分支之一，在实际中 得到广泛的应用自英国生物学家兼统计学家高尔顿在研究人类遗传问题中提出“回 归”一词后，回归分析便广泛的渗透到社会、自然的各学科中来，为寻找解决问题的一 种具体方法，往往要对模型进行一定的假定一般来说，统计模型只是客观情况的一个 近似，一个好的模型能够比较好的解释数据、反应事实、预测未来对这些回归模型的 分类标准也有多种 参数回归模型叭胡 咒= 厂( t ；) + 乞， ( 1 2 ) 其中，随机误差t 满足e ( ) = 0 ，v a r ( e ，) = 仃2 ，( x t ，y i ) 为观测数据，为未知参数 当( 1 2 ) 非常近似于真实模型时，参数回归具有计算量小，估计效率高，样本容量小 等特点理论上，当自变量局限于某一区域内，许多问题可以由线性模型间接的近似真 实模型，而实际中，人们通常在研究真实模型过程中，由于认识模糊、分析不透、判断 有误和实验误差等因素，致使得到的数据并不可靠甚至完全错误，因此对模型做出合理、 具体的假设往往并不容易一旦假设不成立，就会产生很大的模型偏差，甚至导致错误 结论许多统计学工作者认为实际中可能根本不存在真正的模型，这无疑让多年专注于 该模型的一些学者做了回“黄粱美梦”，但是模型是研究客观事实规律的有利工具，同 1 太原理工大学硕士研究生学位论文 时能反应出事物内在的本质联系，我们只是寻找一个好方法，即一个较好的数学模型去 尽可能的逼近真实数据，如何建立一个好的统计模型将继续成为统计学家努力追求的终 极目标 冗繁复杂的数学计算一直困扰着统计学者，但随着当今计算机技术日新月异的飞速 发展，使得这种困扰变得轻而易举高科技的优越让人们敢于对客观总体提出更高要求， 于是，统计学家假设一个更宽松更自由的非参数回归模型嗨1 只= 厂( 薯) + 毛， ( 1 3 ) 其中，厂( ) 为未知函数，且属于某一特定函数类( 如光滑函数类) ，随机误差g 满足e ( ) = 0 ，v a r ( 6 , ) = 仃2 为了估计( ) ，人们提出了很多的估计方法，如局部估计方法，b 样 条估计，正交级数方法，包含f o u r i e r 方法，小波方法，惩罚样条等，可以参考文献 7 - 1 5 理论上讲，模型( 1 3 ) 中回归变量x 可以是向量，一元参数回归的估计方法可以直 ，接推广到多元非参数回归但实际上，对于多维非参数回归，上述非参数的估计方法的 估计效果是非常差的这是因为非参数函数估计方法本质上讲都是局部估计或局部光 滑，要想使f ( x ) 在x 点得到比较充分的估计，必须使得j 的邻域包含有足够多的数据 但当x 为高维数据时，这个条件不易满足由上面的分析可以看出，常用的非参数估计 的方法估计多元的非参数回归函数时，需要大量的数据，并且估计极不稳定，人们称这 种现象为“维数祸根 n 6 1 近代统计中，我们常常面临的是高维数据，因此高维数据的 回归分析是一个非常热门的话题许多统计学工作者都在努力探索l ，与高维变量x 之间 的回归关系，其最终目的就是寻找结构简单、易于估计、容易解释的回归模型 总的来说可以把这些工作分为两大类n7 1 ：一类为降维，女n s i r 回归n 引，投影追踪回 归n 9 1 ，图回归剐等；另一类称为函数近似，如可加模型乜，低维交互模型瞳2 1 ，多指标 模型船引，部分线性模型，变系数模型拉5 。2 8 3 7 1 等，其中变系数模型获得了广泛的应用 变系数模型的一般形式为： 】，= x l f l , ( t 1 ) + + 工p 口( f 口) + s ( 1 4 ) 其中，x = ( x i ，一，x ，) r 和r = “，f ，) 7 为协变量，y 为响应变量，随机误差占满足 e e = o ，e ( e 2 ) = 仃2 ，局( ) ，= l ，p 为未知的函数，7 l 一，。通过诸未知的函数f i t ( t ，) 来改 变z 1 ，一，x 。的系数，f i t ( t ，) 暗含了t ，与一的一种特殊的交互关系，可能互不相同，也 2 太原理工大学硕士研究生学位论文 可能相同，也可能是某个z 因此，尽管变系数模型看起来是一个比较具体的模型，实 际上是一个非常一般的模型，许多模型都可以看作是变系数模型( 1 4 ) 的特殊情况，如： 当x ，三1 ，第，项为f i t ( t ，) ，模型( 1 4 ) 所对应的模型为可加模型乜9 。；当f l ，( t ) ，z = 1 ，一，p 一1 为常数，x p 三1 ，f l p ( t ，) = 厂( ，) ，则模型( 1 4 ) 为部分线性可加模型1 ；经常f ，是一个相 同的变量，如果时间为f ，协变量x l ，一，x p 的效应随着f 的变化而变化，模型为 y = p o ( f ) + x l ( t ) f l l ( ，) + + x ，o ) 岛( ，) + 占 w e s t 等口门称相应的模型为“动态的广义线性模型”，c l e v e l a n d 等口钔也详细的研究该模 型；模型( 1 4 ) 的特殊形式： y = 筇+ 占， ( 1 5 ) s t o n e 3 羽，0 h a g a n m l 和c l e v e l a n d m l 详细讨论了这个模型 原则上，变系数模型中协变量f ，都可以是向量，但由前面的分析知道，当协变量为 向量时，非参数回归的估计是十分困难的一般地，实际中回归向量f ，都是标量，w u 等 。朝假定协变量f ，都相同，提出了如下的模型： 】，( f ) = x ( f ) 7f l ( t ) + s ( ，) ， 并讨论了当观察数据为纵向数据时，历( ) 的核估计及其渐近性质同样是将上述模型应 用到纵向数据，f a n 和z h a n g 提出使用两步估计方法估计函数系数届( ) c h i a n g ，r i c e 和w u 使用光滑样条方法估计了屏( ) c a if a n 和y a o 2 7 1 讨论了模型 p e ( yt = r ，x = x ) = 矽( f ) 工厂 j 1 1 这里 局( ) ，1 ；，p ) 是由rne 的可测函数，x = ( 五，x p ) 丁他们用局部线性方法估计 了 岛( ) ，1 ，p ) 当样本是口一混合相依时，给出了这些估计的一致性和渐近正态性而 在样本是独立的情况下，f a n 和z h a n g 使用局部多项式估计方法和两步方法估计了 色( ) ，1 ，办，并给出了估计的大样本渐近正态性质当回归函数 ( ) ，1 ，p ) 有f 阶连 3 太原理工大学硕士研究生学位论文 续导数时，这个估计的收敛速度达到o ( n 一，( 2 + 1 ) ，其中以是样本容量 x i a 和l i m l 讨论了单指标函数系数回归模型 】，= p 0 ( g ( p ，z ) ) + 届( g ( o ，z ) ) x l 十+ 。( g ( p ，z ) ) x p + 占 其中g ( o ，z ) 是含有参数的r “9 专r 的已知函数，0 r k , z r ，他们用核估计方法估 计了 ( ) ，1 ，p ) ，并且给出这些估计的一致性和渐近正态性x i a 和l i 用局部多项式 估计方法估计了该模型的系数函数 ，( ) ，1 ，p ) ，并且给出这些估计的一致性和渐近正 态性 半变系数模型既包含了参数信息，又包含了非参数信息，处理了参数和非参数之间 的许多模型它一方面解决了单纯线性回归模型与非线性回归模型难以解决的问题，增 强了模型的适应性；另一方面克服了非参数方法信息损失过多的问题同时，它是一套 解决实际问题的工具，使得原先在参数情况下使用的工具无法解决的问题，找到了新方 法而且丰富了统计模型半变系数模型无论在实际应用中还是理论研究上，它都受到了 许多统计学者的关注f a n 和z h a n g d 力提出的半变系数模型为： y = 口r ( u ) x + r z + 占 ( 1 6 ) 其中，】厂是响应变量，口( ) = ( ( ) ，口口( ”7 是p 维未知函数系数向量，= ( 届，p q ) r 是g 维未知常系数向量；x = ( x l ，一，x l 口) r ，z = ( z l ，一，z g ) 丁，( u ，x r ，z r ) 为协变量，s 为 随机误差且满足e ( eu ，彳，z 丁) = 0 ，v a r ( 6iu ，x r ，z r ) = 盯2 ( u ，x tz7 ) 为避免“维数祸 根 问题，假定u 是一元的在完全数据下，z h a n g 啪1 ，l i 汹1 ，z h o u 和y o u h0 ，f a n 和 h u a n g 1 ，y o u 和z h o u m l ，y o u 和c h e n m l 对该模型进行了讨论 1 2 半变系数模型的研究现状 半变系数模型 qp j ，= 展五十哆( u ) 乙+ 占， ( 1 7 ) k = l j = i 其中，】，是响应变量；u r ，x r 9 和z r ，是协变量：屏( k = 1 ，g ) 是未知参数向 4 太原理工大学硕士研究生学位论文 量；口( ) ( ，= 1 ，2 ，p ) 是从r r 的未知可测函数；z ，u 独立于x ；随机误差占独立 于( u ，石，z ) ，且满足e 占= 0 ，v a r ( e ) = 盯2 l ie ta 1 汹3 、l ve ta lh 们等对该模型进行了 研究o ，z h a n ge ta 1 通过局部多项式方法和平均方法给出了常系数的估计，通过局部多 项式方法和b a c k - t t i n g 技巧给出了函数系数的两步估计，并证明了参数部分和非参数 部分都具有最优的收敛速度：l ie t a l 提出采用核加权函数的局部最小二乘方法，并应用 该模型估计中国非金属矿物工业的产量：z h o u 和y o u 采用最小二乘和小波方法估计其 参数和非参数部分：f a n 和h u a n g 提出半变系数模型的p l s 估计，证明了参数部分p l s 估 计具有渐近正态性，并将此方法应用于波士顿房屋数据集：在f a n 和h u a n g 想法的基础 上，l ve ta l 证明了半变系数模型非参数部分p l s 估计的渐近正态性 1 3经典估计方法回顾 本节我们回顾三个经典的估计方法：局部多项式估计、m 估计和最小二乘估计，也 是本文所涉及的估计方法 ( 1 ) 局部多项式估计 假设模型为 y = 厂( x ) + a ( x ) s 其中e ( s ) = o ，e ( s 2 ) = 1 为了克服多项式拟合的缺点，采用局部的方法估计( ) ， 作为 局部多项式估计的特殊情况，局部线性估计是人们常用的方法，在这里首先介绍一下局 部线性估计方法 假设f ( x ) 在x 。附近有二阶导数，则在x 。的某一邻域有 厂( x ) f ( x o ) + 厂7 ( x o ) ( x x o ) 极小化 m i n y , 一屁一届( x ，一z 。) ) 2 心( x ，一) ， 其中k 。( ) = 向一k ( 乃) ；k ( ) 是核函数，且有紧支撑，h 称为窗宽，它控制局部邻域的大小， 5 太原理工大学硕士研究生学位论文 它的大小对估计的影响很敏感，关于它的选择将在下面介绍记上式的解为反，厦，则定 义f ( x 。) 及其导数厂( ) 的估计分别为 f ( x o ) = 岛，f ( ) = 届， 可知 其中， f ( x 。) = 气_ _ 一 彬r 彬 形= 瓦( 五一) 最。2 一( 墨一x o ) s , 。 ， 最，= ( 置一) ( 五一x o ) 7 i = 1 夕( ) 称为( ) 的局部线性估计，定义夕( x 。) 的条件偏差为研夕( ) lx 】一f ( x 。) ，条件方 差为v a r 夕c ( x 。) iz 将局部线性估计方法推广，可得如下的局部多项式估计方法 假设( x ) 在l 。的附近存在p + 1 阶导数，则在工。的一个邻域内有 极小化 m m m ”+ + 学” 。m 乃，i 名n 。喜 r 一萎p 忍c z ，一x 。， 2 k 。c x ，一x 。x 其中k 。( ) = h - i k ( h ) ，k ( ) 是核函数，办称为窗宽记上式的解为房，( _ ，= 0 , 1 ，p ) 定义夕，( x 。) 的估计为夕，( ) = ! 房，( = o ，l ，1 一，p ) 记 则有 j = ( ( x ，一x o ) 。) ，g 如，。纠卸，y = ( z ) 乌，夕= ( 屋) 二，= ( 屈) 厶， w = m a g k ( x l x o ) ，k ( 以一x o ) ) ， 十 m b = i x | w x ) 叫x jw y 6 太原理工大学硕士研究生学位论文 使用局部多项式估计方法必将涉及如下几个问题： 1 ) 窗宽h 的选择局部多项式估计对窗宽的敏感性很强窗宽太大，会引起大的估 计偏差；窗宽太小，会引起大的估计方差，所以取一个合适的窗宽是相当重要的在某 些准则下，合理的窗宽值是容易得到的这里给出两种窗宽：全局最优窗宽和局部最优 窗宽当在整个估计区域上( ) 的光滑程度差不多时，我们用全局最优窗宽；而当厂( ) 的 光滑程度相差甚远时，使用局部最优窗宽在不同的区域用不同的窗宽，通过极小化 a m 工s e ( a s y m p t o t i cm e a ni n t e g r a t e ds q u a r e de r r o r ) ，可得全局最优窗宽通过极小化 在x o 处的a m s e ( a s y m p t o t i cm e a ns q u a r e de r r o r ) ，可得局部最优窗宽但是这些最优窗 宽值包含未知参数，不能够直接应用到实践中在实践中通常的一些窗宽选取办法有 r o t ( r u l e o f t h u m b ) 方法，p i ( p l u g i n ) 方法，r s p s ( r e s i d u a ls q u a r e sa n d p r e a s y m p t o t i cs u b s t i t u t i o nm e t h o d ) 方法，n n b ( n e a r e s tn e i g h b o rm e t h o d ) 方法等等 ( 参见文献 4 4 的9 3 节) 2 ) 拟合多项式阶数p 的选取由于估计偏差和方差主要由窗宽来控制，那么拟合多 项式阶数p 的选取就没有窗宽的选取重要对固定的窗宽，大的p 将减少偏差，但是将 导致方差的增加小的p 将增加偏差，因此应该选取一个适当的p 值，一般建议p = j + l 或p = j + 3 关于这方面更加详细的讨论参考文献呻1 3 ) 核函数k ( ) 的选取尽管取什么样的k ( ) 对估计的影响比较小，但人们通常在极 小化m s e 的准则下，取最优核函数为e p a n e c h n i k o v 核函数 k ( r ) = 寻( 1 一r 2 ) + 关于这方面更详细的讨论参见文献 8 一般地局部多项式方法具有以下优点： 1 ) 局部多项式估计有相对小的偏差和方差 2 ) 局部多项式方法适用于各种设计它适用于随机设计( r a n d o md e s i g n s ) 、固定设 计( f i x e dd e s i g n s ) 、均匀设计( u n i f o r md e s i g n s ) 、分组设计( c l u s t e r e dd e s i g n s ) 等 等 3 ) 局部多项式估计没有边界效应关于这方面更加详细的讨论参考文献 4 7 4 ) 局部多项式估计有很好的极小极大效率( m i n i m a xe f f i c i e n c y ) 关于这方面更加 7 太原理工大学硕士研究生学位论文 详细的讨论参见文献【8 ( 2 ) m 估计m 1 在参数模型确定无误时，已经提出了许多好的参数估计方法，如极大似然方法、局 部线性方法等然而在实际中，这种对参数模型的假定有时不能做到准确无误，譬如， 当实际模型与假定的参数模型有偏离时，建立在假定模型基础上的参数估计方法是否依 然可行呢? h u b e r 指出，在理论上解决一个统计问题时，传统的方法是在一个理想化模 型基础上进行最优化，并依赖连续性原理：如果一个方法在该模型下时最优的，则它在 模型附近时几乎最优的，遗憾的是，一些经典的最优方法并不都具备这样一种连续性， 具备这种连续性的方法称为稳健的稳健统计中一类常用的估计是m 估计，它是对极大 似然估计加以引申而得出的 不妨设五，以是来自总体的一个样本，p ( x ；o ) 为一选定的非负函数，若估计 否= 否( x ) 满足 喜p ( 墨；莎) = 呀n 喜p ( 五；口) ， 则称占为0 的一个m 估计： 若p ( x ；o ) 关于乡可微，记 伊( x ；乡) = 百o p ( x ；o ) ， 如果爹满足 妒( z ；p ) = o ， 则也称莎为0 的一个m 估计 稳健性考虑的是，当实际模型中的分布与假定模型中的分布有少许差异时，统计方 法的性能会受到怎样的影响，分布之间的差异可以用适当的距离去刻画，距离大则差异 大，距离小则差异小 ( 3 ) 最小二乘估计m 1 估计回归参数的最基本方法是最小二乘法，这个方法不仅在统计学中，就在数学的 8 太原理工大学硕士研究生学位论文 其他分支如运筹学、计算数学、和逼近论中都是很重要的求解方法 假设线性模型，的随机误差满足e ( 占) = 0 ，c o v ( e ) = 盯2 l ， 记 ， q ( p ) = i l y x 郇- - ( y x p ) 7 ( y x a ) ， 将此展开得 q ( p ) = y 7 y - 2 y7 x p + p 7 x7 x p ， 对卢求偏导，并令其为零可得方程组：