（应用数学专业论文）随机缺失条件下变系数部分线性模型的估计.pdf

太原理工大学硕士研究生学位论文 随机缺失条件下变系数部分线性模型的估计 摘要 本文考虑的是当响应变量为随机缺失条件下的变系数部分线性模型 控制系统中，在研究包含一个输入变量和一个输出变量的系统时，为了探讨 输入变量对输出变量的影响，以及不同时刻输出变量间的相互作用，进而预 报将来时刻的输出变量，张日权n 1 提出了变系数部分线性回归模型它可以 看成是部分线性回归模型的推广，也可以看成是带有不同光滑变量的变系 数回归模型它由两部分组成：一部分用于说明输入变量对输出变量的影响， 称之为常数项函数：另一部分用于说明不同时刻输出变量之间的相互作用， 称之为变系数部分，相应的系数称为系数函数实际中人们所要研究的数据 矩阵中总有某些位置上没有观测值的情形，比如调查中单元或项目的不响 应本文探讨了响应变量为随机缺失的情况下变系数部分线性回归模型的 估计问题所讨论的变系数部分线性回归模型定义如下 z = a 。似j ) + a ，( u l 场+ 印i - - 1 ，露 = l 配，6 。，x ，u ，z 。) ) ：。是一组来自上述模型非完整数据的随机样本，其中，当z 可 观测时4 - - 1 ；当z 不可观测时，6 ，= o ，互= 亿1 ，一z 驷) r ，缸，( 龌。是一些灭上的可 测函数，a 。( ) 称为常数项函数，缸，( ) 垃，称为变系数函数( 系数函数) ，诂， ：。是 随机误差，且独立同分布，e g ，) = 0 ，v a r ( e ，) = 仃2 本文中假设因变量y 是随机缺失的，这表明，对于给定的( x ，u ，z l6 和】， 是条件独立的，即选择概率 p g = 1y ，x ，u ，z ) = p p = 1 i 彳，u ，z l - 丌似，u ，z ) 0 本文讨论了如下三个问题： 太原理工大学硕士研究生学位论文 1 )基于完整数据下的估计主要使用了局部线性方法和平均技巧 给出常数项函数和变系数函数两部分的估计，证明了各个估计 量的渐近偏差和方差 2 )加权局部线性估计采用选择概率的倒数作为加权同样使用局 部线性方法和平均技巧给出常数项函数和变系数函数两部分的 估计，进而证明各个估计量的渐近偏差和方差 3 )回归借补估计方法分两步：首先基于完整数据，来补足缺失值 接着令霉为下式来补充完整数据，以达到充分使用信息的目的 ，口、 彳= 瞑z + 0 一龟 i 瓯( z ) + 艺吒场l ，f = 1 ，以 户l 再使用与第一步相同的技巧，得到所要的a 。( ) 和口，( ) 的精估计 同样证明了两部分估计量的渐近偏差和方差 关键词：变系数部分线性回归模型，随机缺失，局部线性方法，平均方 法 n 太原理工大学硕士研究生学位论文 e s t i 蚤脚1 0 nr nf u n c t i o n a l c o e f f i c i e n t p a r tl c 址l yl d 姬a rr e g r e ss 1 0 nm o d e l t hd a t a 加s s 玳ga tr a n d o m a bs t r a c t af u n c t i o n a l - c o e f f i c i e n tp a r t i a l l yl i n e a rr e g r e s s i o nm o d e li sc o n s i d e r e d w h e nt h er e s p o n s e sa r em i s s i n ga tr a n d o m ( m a r ) f o re x p l o r i n gt h ei n f l u e n c eo f t h ei n p u to nt h eo u t p u to fa s y s t e ma n de x p l o i t i n gt h ei n t e r n a li n t e r a c t i o no f t h e o u t p u t sm e a s u r e da td i f f e r e n tt i m e ，f u r t h e r m o r ef o r e c a s t i n gt h eo u t p u to ft h e s y s t e m ，t h ef u n c t i o n a l c o e f f i c i e n tp a r t i a l l yl i n e a rr e g r e s s i o nm o d e li sp r o p o s e d b yz h a n gr i q u a n i tc a nb es e e na s af u n c t i o n a l c o e f f i c i e n tr e g r e s s i o nm o d e l w i t hd i f f e r e n ts m o o t h i n gv a r i a b l e s i ti sa l s oag e n e r a l i z a t i o nm o d e lo ft h e p a r t i a l l yl i n e a rr e g r e s s i o nm o d e lb yr e p l a c i n gt h ep a r a m e t e r si nt h ep a r t i a l l y l i n e a rr e g r e s s i o nm o d e lw i t hs o m ef u n c t i o n so ft h ec o v a r i a t e s 。i ti n c l u d e st w o p a r t s ：t h ec o n s t a n tp a r tf u n c t i o n ，w h i c hs h o w st h ei n f l u e n c eo f t h ei n p u to nt h e o u t p u t ，a n dt h ev a r y i n gc o e f f i c i e n tp a r t ，t h ec o e f f i c i e n tf u n c t i o n so fw h i c hs h o w t h ei n t e r n a li n t e r a c t i o no ft h eo u t p u t sm e a s u r e da td i f f e r e n tt i m e i nr e a l i t y , s o m e p a r t s o ft h e e x p l o r e d m a t r i xi so f t e nn o t r e s p o n s i v e c o n s i d e r t h e f u n c t i o n a l c o e f f i c i e n tp a r t i a l l yl i n e a rr e g r e s s i o nm o d e li nt h i sp a p e r i = a 0 似，) + a ，妙。场+ ，江1 ，以 = l 配，6 。，x ，u 。，z ，) ) ：l i sar a n d o ms a m p l eo fi n c o m p l e t ed a t af r o mt h em o d e l ， w h e r ef o re a c h i ，6 ，= 1i f t h e r i so b s e r v e da n d 6 。= 0o t h e r w i s e ，a n d z i = ( z f l z 妒y w i t l lt d e n o t i n gt h et r a n s p o s eo fam a t r i xo rav e c t o r ；& ( - 溉。 n l 太原理工大学硕士研究生学位论文 a r ec a l l e dt h ec o e f f i c i e n tf u n c t i o n s ；砖，) ：la r ee r r o r sw i t hi n d e p e n d e n ti d e n t i c a l d i s t r i b u t i o n sa n de g l ) = o ，v a r ( e 1 ) = 仃2 t h r o u g h o u tt h i sp a p e r , w ea s s u m et h a t yi sm i s s i n ga tr a n d o m ( m a r ) t h em a ra s s u m p t i o ni m p l i e st h a t6a n dya r ec o n d i t i o n a l l yi n d e p e n d e n t g i v e nx ，u ，z ，t h a ti s ， p p = l 阿，x ，u ，z ) = p p = 1 i x ，u ，z ) - - r r ( x ，u ，z ) o f u r t h e r m o r e ，i nt h ec o n t e x to ft h er e s p o n s ev a r i a b l em i s s i n ga tr a n d o m ，t h e f o l l o w i n g t h r e ep r o b l e m sa r ed i s c u s s e d 1 ) t h el o c a l e s t i m a t i o nw i t ht h e c o m p l e t e c a s ed a t a t h e l o c a ll i n e a r m e t h o da n da v e r a g e dt e c h n i q u ea r ee m p l o y e dt og i v et h ee s t i m a t o r so fa l l f u n c t i o n s t h ea s y m p t o t i c a ln o r m a l i t i e so fa l le s t i m a t o r sa r eg i v e n 2 ) t h el o c a l l yw e i g h e dl i n e a re s t i m a t i o n t h el o c a ll i n e a rm e t h o da n d a v e r a g e dt e c h n i q u e a r ea ls oe m p l o y e dt o g i v e t h ee s t i m a t o r so fa l l f u n c t i o n s t h ea s y m p t o t i c a ln o r m a l i t i e so fa l le s t i m a t o r sa r eg i v e n 3 ) t h el o c a lr e g r e s s i o ne s t i m a t i o nw i t ht h ei m p u t e dv a l e s t h ei m p u t a t i o n m e t h o dc o n s i s t so ft w os t e p s t h ef i r s ts t e pi n v o l v e si m p u t i n gm i s s i n g r e s p o n s ev a l u e s i nt h es e c o n ds t e p ，w es u b s t i t u t eeb y 霉+ = t r + ( 1 4 ) ( 瓯) + 喜t 似眩) ，r - 1 儿 t h e n ，t h es a m ee s t i m a t i o nt e c h n i q u e sb a s e do ni m p u t e dv a l u e sa r ea p p l i e d t oo b t a i nt h ee f f i c i e n te s t i m a t o r so fa l lf u n c t i o n s t h e a s y m p t o t i c a l n o r m a l i t i e so fa l le s t i m a t o r sa r eg i v e n k e yw o r d s ：f u n c t i o n a l - c o e f f i c i e n t p a r t i a l l yl i n e a rm o d e l ，m i s s i n ga t r a n d o m ，l o c a ll i n e a rm e t h o d ，a v e r a g e dt e c h n i q u e i v 声明户明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文 不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究 做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的 法律责任由本人承担。 论文作者签名： 奎聋鸱 日期：型： 关于学位论文使用权的说明 本人完全了解太原理工大学有关保管、使用学位论文的规定，其 中包括：学校有权保管、并向有关部门送交学位论文的原件与复印 件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文； 学校可允许学位论文被查阅或借阅；学校可以学术交流为：目的， 复制赠送和交换学位论文；学校可以公布学位论文的全部或部分内 容( 保密学位论文在解密后遵守此规定) 。 签 名：奎笠遁日期： 导师签名：塑堡日期： 瑚富乇。 太原理工大学硕士研究生学位论文 第一章绪论 1 1 从参数回归模型到变系数部分线性模型 一般的参数回归模型圆定义如下：对于七个自变量五，x k 和因变量】，( 自然，因变量 可以不止一个) ，假定j ，与而， 之间存在着如下的联系： e ( 卅五，坼) = b 。，& ；卢。，卢p ) ， 其中函数厂的形状己知，称之为回归函数参数a ，卢，未知举例来说，实际中人们常常 需要研究两个随机变量y 与x 之间的关系当回归方程e k ) = f ( x ；3 ) 的函数形式己 知，卢为未知的参数时，即模型为 y ；= 厂g ；卢) + s ， 其中随机误差s ，满足，= o ，v a r ( ，) = 仃2 由数据k ，y ，疑。估计未知参数p 及其推断，称 为参数回归【3 川当y = 厂g ；j 8 ) + 为真正的或者非常接近真正的模型时，参数回归具有计 算量小，估计效率高，需要的样本容量小等优点但实际应用中，回归函数的形式常常是未 知的，而且参数模型对回归结构假设比较严格，当假设不成立时就会产生很大的模型偏差， 甚至导致错误的结论如何建立较好的统计模型一直是统计学家努力追求的目标之一 近年来计算技术和计算能力的飞速发展，为统计学者研究海量的数据结构和要求更 高的精度标准提供了便利条件为了更好地描述客观总体，并减少传统参数方法的模型偏 差，上世纪八十年代统计学家提出了非参数回归模型【5 7 】所谓非参数回归是不对未知的 函数形式做任何具体的假定，只是假定厂g ) 具有某种属性，如为光滑函数等非参数方法 是一个非常大且不断变化的领域它的不断扩展归因于对非线性方法的需求和现代计算 能力的发展关于非参数回归函数的估计，学者们提出了许多方法【8 】，如核方法，局部多项式 方法，样条方法，f o u r i e r 方法以及小波方法等当回归变量x 为一维变量时，非参数的回归 函数厂g ) 常常可由上述的方法得到很好的估计从理论上讲，一元非参数回归函数的估计 太原理工大学硕士研究生学位论文 方法可以直接推广到多元非参数回归但是，多元非参数回归函数的估计有两个弱点其一 就是它要求大量的数据，这点在应用中很难满足其二是由于维数的增加，g ) 的估计值 收敛到厂g ) 的速度缓慢，估计极不稳定文献中称这一现象为“维数祸根( c u r s eo f d i m e n s i o n a l i t y ) ”具体来说，非参数估计方法本质上讲都是局部估计或局部光滑，要想使 g ) 在x 点得到比较充分的估计，必须使得x 点的邻域内包含足够多的数据但当x 为多 维数据时，此条件不易满足另一方面，从样条回归来看，多元回归函数的样条函数基的维 数为相应的一元回归函数基向量的张量乘积( t e n s o rp r o d u c t ) 其基向量的维数随着回归变 量的维数的增加而迅速增加因此，除非数据量非常的大，否则用局部估计的方法很难捕捉 到高维回归函数的特征 在现代统计中，我们常常面临的是高维数据，因此高维数据的回归分析是一个非常热 门的话题许多统计学者都在努力探索y 与高维变量x 之间的回归关系，其最终目标就是 寻找结构简单，易于估计，容易解释的回归模型总的来说可以把这些工作分为两大类9 】： 一类为降维( d i m e n s i o nr e d u c t i o n ) ，如s i r 回i 归( s l i c e di n v e r s er e g r e s s i o n ) 1 0 1 ，图回归 ( g r a p h i c a lr e g r e s s i o n ) 1 1 1 ，m a v e 方法( m i r 血l u ma v e r a g ev a r i a n c ee s t i m a t i o n ) 【1 2 】等；另一类 称为函数近似( 缸1 c t i o na p p r o x i m a t i o n ) ，如可加模型( a d d i t i v em o d e l s ) 1 3 1 ，低维交互模型 ( 1 0 w - d i m e n s i o n a li n t e r a c t i o nm o d e l s ) 1 1 4 1 ，多指标模型( m u i t i p l e i n d e xm o d e l s ) t 1 卯，部分线性 模型( p a r t i a l l yl i n e a rm o d e l s ) 16 1 ，变系数模型( v a 巧i n gc o e f f i c i e n tm o d e l s ) 1 7 2 刀等其中变系 数模型获得了广泛的应用，是近年来高维数据回归的一个新的发展方向 变系数模型由h a i s t i e 和t i b s h i r a n i ( 19 9 3 ) 提出 y = a 。似) + a ，似膨+ s ， j = l 其中常数项函数( ) 和系数函数a ，( ) ( ，= l ，p ) 是一些未知系数函数：y 是回归变 量：x 是g 维协变量( 通常取g = l ，是为了避免维数祸根”) ：z = ( z l ，z p 户是p 维协变 量：占是期望为0 的随机误差 变系数模型涵盖了许多常见的模型，如线性回归模型，非参数回归，可加模型，非参数 太原理工大学硕士研究生学位论文 回归，部分线性模型等它在此生物统计，医药统计，环境科学等众多领域都得到了广泛的 应用关于这一模型的文献很多，例如，在样本是独立的情况下，f a n 和z h a n g t l 明使用局部多 项式估计方法和两步方法估计了a ，( ) ( ，= 1 ，p ) 并给出了估计的大样本渐近性质当回 归函数a ，( ) ( ，：l ，p ) 有z 阶连续导数时，该估计的收敛速度达到d g 晶) ，”为样本容量 在样本a 混合相依的条件下，c a i ，f a n , y a o l 2 川也用局部线性方法给出了系数函数估计的 一致性和渐近正态性f a n 和z h a n g 2 1 】把变系数模型应用到l o n g i t u d i n a l 数据的分析，并给 出了函数系数的一种两步估计c h i a n g ，r i c e 和w h 阻1 使用样条方法估计了函数系数有关 变系数模型更多的讨论可参见c a j ，f a i l 和y a o 2 3 1 ，h u a n g ，w u 和z h o u 2 4 1 ，h o o v e r , r i c e ，w u 和y a n 9 1 2 5 1 ，w u ，c h i a n g h eh o o v e r t 2 6 z h a n g 和“【2 7 1 模型中要求常数项函数a 。( ) 以及所有z f 的系数函数a ，( ) ( ，= 1 , - - - , p ) 是同一个自变 量x 的函数而在现实世界中，它们可能具有不同的自变量张日权1 8 1 ( 2 0 0 2 ) 提出了变系 数部分线性模型，即 y = a 。伍) + e g g ，妙场+ s ， = 1 其中】，r 是响应变量，xer ，ue r ，z = ( z l ，乙) re r ，是协变量；常数项函数 a 。伍) 和系数函数a ，( ) ( ，= l ，p ) 都是从r 到r 的未知可测函数， 变系数部分线性模型也是一个比较广泛的模型 当a ，( ) = o o = 1 ，p ) 时，它就变成了一般的非参数模型 y = a o ) + s ， 当口，( ) = a ，u = 1 ，p ) 时，其中口u = 1 ，p ) 是常数，它就变成了部分线性模型 】，= a o 伍) + a lz l + + a 户z j + ， 当a 。( ) = 0 时，它就变成g = 1 时的h a i s t i e 和t i b s h i r a n i 提出的变系数模型 p 】，= a ， k + s j = l 张日权和卢一强【1 】使用局部线性估计方法估计了该模型的常数项部分，用两阶段估 太原理工大学硕士研究生学位论文 计方法给出了变系数函数的估计，并在数据是独立同分布与a 一混合相依的情况下，分别 给出了常数项函数估计的弱相合性、一致强相合性、渐近正态性，以及变系数函数估计的 弱相合性、渐近正态性张日权【2 8 1 又使用局部线性方法和平均方法同时给出了常数项和 变系数两部分的初估计，并使用b a c f i t t i n g 技巧又给出了常数项函数和变系数函数两部分 的精估计有关变系数部分线性模型更多的讨论可参见h e u n gw o n g , w a i - e h e u n gi p ， r i q u a nz h a n g 和g u o y i n gl i 【2 9 1 ，张日权，卢一强【3 0 】 1 2 缺失数据机制研究及其处理方法 在统计调查和研究中，传统上常用数据矩阵的行来表示个体，用列来表示对每一个 体观测的变量实际中，由于突发情况或者调查实验自身的设计缺陷，经常会导致响应变量 的缺失例如，在一项民意调查中，某人可能搞不清楚某候选人是否优于另一候选人而拒绝 回答；药物试验中病人的突然退出；某些数据因设计成本太高而未完成事实上，在很多种 情况下，响应变量的缺失现象是普遍存在的，特别是在民意测验，市场研究调查，社会经济 研究调查，医疗研究和其他的科学实验中，等等 在讨论缺失数据时的一个基本话题就是导致缺失数据的机制( 原理) ，特别是变量缺 失与该数据集中变量的真实值是否有关缺失数据机制是重要的，因为缺失数据方法的性 质强烈依赖于这些机制中相依关系的特征r u b i n t 3 1 1 ( 1 9 7 6 ) 构造了缺失数据的明确概念： 定义完全数据】，= , y u ) 为0 k ) 矩形数据集，第f 行y ，= n ，y ) 对应个体f ，y o 是变量 的值当存在缺失数据时，定义一个缺失数据指示矩阵m = k ) ，如果缺失则= l ， 反之，册。，= 0 矩阵m 确定了缺失数据的模式缺失数据机制由给定】，时m 的条件分布刻 划，记为f y ，妒) ，其中是未知参数如果缺失不依赖数据y 的值( 无论缺失的或观测的) ， 即若 ：( m i r ，砂) = 厂似i ) 对一切】，驴， 则数据称为完全随机缺失( m c a r ) 令记为】，的已观测部分，l 巧记为缺失部分若 厂i 】，) = f l ，咖) 对一切匕虹，驴， 则此缺失机制称为随机缺失( m a r ) 如果m 的分布依赖数据矩阵y 的缺失值，这样的机制 称为非随机缺失( n m a r ) 4 太原理工大学硕士研究生学位论文 文献中许多处理缺失数据的方法都是假定m a r 这是因为虽然m a r 假定不是太实 际，但总比m c a r 假定较好地近似于现实另外在一些经验处置中，发现在m a r 假定下产 生的缺失值的预测比基于更自然的n m a r 机制下的方法产生的更精确( r u b i n ，s t e m ， v e h o v a r t 3 2 1 19 9 6 ) 学者们提出了许多关于缺失数据回归分析的方法有关的著作及文献可参阅l i t t l e ， r u b i n t 3 3 1 ，g e l m a n ，c a r l i n ，s t e r m ，r u b i n 3 4 1 c h e n g 3 5 1 ，w a n g ，r a 0 0 6 1 关于缺失数据处理的 方法，大致可以分为下面几类【3 3 1 ，这几类不是相互排斥的。第一类就是基于完全记录数据 的方法即丢弃未完全记录的数据，仅分析有完全记录的数据通常这很容易实现，在少量 缺失数据时也是可行的然而这样的缺点是抛弃了不完全的个体，信息有潜在损失，这会导 致精度损失甚至严重的偏差，从而常常不是很有效特别在作子总体推断时更是如此第二 类是加权方法对不响应的抽样调查数据的随机化推断，通常用它们的设计权加权抽取的 数据设计权为反比于它们的选择概率，即选择概率的倒数选择概率的倒数加权方法也 被许多学者关注，可参见z h a o ，l i p s i t z 和l e w t 3 7 1 ，w a n ge ta l f 3 引，r o b i n s ，r o t n i t z l c y 和z h a o 【3 9 】， 以及w a n g ，l i n d o n ，h a r d l e 等第三类是基于借补的方法缺失值被填充，对产生的完全数 据用标准的方法进行分析常用的借补方法包括：热平台借补，其中将样本中己记录的数 据作为替代值；均值借补，将已有记录值的集合的均值作为替代值；回归借补，数据的缺失 值用该数据的已知变量部分回归得到的预测替代常用的回归借补方法包括线性回归借 补【4 1 1 ，非参核回归借补【3 5 州，半参回归借补方法【4 0 1 ，等等第四类是基于模型的方法一般对 观测数据定义一个模型，然后在模型下基于似然或适当的分布作推断这类文献可参见 c h e n ，f a n ，l i ，z h o u l 4 2 1 ，t a m h a n e 4 3 1 ，m a t l o f t f 4 4 1 ，c h e n g l 3 5 1 ，等等 人们对缺失数据的研究热情方兴未艾近几年来，在数据随机缺失的研究方面，国内的 学者如王启华，薛留根等做了大量的工作如：王启华，o l i v e rl i n t o n ，w o l f g a n gh a r d l e 【4 5 】研 究了当响应变量随机缺失时部分线性模型的估计，用核方法回归借补和边缘概率逆加权 方法相应给出了协变量和非参函数的估计，并用经验似然推断方法给出了响应变量均值 函数的估计；王启华【4 6 1 研究了当响应变量为随机缺失时基于选择概率逆加权的m 一估计； 太原理工大学硕士研究生学位论文 王启华，孙志华【4 7 】研究了当死亡数据随机缺失时生存函数的半参估计；李志强，薛留根【4 8 】 在协变量随机缺失条件下，研究了广义半参数模型的加权拟似然估计方法，给出了未知参 数与非参数回归函数的估计，并证明了所给出的加权拟似然估计的渐近正态性国外统计 学巨匠范剑青【4 2 1 研究了在响应变量为随机缺失条件下广义线性模型的局部拟似然估计， 分别用局部拟似然方法，局部拟似然加权方法，局部拟似然借补方法给出了响应变量的估 计，进一步给出了随机缺失条件下的响应变量的均值函数的估计 1 3 本文所作的工作 本文主要研究的是响应变量随机缺失条件下的变系数部分线性模型文章中初步探 讨了常数项和变系数两部分的估计使用了如下三种估计方法：基于完整数据的局部线性 方法，局部加权线性方法以及基于回归借补方法主要使用了局部线性方法和平均技巧 给出各个估计量的估计，进而证明了各个估计量的渐近偏差和方差并说明第三种方法 要优于前两者，且具有更好的真实性 借补处理缺失数据时一个自然的想法就是加权已知数据值来做为缺失时的补给观 察值本文中假定因变量z 是随机缺失的在此给出了一种局部加权估计方法( 选择概率的 倒数作为权) 以下可以从结果中看出，这种估计方法效果不理想，且没有充分利用数据信 息之后介绍了解决缺失数据问题的另一类有效的方法，基于借补的方法文章中处理的 思路可以分为两步：第一步，基于完整数据，用局部线性方法和平均技巧给出模型参数 口。( ) 和a 又) 的估计：瓯( ) 和t ( ) ，= l ，p 第二步：令霉为下式来补充完整数据，以达 到充分使用信息的目的 霉= 最z + ( 1 一点) ( 瓯) + 喜嘭心场) ，- l ，儿 再使用第一步相同的技巧，得到所要的a 。( ) 和a ，( ) 的精估计， 6 太原理工大学硕士研究生学位论文 1 4 主要基础知识 ( 1 ) 局部多项式估计 假设模型为 y = ( x ) + 仃( x ) s ， 其中e p ) = 0 ，e 2 ) = 1 为了克服多项式拟合的缺点，采用局部的方法估计厂( ) ，作为局 部多项式估计的特殊情况，局部线性估计是人们常用的方法，在这里首先介绍一下局部线 性估计方法 假设( 石) 在x 。附近有二阶导数，则在x 。的某一邻域有 求解下式 f ( x ) f ( x o ) 4 - f 7 ( x o ) ( x - - x o ) m i n l j r y 。_ ! ( y j 一卢。一屈( 置一) 隗( x ，- x o ) ， 其中k 。( ) = 办1 k ( 办) ，k ( ) 是核函数，且有紧支撑，h 称为窗宽，它控制局部邻域的大小，它 的大小对估计的影响很敏感，关于它的选择将在下面介绍记上式的解为参。，声，则定义 f ( x 。) 及其导数厂( x 。) 的估计分别为 f ( x o ) = p o ，f ( x o ) = 届， 可知 其中， f ( x 。) = 弓一 形z 形 太原理工大学硕士研究生学位论文 形= k h ( z 一) 鼠，z 一( 五一) & 。) ， 最，= 蚝( 置一j c o ) ( 五- x o ) 7 i = 1 夕( ) 称为厂( ) 的局部线性估计，定义夕( ) 的条件偏差为e 驴( ) ix 】一f ( x o ) ，条件方 差为v a r f ( x 。) ix 】将局部线性估计方法推广，可得如下的局部多项式估计方法 假设f ( x ) 在的附近存在p + 1 阶导数，则在的一个邻域内有 f ( x ) 厂( 工。) + ，( 工。) ( x 一粕) + + ! 竺三兰立( x 一而) p 口! 求解下式 m i 知n 喜 。姜i e j ( x , - x o ) j 2 巧c 五一x 其中k 。( ) = 办一1 k ( 办) ，k ( ) 是核函数，力称为窗宽记上式的解为声，( 歹= o ，1 ，p ) 定义夕气而) 的估计为夕气) = _ ，! 反，( 歹= o ，l ，p ) 记 x = ( ( x ，一x o ) ) 。型朝，怄，s ，y = ( z ) ：t ，卢= ( 卢。) 墨o ，卢= ( 卢。) 墨。， w = d i a g k ( x l 一) ，吒( x 。- - x o ) ) ， 则有 卢= ( 肖。w x ) 叫x 7 盼 十 t 使用局部多项式估计方法必将涉及如下几个问题： 1 ) 窗宽h 的选择局部多项式估计对窗宽的敏感性很强窗宽太大，会引起大的估计 偏差；窗宽太小，会引起大的估计方差，所以取一个合适的窗宽是相当重要的在某些准则 下，合理的窗宽值是容易得到的这里给出两种窗宽：全局最优窗宽和局部最优窗宽当在 整个估计区域上厂( ) 的光滑程度差不多时，我们用全局最优窗宽；而当( ) 的光滑程度相 太原理工大学硕士研究生学位论文 差甚远时，使用局部最优窗宽在不同的区域用不同的窗宽，通过极小化a m i s e ( a s y m p t o t i c m e a n i n t e g r a t e ds q u a r e de r r o r ) ，可得全局最优窗宽通过极小化在处的a m s e ( a s y m p t o t i c m e a ns q u a r e de r r o r ) ，可得局部最优窗宽但是这些最优窗宽值包含未知参数，不能够直接 应用到实践中在实践中通常的一些窗宽选取办法有交叉核实方法( c r o s s v a l i d a t i o n ) ， r o t ( r u l e o f - t h u m b ) 方法，p i ( p l u g - i n ) 方法，r s p s ( r e s i d u a ls q u a r e sa n dp r e a s y m p t o t i e s u b s t i t u t i o nm e t l l o d ) 方法，n n b f n e a r e s tn e i g h b o rm e t l l o d ) 方法，等等( 参见文献【4 9 】的9 3 节) 本文中窗宽使用广义交叉核实法选取 2 ) 拟合多项式阶数p 的选取由于估计偏差和方差主要由窗宽来控制，那么拟合多 项式阶数p 的选取就没有窗宽的选取重要对固定的窗宽，大的p 将减少偏差，但是将导致 方差的增加，小的p 将增加偏差，因此应该选取一个适当的p 值，一般建议p = j + l 或 p = ，+ 3 关于这方面更加详细的讨论参考文献【7 1 3 ) 核函数k ( ) 的选取尽管取什么样的k ( ) 对估计的影响比较小，但人们通常在极 小化m s e 的准则下，取最优核函数为e p a n e c h n i k o v 核函数 k ( f ) = 3 ( 1 - t 2 ) ，i t i 1 关于这方面更详细的讨论参见文献【7 1 一般地局部多项式方法具有以下优点： 1 ) 局部多项式估计有相对小的偏差和方差 2 ) 局部多项式方法适用于各种设计它适用于随机设j , - - ( r a n d o md e s i g n s ) 、固定设计 ( f i x e dd e s i g n s ) 、均匀设计( u n i f o r md e s i g n s ) 、分组设计( c l u s t e r e dd e s i g n s ) 等等 3 ) 局部多项式估计没有边界效应关于这方面更加详细的讨论参考文酬7 1 4 ) 局部多项式估计有很好的极小极大效率( m i n i m a xe f f i c i e n c y ) 关于这方面更加详 细的讨论参见文献【7 】 9 太原理工大学硕士研究生学位论文 第二章基于完整数据的局部线性方法 2 1 模型与方法 考虑变系数部分线性模型 z = a 。) + a u i 场+ s ，i = 1 ，刀 ( 2 1 ) = l 化，瓯，x i ，z ，艇。是来自( 2 1 ) 的随机样本，且反：1 ，当y ，可观测；反：o ，当”不可观测， 其中i = l ，刀z ，= 亿i z 驴) r ，缸，( 圯是一些r 上的可测函数，a o ( ) 称为常数项函 数，k ，( 衄。称为变函数( 系数函数) ，缸，) ：。是随机误差，且独立同分 布，e g 。) = o ，v a r ( e 。) = a 2 本文中假设因变量y 是随机缺失的，这表明，对于给定的似，u ，z ) ，6 和y 是条件独 立的，即选择概率 p p = i i y ，x ，u ，z ) = p p = i x ，u ，z ) - - - 7 r c r ，u ，z ) o 基于完整数据弛，e ，x ，阢，z 。) ：瓯= l ，i = 1 ，以 ，根据局部线性思想，若a 。伍) ，口，p ) 都 有连续二阶导数，则： a 。g ) 口。o 。) + 口；( ，。( x - - t 。- a 。，。+ 。( j 一，。) ， a ，g ) a ，( v 。) + a j ( v 。- - 1 , , 0 - - - a 加+ b j ，。0 一v o ) ， t o ，。分别在x ，u 的支撑内 应用最小二乘法，求解下式 唧，钆m 。，i e n ，屯。喜6 ，( z 一口。一荟pa j , c z i j - b o , 。伍。一，。) 一圭j = 1 6 ，。缈。v 。) z ， 2 g ，函伍。一b ) g ：，勃p ，一v 。) 可求得 ( 2 2 ) 太原理工大学硕士研究生学位论文 t ，。t o ，y o ) ：窆6 e 口t 即缈r 删) 1 v , g 。函伍，一f 。) g ：勘妙。一v 。皿，：o ，l ，p ( 2 3 ) 其中p 朋p + ：是一个( 2 p + 2 ) 1 的向量，其第j + 1 个元素是1 ，其余的为0 ，y 是一个 n x ( 2 p + 2 ) 的矩阵，其第f 行是 y j = 堪。z j x i t o , z jv i v 精。 形= 慨慨g l 函“h ，歇似一v 。凝。) 由平均方法，可得a 。( ，。) 和口，( v 。) 的估计值 砒) = 丢缸( f o , u k ) ， 应厅乳) = 去喜t ，。瓴，) ，歹= ，p 2 2 基于完整数据下模型估计的性质 ( 2 4 ) ( 2 ，5 ) 假设a 。x 和u 的联合密度p ( x ，“) ，x 的边缘密度p i g ) ，u 的边缘密度p ：0 ) 都是 有紧支撑的，l i p s c h i t z 连续的，且是有界的( 除零点外) 假设彳：e ( z i x = x ，u = z ，) ，e ( z z r i x - - x , u = “) ，e ( ( z z7 ) 木( z z ，】x = x ，u = “) 都是 l i p s c h i t z 连续的，其中彳幸曰是矩阵彳和占的h a d a m a r d 积 令 酬：i ( e ( z i x ：匕肛”) 塞蔷嚣鳓屯j 。郇舢邹p 其逆s g ，“) = g 如) ，o p ，o 允：p ，甜丑 ) = p a q o 净，y a ) = p a g j 2 0 净 引理1 在假设4 ，a 2 条件下，当n g l 9 2 一o o ，g i 专o ，9 2 0 时有 邑兰去缈r 肼) = p 纯，v o ) s o ( t o ，v o ) o + ( 1 ) ) ， s 。三三缈，w ) - 1 = p 。1 ( f o ，v 。s o - i ( f 。，v 。+ o p ( 1 ) ) 玎 证明：采用的是参考文献【2 8 】的引理2 1 1 2 ( 2 6 ) 其中 太原理工大学硕士研究生学位论文 定理1 由假设彳l ，彳：条件，及9 2 g 。 、厩k 。( f 0 ) 一a 。( f o 吼) = 料 定理2 由假设4 ，a ：和g 。 厩k 。瓴) 一a ，。 其中吖0 。) = 一0 ，n g l 9 2 寸o o ，有 ) 7 12 ( g 1 姗0 牖) 与小渊 9 2jo ，n g l 9 2 专0 0 ，可得 略鲰k 刁与小铹 ， f：!：!靴，。，：l，p j 鬲万一l 产b 2 3 定理的证明 定理1 的证明：令z ，o = 1 ，对j = 0 , 1 ，p ，1 主1 ( 2 3 ) 和( 2 6 ) n 得 则 t ( t 。，v 。 ，、 1 c i o i , t oj = i 刀 而 蚪 一 k = li = i 1 击 一 a 挖- k = l 去鍪 。( f 。) 七p 8 is f g = op ( t o , v o ) j t v 。0 n o ，。g l , g l 伍。一) g ：舰眠 s 呛( t o , u k ) z 陋) g 1 霸伍，一r 。) g ：渤p 。 一v 。皿( 1 + 。，( 1 ) ) ， 一u k 皿( 1 + d p ( 1 ”， t ：肿缈r 耵) _ 1 v r q 。“l a 。 。l ，a p ( 以) ，口。纯) ，a ， 。) ，口，妙。矿 f 圭s 。a ( r o ，饥) z ，。1 g 。函伍，