（概率论与数理统计专业论文）纵向数据半参数回归模型的估计理论.pdf

摘要 摘要 本文在纵向数据和固定设计点列下研究了部分线性回归模型和部分线性单 指标回归模型中参数分量和非参数分量的估计问题 纵向数据是指对同一组受试个体在不同时间上的重复观测数据这类数据与 截面数据不同截面数据指仅仅在某一时间点对同一组个体作一次观测假设有 n 个观测个体，记幻为第 个个体第j 次观测的时间，z ，j 和g 。分别是第t 个 个体在日寸间t 。的协变量和响应变量，为第 个个体重复观测的数目，则纵向 数据集可记为 ( o 玎，蜘，z 磊) ，1 n ，1 j m 。) 对纵向数据研究的兴趣通常 集中在评价时间和协变量对响应变量的效应在纵向数据中，尽管在不同个体之 间的观测是独立的，但由于对同一个体进行重复观测，因此同一个体内的不同观 测之间可能是相关的对纵向数据进行分析必须考虑到这种数据的非独立性由 于重复观测之间具有内相关性，这就使得对纵向数据半参数回归模型的研究较通 常独立数据情形下半参数回归模型的研究更为复杂 纵向数据半参数回归模型在计量经济学和生物医学等领域都有广泛的应用 这类模型自2 0 世纪9 0 年代初期提出后，一些学者采用不同的方法进行了研究并 逐步形成了目前统计学的研究热点之一 虽然纵向数据半参数回归模型的研究已经取得了可喜的成果，但还有一些有 趣的问题有待于进一步深入探讨譬如，新的估计方法的研究，新的估计量的构 造问题和估计量的各种渐近性质等等本文围绕这些问题展开研究，主要包括以 下内容： ( 1 ) 对于纵向数据部分线性回归模型，提出了估计参数分量和非参数分量的 半参数最小二乘法该方法综合了最小二乘法和一般的非参数权函数估计方法 由此法构造了参数分量和非参数分量的半参数最小二乘估计在适当的条件下， 证明了所得估计量的强相合性、r 阶平均相合性、渐近正态性及其收敛速度非 北京工业大学理学博士学位论文 参数分量估计的弱收敛速度和一致强收敛速度分别达到了渐近最优速度0 ，( n 一；) 和d ( n 一l o g n ) 模拟结果说明所得到的估计量具有较理想的精度 ( 2 ) 对于纵向数据部分线性回归模型，基于参数分量的广义估计方程( g e e ) 方法和非参数分量的一般权函数方法构造了模型中参数分量和非参数分量的广 义半参数最小二乘估计在一定条件下证明了参数估计量的渐近正态性，并得到 了非参数估计量的最优收敛速度o ，( n 一 ) 模拟比较了作业协方差矩阵取不同情 况时估计量的精度在估计的构造上此估计方法有效地考虑了个体内重复观测 的相关性，更符合纵向数据的实际特点研究表明，我们的广义半参数最小二乘 估计继承了参数回归模型下g e e 方法的主要特点：即使错误指定组内协方差矩 阵，广义半参数最小二乘估计方法仍然可以获得回归系数及其渐近协方差阵的相 合估计 ( 3 ) 对于纵向数据部分线性单指标模型，基于参数回归模型的g e e 方法和非 参数回归模型的惩罚样条方法提出了未知参数的广义惩罚样条最小二乘估计在 适当条件下，证明了模型参数估计量的存在性、强相合性和渐近正态性我们提 出的估计方法不仅可以同时估计模型中的所有未知参数而且考虑了纵向数据的 特点研究表明，无论如何指定组内协方差矩阵，都不影响未知参数估计的、，丽 相合性现有文献中关于单指标模型和部分线性单指标模型的研究都是在假定数 据独立的情况下进行的，这一假定在实际应用中有一定局限性在纵向数据下对 单指标或部分缭陛单指标模型的研究目前尚未看到，本文在纵向数据情形下考虑 部分线性单指标模型具有一定的理论意义和实际应用价值 本文的特色主要体现在以下几个方面： ( 1 ) 本文研究的两类纵向数据半参数回归模型均属于边缘模型，其研究的重 点是回归系数的估计，而把内相关视为讨厌参数本文的估计方法有效地处理了 纵向数据的内相关性理论结果表明本文给出的估计量具有优良的统计性质，且 继承了参数回归模型中g e e 方法的主要特点：基于个体间的独立性，即使当组 一i i 摘要 内协方差矩阵的假定形式不正确时，仍能获得未知参数的有效推断模拟研究也 证实了用这种方法得到的估计量具有很好的估计效果 ( 2 ) 对于纵向数据部分线性回归模型，现有文献大都是在协变量为随机设计 点列的情况下研究的，而本文则是研究固定设计点列情形我们提出的估计方法 获得的估计量都具有显式表达形式，简洁明了，计算方便，有利于理论研究和实 际问题的应用 ( 3 ) 首次在纵向数据情形下研究部分线性单指标模型的估计问题，扩展了部 分线性单指标模型的应用范围 关键词纵向数据半参数回归模型相合性渐近正态性收敛速度 一i i i 北京工业大学理学博士学位论文 a b s t r a c t t h ea i mo ft h i 8t h e s i si st os t u d yt h ee s t i i n a t i o no ft h ep a r 锄e t r i ca 工l dn o n p a r 舡 m e t r i cc 0 1 p o n e n t si nt h ep a r t i a u yu n e a rr e g r e s s i o nm o d e la n dt h ep a r t i a l l yl i e a r s i d e _ i n d e ) cr e 铲e s 8 i o nm o d e if o rl o n 百t u d i n dd a t au n d e r 丘x e dd e s i g t h ed 曲n i n gc l l a r a c t e r i s 七i c0 f1 0 n 西t u d i n a ld a t ai 8r 印e a t e do b s e r v a t i o s 衄i n d i - v i d u a l st h r o u g ht i i n e l 0 n 西t u d i n a ld a t aa r ed i f f e r e n t 丘o mc r o s s _ s e c t i o n a ld a t a w i 七h c r o s s - s e c t i o n 址d a t a ，as i i l g l eo u t c o m ei sm e a s u r e da ts o m et i m e p o i n tf o re a c l li n d 0 v i d u a l s u p p o s et h a tt h ed a t ac a 璐斌o fns u b j e 咖丽t ht h e 油s u b j e c th a v i n gm o b s e r v a t i o n s l e t 岳玎a n d 掣臼b et h ec 咖i a t ev e c t o ra 血dt h er e s p o n 8 e l r i a b l eo ft h e j t h0 b s e r v a t i o ni nt h ei t hs u b j e c t8 tt i m et 讲r e s p e c t i v e l y t h el o n 舀t u d i n a ld a t as e 七 i st h e nd e n o t e db y ( 幻，物，z 否) ，15t n ，1s j5 仇t t h es c i e n t i 丘ci t e r e s to f al o n g i t u d i n 越s t u d yi si nt h ee 丘b c t so ft i m ea 丑dc o v a r i a t e s0 nt h er e s p o n s ev i a b l e t h o u g hi n d i 啊d u a ：i sc a n u s ua ：l l yb ea s s u m e dt ob ei n d e p e n d e n t ，t h es e to f0 _ b s e n 础i o l l s o no n ei d i 、r i d u a lt e n d st ob ei 七e r _ c o r r e l a t e d t h i sc o r r e l a t i o nm u s tb et a k e ni i l t o a c c o u n tw h e nw ea n a l y 8 e1 0 n 西t u d i 日ld a t a t h ed i 伍c u l t yo fi n v e s t i g a t i n g8 e m i p 缸a _ m e t r i cr e g r e s s i o nm o d e l sf o r1 0 n 百t u d i n a ld a t ai sm o r e1 a r g e rt h a n 七h a tf o ri d e p e n d e n t d a 土a 恤v i e wo ft h ec o r r e l a t i o n t h es e m i p 盯a m e t n cr e f e s s i o n o d 出h a v ee x t e i l s i v e 印p u c a t i o i l si nm a n y6 e i d s i n c l u d _ 【n ge c o n o m e t r i c sa n dm e d i c i n e s i c et h es t y l eo fm o d e l sw a sp r 叩0 s e di n1 9 9 0 s ， m 觚1 ya u t h o r sh a v es t u d i e d 曲嘲nu s i n gv 盯i o u sm e t h o d s ，a dt h es t u d i e so nt h e s em o d e l s h a v eb e c o m eo n eo ff b c u s e si ns t a t i s t i c s t h o u 曲p l e n t i f u lr e s u l t so t h es e m i p 耵a m e t r i cr e g r e s s i o nm o d e l sf b r1 0 n g i t u d i n a l d a t ah a v eb e e no b t a j n e d ，m a n yi n t e r e s t i n gp r o b l e m sn e e dt ob et a k e ni n t oa c c o u t ， s u c ha sn e we s t i m a t i o nm e t h o d s ，m i o u sc o n s t r u c t i o n sa n da s y m p t o t i cp r o p e r t i e so f a b 8 t r a c t e s t i m a t o r s ，e t c ，i nt h i st h e s i s ，t h es t u d i e sa r ee x p a n d e ds u r r a l l n d i l l ga f o r e m e n t i o n e d p r o b l e m s ，a n dt h em a i nc o n t e n t sa r ea sf b l l o 晰s ： ( 1 ) f o rt h ep a r t i a l l yl i n e a rr e 口鹤s i o nm o d e lf o r1 0 n g i t u d i 出d a t a ，w ep r o p o s et h e s e m i p a r a m e t r i cl e a s ts q u 缸e sm e t h o dt oe s t i m a t et h 8p 咖e t r i ca n dn o n p a r a m e t r 记 c o m p o n e n 七s t l l i 8m e t h o di so b t a i n e db yc o m b i n i gt h el e 舾ts q u a r e se s t i m a t ew 让h t h eu s u a ln o n p a r 锄e t r i cw e i g h t 缸n c t i o nm e t h o d w bg e t 七h e8 e m i p 盯a m e t r i cl e 船t s q u a r e se s t i m a t e so f 七h ep a r a m e t r i ca 1 1 dn o n p a r a m e t r i cc 0 i p 0 e n t s u n d e rt h es u i t a b l ec o n d i t j o n s ，w ep r 盯嘴t h es t m gc o 璐i s t e c y ， r 恤m e a nc o n s i s t e n c y ia s y i n p t o t i c o r m a l i t ya n dc o n v 凹g e n c er a t e s0 ft h ee s t i m a t o r s t h ew e a ka n du n i f o m8 t r o n gc o n _ v e r g e n c er a t e s0 ft h ee s t j 如a t o ro ft h en o n p a r 锄e t r i cc o m p o n e n tr e a 出t h e0 p t i m 出 c o n v e r g e n c er 砒e sq ( n 一言) a n dd m 一言1 0 9 礼) ，r 船p e 毗i v e l yt h es i i n u l a t e de x 锄d 1 e s s h o wt h 8 tt h ee s t i a t o r sh 8 v ei d e a la c c l l r 醒* ( 2 ) f 0 rt h ep 叭i a l l yl i n e a rr e g r e s s j o nm o d e 】f l 衄百t u d j l l a ld a t a ，b a s e d0 n h e g e n e r a l i z e de s t i m a t i n ge q u a 七i o n s ( g e e ) i p 盯锄e t r i cr e g r e s s i o nm o d e l 8a n dt h e1 1 8 u 8 l n o n p a r 姐1 e 七r i cw e i g h tm n c t i 0 m e t h o d ，w ec o n s t m “t h eg e i l e r a l i z e ds e m i p 缸a r n e t r i c 1 8 a s ts q u a r e se s t i m a 七o r so ft h ep 舡锄e t r i ca n d o n p a r 啪e t r i cc o m p o n e n t s t h e 8 s y m p _ t o t i cn o m 越i t yo ft h ep a r a m e t r i ce s t i m a t o ra n dt h eo p t j m 8 lc o n 阳r g e c er a t eo f t h e n o n p a r 锄e t r i ce s t h a t o rq ( n i ) a r eo b t 咖e d w ea l s oc o m p a r et h ea c c u r a c y0 fe s t i m a t o r s1 l i l d e rt 1 1 r e ec a v a r i a n c es t l m c t r u e sb ym e 哪o ft h es i r n u l a t i o n8 t u d y t h e p 。o p o s e dm e t h o di sa c c o r d a n c e 丽t ht h ef e a t u r e0 f1 0 n g i t u d i n a 王d a t ab yi n c o r p o r a t i n g 蕊c t i v e 】yt h ec o r r e l a t j o n 埘七h j 丑e a c hu n i t i 治s h o w 豇恤a tt h eg e n e r a i i z e d s e 珂j p a r a - m e t 。i cl e 8 s ts l u a r e sm e t h o dm a i n t a i l l sm o s ta t t r a c t i v e p r o p e r t i e so fg e em e t h o di n p a r a m e t r i cr e f e 皤i o nm o d e l 8 ，t h a ti s ，o u rm e t h o dy i e l d sc o n s i 8 t e n t 船t i m a t e so ft h e 。e g r e s s i 0 c o e 毋c i e n t sa n dt h e i ra s y m p t o t i cc o v a r i a n c e ，e v e nw i t hm i s 口e c i 丘c a t i o no f t 1 eo 了哪j a n c es t r u c t u r e v 一 北京工业大学理学博士学位论文 ( 3 ) f b rt h ep a r t i a l l yl i l l e a rs i n 舀争i n d e xm o d e lf o r1 0 n 舀t u d i dd a t a ，b 船e do nt h e g e e 印p r o a c hi nt h ep a r a m e 七r i cr e g r e s s i o nm o d e l sa n d 七h ep e l l a l i z e ds p l i n 8a p p r o a c h i nt h en o n p 蝴e t r i cr e g r e s s i o nm o d e l s ，w ep r o p 0 8 eg e n e r a l i z e dp e n a l i z e ds p h n el e a s t s q u a 瑚e s t i m a t o r so ft h eu n k p a r a n l e t e 鹉t h e 由8 e n c e ，s t r o n gc o n s i s t e n c ya 1 1 d a s y m p t o t i c o r m a l i t yo ft h ee s 恤n a t o r s 缸8p r o v e du d e rt h es u i t a b l ec o n d i t i o n 8 a u p a r a m e t e r sc a nb e 髑恤n a t e ds i i h u l t a n e o u s l yb yt h ep r o p o s e dm e t h o dw h i l et h ef e a t l l r e o fl o n g i t u d i a ld a t ai sc o i l s i d e r e d t h er e s u l t 8s 哪t h a to we s t i m a t o r sh a v ec o n 吕证 t e n c ya n d 鹧) r i l l p t o t i cn o r m a n t y 愀n 埘t hm i s - s p e c 近c a t i o no f t h ec a 、硼a n c e8 t r u c t l l r e f b rt h ep a r t i a l l yl i n e 甜s i n 9 1 e i i l d e xm o d e lf b ri o n 百t u d i n a ld a t a ，t h ea p p r o a c h e s p r 0 _ p o s e di n 七h e1 i t 材a t u r et y p i ca _ yr e q u i r et h ea s s u m p 七i a nt h a tt h ed a t aa r ei 1 1 d 印e n d e n t ， s 0t h er a 丑g eo ft h e i r 印p 】i c a t i o n si sl i i n j t e du n d e r t 如sa s s u m p t i o t h er e l e v 醐ts t u d y a b o u tt h es i n g l e i n d e xo rp 缸t i a l l yl i n e a rs i n 舀e _ i n d e xm o d e lf o rl o 百t u d i n a ld a t ah a v e n o tb e e ns e e ni nt h ec u e n tl i t e r a t u r e i nt h i st h e s i s ，o l l r 丘r s ts t u d ya b a u tt h i sm o d d f o rl o n 舀t u d i l l 8 ld a t ah a si m p o r t a n tt h e o r e t i c a lm e 8 n i n ga n dp r 扯t i c a lv a l u e t h ef 0 u 们，i n gi 8ab r i e fs u m m 缸i z a t i o na b o u tt h em e r i t si nt h i st h e s i s ( 1 ) t h et w os 唧j p a r 锄e t r j cr e g r 既s i o nm o d e bf o r 】佃舒t u d j n a ld a t ad j s c u s s e di n t h i st h e s bb d o n gt om a r g i n a lm o d e l s t h ef o c l l si so ne s t i m a 七i o no ft h er e 盯e s s i o n p a r a l n e t e r sa dt h ec 0 、，a r i a n c es t r u c t u r ei st r e a t e da san u i s a c e o u re 8 娃a t i o n m e t h o d sa c c o u tf o rt h ec o r r e l a t i o ni i l l l 盯e ti nl o n 百t u d i n 日ld a t a t h et h e o r e t i c a lr 髓1 1 1 t s s h o wt h a to l l re s t i m a t i o nm e t h o d sh 8 v eg o o ds t a t i s t i c 以p r o p e r t i 鹤，a i l dm a i n t a i l lm o s t a t t r a c t i v 8p r o p e r t i e 80 fg e em e t h o di np 缸8 m e t r i cr e g r e s s i o nm o d e l s ：b a s e do nt h e i n d e p e n d e n c e8 c r o s ss u b j e c t s ，e f f e c t i v ei n f e r e n c e sa b o u tt h eu n k n a w nd a r a m e t e r sc a n b eo b t a i n e de v e nw j t ha 1 1i i 】c o e c td 】0 j c eo ft h ec o v 捌a n c es t n l c t u r e t h es i i n u l a t j o n 咏锄p l e sd t s os h ，t h a ta u rp r o p o s e dm e t h o d sw 叫kw e u 【】1 d e rt h e 矗n h es a m d l e s ( 2 ) f 0 rt h ep a r t i a u yl i n e a rr e g r e s s i o nm o d e lf b r1 0 n 昏t u d i n a ld a t a ，t h es t u d i e si n v i a b s t r a c t t h ec u r r e n tl i t e r a t u r ed i 8 c u s sm o s t l y 恤ec a s eo fr a d o md e s i g np o i t s i i lt h i st h e s i s ，w e c o 工1 s i d e r 七h es i t u a t i o nw h e r et h ed e s i g np o i n t sa r ea s s u m e dt ob e 丘x e d o u re s t i m a t o r s d h a v ee x p l i c i te x p r e s s i o n sw h i d ha r ec o i l v e n i e n tf o rt h e o r e t i c 以s t u d ya n df h r t h e r p r a t i c da p p l i c a t i o n s ( 3 ) t h ep a r t i a l l yh n e 盯s i i 培l e _ i n d 旺m o d e lf o rl o n 西t u d j a ld a t ai sf i r s 七l yc o n s i d e r e d ，t h e r ew a sn o ts i m i l a rs t u d yi 1 1t h ep 丛t o u rr e s l l l t se x t e n dt h ep r a c t i c 越丘e l d so f 七h ep a r t i m l yu e a rs i n g b i n d e ) 【m o d e l k e yw b r d s l o 舀t u d i n a ld a t a8 e r n j p a r a m e t r i cr e g r e s s i o nm o d e l c o n s i s t e n c y a s y m p t o t i cn o r m a l i t yc o i n 唧蛋e n c e 。r a t e v i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名： 望瑾同期：迎 ： 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：年导师签名：戳日期：三坐) 第l 章绪论 第1 章绪论 回归模型是数理统计中发展较早，理论丰富而且应用性较强的统计模型自 fg d t o n 于1 8 8 6 年首次提出回归模型以来，回归模型一直受到人们的重视在 过去的几十年里，回归模型被广泛地应用于工业，农业，气象，地质，经济管理 以及医药卫生等各个领域，取得了丰富的理论和应用成果同时，由于实际应用 的需要，为了更加接近现实，更好地解释数据，回归模型也一直处于不断发展进 步之中，其模型由初期的参数回归模型发展到非参数回归模型，八十年代以来又 兴起了半参数回归模型，其理论研究和应用领域都在不断深入和扩大 1 1 参数回归模型 参数回归模型假定回归方程e ( f i z ) = m ( 叫p ) 的函数形式已知，回归模型可 表示为 饥= m ( z 。；卢) + q t = 1 ，2 ，- 一，扎，( 1 1 ) 其中口为未知的有限维参数，e ，为均值为。的随机误差例如大家熟知的线性 回归模型和非线性回归模型参数回归模型有一个共同的特点：函数形式假定是 已知的，未知的仅仅是其中的有限个参数由于参数回归模型容易处理，且对其 研究已有相当长的历史，因而已形成一套成熟的理论和方法 参数回归模型通常由经验和历史资料提供了大量的额外信息，因而当模型 假定成立时，其推断有较高的精度例如熟知的线性回归模型的最小二乘估计， 其方差有o ( n 。) 的阶但响应变量与解释变量之间的函数关系形式不总是已知 的，在许多实际应用中，没有证据表明已知函数关系的存在因而，参数回归模 型在实际应用中往往存在模型的设定误差，当模型假定不成立时，基于模型假定 所作的统计推断其表现可能很差，甚至导致错误的结论 所作的统计推断其表现可能很差，甚至导致错误的结论 北京工业大学理学博士学位论文 1 2 非参数回归模型 为了减少参数回归的模型偏差，统计学家提出了一个假设更宽松更自由的模 型一非参数回归模型非参数回归模型可表示为 轨= m ( 2 i ) + e 。，t = 1 ，2 ，n ，( 1 2 ) 其中m ( ) 为一未知函数，一般假定m ( ) 具有一定的光滑性，q 为均值为。的随 机误差非参数回归模型的特点是：回归函数的形式可以任意，对解释变量和响 应变量的分布也很少限制，因而有较大的适应性和稳健性非参数回归模型是基 于数据的模型，它假定响应变量和解释变量之间的关系形式未知，由观测数据本 身对整个回归函数进行估计，是较参数回归模型更符合现实的模型 回归函数m ( ) 的估计可以通过核、局部多项式或样条光滑等非参数回归方 法来获得尽管非参数回归模型比参数回归模型需要更多的计算，但由于计算机 的快速发展和计算能力的增强，近些年来非参数回归方法受到人们的普遍关注 1 3 维数灾祸 在上述非参数回归模型中，回归函数既可以是一元的，也可以是多元的理 论上讲，一元非参数回归的估计方法可以直接推广到多元非参数回归，但是有一 个很困难的问题即维数问题由于非参数回归估计方法本质上讲都是局部估计或 局部光滑，要想使m ( ，) 在。点得到比较充分的估计，就必须使得z 的邻域包含 有足够多的数据当。的维数增大时，局部光滑所需要的数据点个数成指数倍增 加例如，如果一个局部邻域沿着每一个坐标轴包含l o 个数据点，那么在相应 的d 维领域就需要1 0 0 个数据点而实际上，高维数据具有内部稀疏性，即随着 维数d 的增加，一个局部邻域所包含的数据点个数在整个样本中所占的比例越来 越小为了获取非参数光滑所必须的足够多的数据，我们可以有两种选择，或者 一2 一 第1 章绪论 增大窗宽，或者增加样本数目增大窗宽必然导致估计的偏差增加，而要获取数 目非常多的样本在许多情况下是不实际的由此可见，当解释变量z 的维数增加 时，多元非参数回归估计的精度下降很快，人们称这种现象为“维数灾祸”( c u r s e o d i m e n s i o n a l i t y ) 关于“维数灾祸”方面的详细讨论可参见文献【l 5 】 1 4 降维模型 为了克服“维数灾祸”问题，统计学家在寻找既能达到数据降维同时又能保 留非参数光滑优点的方法方面已经作了许多研究，提出了多种降维模型，各种 降维模型都对响应变量可与解释变量z 之间的关系作了某些假定一般地，降 维模型可以分为两大类：基于可加的模型和基于投影的模型可加类模型假定p 个解释变量对响应变量的效应是可加的( 也可以存在交互效应) 这些模型包括交 替条件期望模型( a l t e r n a t i n gc o n d i t i o n a le x p e c t a t i o n ) ( 参见文献【6 ) ，可加回归模 型( a d d i t i v er e g r e s s i o nm o d e l ) ( 参见文献【4 ，7 1 3 ) ，可变系数回归模型( v ”y i n gc 0 _ e i l i c i e n tr e g r e s s i o nm o d e l ) ( 参见文献 1 4 一l7 j ) 和部分线性回归模型( p a r t i a l l yl i n e a r r e g r e s s i o nm o d e l ) ( 参见文献 1 8 5 4 j ) 等；投影类模型假定p 个解释变量对响应变量 的效应可以归结为解释变量的个线性组合( z t 所，。丁成) 的效应这些模型 包括投影追踪回归模型( p r o j e c t i o np u r s u i tr e g r e s s i o nm o d e l ) ( 参见文献 5 5 5 8 】) ，切 片逆回归模型( s l i c e di n v e r s er e g r e s s i o nm o d e l ) ( 参见文献 5 9 6 2 】) ，单指标回归模型 ( s i n 9 1 争i n d e xr e g r e s s i o m o d e l ) 渗见文献【6 3 7 9 ) ，部分线性单指标回归模型( p a r - t i a l j yl i n e rs i n g l e _ i n d e xr e g r e s s i o nm o d e l ) ( 参见文献 8 0 8 3 j ) ，p h d 分析( p r i n d p a l h e s s i a l ld i r e c t i o n ) ( 参见文献 8 4 】) ，s a v e 法( s u c e da ”r a g e 、，a r i a i l c ee s t i m a t i o n ) ( 参见 文献 8 5 】) 等 下面仅对本文将要涉及的部分线性回归模型和( 部分线性) 单指标回归模型 3 一 北京工业大学理学博士学位论文 予以简要介绍 1 4 1 部分线性回归模型 部分线性回归模型假设响应变墓依赖于p 维协变量= ( 轧锄，砩) t 和一维协变量，且与z 之间呈线性关系，与t 之间呈非线性关系，其模型 形式为 玑= 。，卢+ 9 ( 岛) + e 。，z = 1 ，2 ，n ，( 1 3 ) 其中( z ，如) 坠。可以是随机设计也可以是固定设计 卢= ( 卢一一，岛) t 是未知参 数向量，9 ( t ) 是一元未知函数e 。是期望为。的随机误差 自e n g l e 等【1 8 l 在研究气象条件对电力需求影响这一实际问题时首次提出部 分线性回归模型以来，该模型已出现了一系列丰富的研究成果由于部分线性回 归模型结合了参数回归模型和非参数回归模型，因此，文献中对这种模型的处理 方法一般都是融合了参数回归中常用的方法和近些年来发展起来的非参数方法 r 0 b i n s o n f l 研在非参数分量g ( ) 取n a d a r a g a w 斑o n 核估计时，构造了参数分 量卢的加权最小二乘估计p 和非参数分量9 ( ) 的估计9 ( ) ，在一些正则条件下， 研究了估计卢的渐近正态性及卢和( - ) 的弱收敛速度 s p e c k m a n m 】采用参数化形式w r 逼近非参数分量9 ( ) ，其中w 为某个给定 的nx 口的满秩矩阵，r 是附加的口l 的未知参数向量，部分线性模型( 1 3 ) 可 以用矩阵形式表示为： 可= 茁卢+ w + e ( 1 4 ) 考虑同时极小 一卢一w r i l 2 = m i n ! ，j 9 酽，r 酽， 可得肛的估计 卢= ( z t ( 一p 订) 。) 一1 z r ( ，一f w ) f ，( 1 5 ) 一4 一 第l 章绪论 其中p = w ( w t w ) 一1 w t 为投影阵在适当的条件下，s p e d 【i i l a n 研究了该估 计量的渐近行为由于在卢估计的构造上已经消除了t 对z 和的影响，因此卢 的估计是渐近无偏的 g r e e n 等提出可以用任一光滑矩阵s ( 不必为投影阵) 替代( 1 4 ) 式中的 w ，由此可得卢的估计 声= ( 茁t ( j s ) z ) 一1 茁t ( j s ) 可，( 1 6 ) 由于这种估计是由g r e e n 等提出的，因此也称之为g j s 估计 e n g l e 等f 1 8 l ，h e c k m a n 酬，础c e 【2 3 l ，w h a b a ，g r e e n 等【2 5 】和e u b 舢l k 等使 用光滑样条方法定义了卢和g ( ) 的惩罚估计量为极小化 ：妻铲琊砒) 2 + a 矽( “) ) 2 砒 的解，其中a 是一个惩罚参数，它起到在拟合程度与光滑程度之间的平衡作用 这种方法既考虑到估计量同数据的拟合，又顾及到非参数分量估计的光滑性 h e c k m a n f 2 2 1 在抚和岛独立的情况下研究了卢的惩罚最小二乘估计的相合性和渐 近正态性其他作者也分别在不同的条件下对估计的大样本性质进行了研究 h a m i l t o n 和n u o n g 【2 采用局部线性回归构造了参数和非参数分量的估计， 并证明了估计量的渐近正态性m a m m e n 和v a nd eg e e r 【2 8 】应用经验过程理论 构造了惩罚拟似然估计，并推导了该估计的渐近性质 s e v e r i n i 等【2 q 和h i r d l e 等( 3 0 】研究了模型( 1 3 ) 的推广形式：广义部分线性 回归模型 e ( 玑i 翰，屯) = 日 z ，卢+ 9 ( 屯) ) ， = 1 ，2 ，一，n ，( 1 7 ) 其中h ( 称为联系函数) 是一个已知的函数为了估计卢和9 ( ) ，s e ”r i n i 等引进了 拟似然估计方法，该方法有类似于似然函数的性质，但仅需指定的二阶矩而不 一5 北京工业大学理学博士学位论文 是完全分布基于s e v e r i n i 等人的方法，h a r d l e 等考虑了9 ( ) 的线性检验问 题他们对检验问题的研究补充了s e v e r i n i 等人的工作 我国学者在部分线性回归模型的研究上也作了大量相当深刻的工作l i a n g 【3 1 系统地研究了多种场合下卢的渐近有效估计的构造s h i 【3 2 】利用分块多项式逼 近方法得到了卢和9 ( ) 的稳健m 估计卢和( ) ，在一定条件下证明了声具有渐 近正态性，并得到了声和口( ) 的弱收敛速度柴根象等【3 3 3 5 】将小波方法引入部 分线性回归模型，建立了回归参数_ b 和未知函数9 ( 一) 的小波估计，证明了它们具 有优良的大样本性质，并讨论了误差方差的小波估计及其渐近性质 以上研究大都是在( z ，屯) 是随机设计点列的情况下进行讨论的当( z ，赴) 是固定设计时的研究成果相对较少而非随机设计情形并不是随机设计情形的 特例，随机设计情况下的结果往往并不能简单的推广到非随机设计情形，因此二 者的处理方法和假设条件也有区别胡舒台【3 6 】，高集体等【3 7 3 q 分别研究了当 g ( ) 的估计取一类非参数权函数估计时，卢的最小二乘估计和加权最小二乘估 计的强相合性，渐近正态性，收敛速度，b e r r y - e s s e e n 界限以及重对数律等方面 的大样本性质王启华4 1 】在截断样本下研究了t 曰和g ( ) 的估计的强相合性， p ( p 2 ) 阶平均相合性和渐近正态性陈明华4 3 】讨论了p 和9 ( ) 的估计的强 相合性，p 2 ) 阶平均相合性和收敛速度 柴根象等【4 q 基于部分线性回归模型的可加性，提出了新的二阶段估计方 法，得到了p 和9 ( ) 的核权函数形式的估计量声和9 ( ) 在甄为固定设计点列， “为随机设计点列的情形下，证明了( ) 的强相合性和一致强相合性，其一致强 收敛速度可达到非参数回归函数估计的最优一致强收敛速度( 礼_ 11 0 9 n ) ，同时得 到了声的渐近正态性 薛留根【4 5 4 7 】将随机加权方法应用于部分线性回归模型的研究，证明了用随 机加权统计量的分布逼近原估计量误差的分布的强有效性，并给出了估计量的最 优收敛速度和随机加权逼近速度薛留根4 。】研究了部分线性回归模型中误差 一6 第1 章绪论 方差估计之分布的b e ”y e s s e e n 界和非一致收敛速度 近些年来，对部分线性回归模型的研究一直是统计学界的一大热点，其研究 不断