（概率论与数理统计专业论文）半参数回归模型的经验似然推断.pdf

摘要 摘要 半参数回归模重 是类重要的统计模型，有着广泛的实际盅用背景该 模型综合了参数与非参数的信息，比一般的参数模型或非参数模型有更强的 解释能力在理论上，处理这种模型的方法既融合了两类单一性质回归模型的 处理方法又不是它们的简单叠加 考虑随机设计点列下一类半参数回归模型 m = x l 卢- f 9 ( 噩) + 如，1 茎i s 礼 其中 m ，墨，丑) ，1 曼i 曼n ) 是来自总体( y ，x ，即的i i d 随机样本，卢是一上 的未知参数，9 ( ) 是未知函数，e t 为随机误差，e e t - 0 ，e e ：= 矿 文献中一般甩最小二乘法估计参数分量3 ，而非参数分量g 估计问题的大 多采用样条估计、核估计和近邻估计等本文采用了新的推断方法一经验似 然推断，这种方法为半参数回归模型的研究提供了新的途径本文针对半参 数回归模型提出了参数的经验似然比统计量，在给定的基本假设条件下证明 了此统计量具有渐近卡方分布，这就为进行大样本参数假设检验和构造参数 的置信域奠定了基础随后本文还研究了经验似然比统计量的渐近正态性和 g 的估计的收敛速度研究结果表明，用这种方法构造的置信域有较大的覆盖 概率，并且所得置信区间长度更短 半参数模型的研究已成为一个重要的研究方向将极具优势的经验似然 方法应用于具有强解释能力的半参数回归模型，这在实际中有着更为广阔的 应尾背景深信随着二者在理论稻方法上的不断完善和发展，它们对经济、通 信、生物等各个领域都将起着积极的促进作用 关键词：半参数回归模型随机设计点列 经验似然推断渐近卡方分布 北京工业大学理学硕士学位论文 a b s t r a c t t h es e m i p a r a m e t r i cr e g r e s s i o nm o d e l sa r eak i n do fi m p o r t a n ts t a t i s t i c s m o d e l st h em o d e l sc o n c l u d en o to n l yt h ep a r a m e t r i cc o m p o n e n t s ，b u ta l s o n o n p a r a m e t r i cc o m p o n e n t sa n dh a v es t r o n g e re x p l a n a t i o n s t h e ya l s oh a v e b e e na p p l i e dw i d e l yi nm a n yf i e l d s t h e o r e t i c a l l y ，t h em e t h o do fd e a lw i t h t h em o d e l si sm o r ec o m p l i c a t e dt h a nt h a to fs i n g l ec h a r a c a t e rr e g r e s s i o nr o o d e l s c o n s i d e r sas e m i p a r a m e t r i er e g r e s s i o nm o d e lw i t hr u n d o md e s i g np o i n t s = 霹卢+ 9 ( 正) + e l ， 1 isn w h e r e 慨，x t ，正) ，1 i n a r el i d r s n d o mv a r i a b l e s ，序i s u n k n o w np a r a - m e t r i c ，9 ( ) i sa nu n k n o w nf u n c t i o n ， e i ，1sisn ) a r el i d r a n d o me r r o r sw i t h e e t = 0a n d e e ? = 口2 i nt h i sp a p e r ，t h ee m p i r i c a ll i k e l i h o o dr a t i oc o n f i d e n c er e g i o n sa r ec o n ， s t r u e t e df o rt h ep a r a m e t r i cc o m p o n e n t si nt h es e m i p a r a m e t r i cr e g r e s s i o nm o d e l w i t hr a n d o md e s i g np o i n t s ，w h i c hp r e s s e n tan e ww a yt ot r e a tt h em o d e l u n d e r q u i t eg e n e r a lc o n d i t i o n s ，w ep r o v et h a tt h ee m p i r i c a ll o g l i k e l i h o o dr a t i os t a t i s t i ci sa s y m p t o t i c a l l yc h i s q u a r e dd i s t r i b u t e d t h e r e f o r e ，t h ee m p i r i c a ll i k e h h o o d c o n f i d e n c er e g i o n sc a l lb ec o n s t r u c t e da c c o r d i n g l yas i m u l a t i o ns t u d yi sc o n d u c t e dt oc o m p a r et h ep e r f o r m a n c eo fo u re m p i r i c a ll i k e l i h o o dm e t h o dw i t h t h en o r m a la p p r o x i m a t i o n b a s e dm e t h o d w es e et h a tt h ec o n 丘d n e c ei n t e r v 出s i i 摘要 c o n s t r u c t e db yt h ee m p i r i c a ll i k e l i h o o dm e t h o dh a v eh i g h e rc o v e r a g ea c c h r a - t i e sa n ds h o r t e ri n t e r v a ll e n g t h s t h er e s e a r e h sf o rs e m i p a r a m e t r i cr e g r e s s i o nm o d e l sh a v eb e e nav i t a ld i - r e c t i o n w i t ht h ed e v e l o p e m e n to ft h em o d e la n dt h ee m p i r i c a ll i k e l i h o o d ，t h e y w i l lb eb e n e f i c i a lt oa l ls o r t so ff i e l d s k e y w o r d s ：s e m i p a r a m e t r i er e g r e s s i o nl i n e a rm o d e l ，r a n d o md e s i g n p o i n t s ，e m p i r i c a ll i k e l i h o o di n f e r e n c e ，a s y m p t o t i cc h i s q u a r ed i s t r i b u t i o n i i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及 取得的研究成果，尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 北京工业大学或其它教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示了谢意。 签名：j 璺叠筮日期：2 1 丛：i ：量 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即： 学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以 公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保 存论文。 ( 保密的论文在解密后应遵守此规定) 签名：i 芏壹丛导师签名运量数日期；0 0 5 6 、g 第1 章绪论 1 ，1 前言 第1 章绪论 在客观世界中，普遍存在着变量之间的依赖关系变量之间的关系一般来 说分为确定性和不确定性两种确定性关系是指变量之间的关系可用函数关 系来表达变量之间的不确定性关系，称为相关关系，在许多实际问题，往往 要考察对象y ( 响应变量) 同影响y 的因素( 解释变量) x 之间的关系若 响应变量y 与解释变量x 之间存在着某种相关关系，即当x 取一定值时， 不足以确定y 的值，但能确定y 的条件分布y 对x 取值的依赖关系是最 广意义下的回归关系 回归是指在给了一组数据( x 1 ，h ) ，( 恐，k ) ，( 弱，碥) 之后，希望找到一 个解释变量x 和响应变量r 之间的关系，使有 = m ( 。硷) + 矗，i = 1 ，2 ，n ， 其中m ( z ) = e ( yl x = z ) 为回归函数，矗为随机误差回归分析就是研究具 有相关关系的变量之间的统计规律性 过去的几十年来，回归模型已被广泛应用于工农业、气象、经济管理以及 医药卫生等领域同时由于实际应用的需要，回归模型也在不断发展，其模型 从最初的参数回归模型发展到非参数回归模型，从非参数回归模型又发展到 半参数回归模型随着回归分析的理论研究不断深入，回归分析越来越深刻 地应用于实际 北京工业大学理学硕士学位论文 回顾回归分析研究的历史，大致在二十世纪七十年代以前，重点在于参数 回归模型尤其是线性回归模型的研究参数回归模型中，总体的分布形式或分 布族往往是给定的，或者是假定了的，回归函数中除了有限个参数未知以外， 其余都是已知的因而模型容易处理，而且对此研究已有相当长的历史，已形 成一套比较成熟的理论和方法但无论从理论还是应用方法，仍然在不断深 化，向纵深方向发展参数回归模型对回归函数常常有基本假设，提供了大量 的额外信息，这些信息通常由经验和历史资料提供因而当假设模型成立时， 其推断有较高精度然而，在实际生活中，对总体分布的假设并不是随便作出 的有时，数据并不是来自所假定分布的总体；或者数据根本不是来自一个总 体；还有可能，数据因为种种原因被严重污染这样，当参数假定与实际相背 离的情况下，用参数回归模型进行推断，拟合情况很差，甚至会引起无法预料 的错误，这种情况促使人们寻求一种不假定总体的分布，尽量从数据本身获 取所需信息的道路， 二十世纪七十年代以来，非参数回归日渐兴起非参数回归模型的特点是 回归函数的形式可以任意，解释变量x 和响应变量l ，的分布的限制很少，因 而有较大适应性自s t o n e 1 于1 9 7 7 年提出非参数回归估计的权函数估计方 法后，s t o n e 的方法引起广泛的重视近几十年来，权函数方法如近邻估计、 核估计、局部多项式估计等等方法不断发展完善，非参数回归的理论和应用取 得了较大的进展但在非参数回归模型中，各个解释变量对响应变量的作用的 差别往往被忽略，这在实际问题中对此未提供任何信息时，是不可避免的；但 若有根据( 经验或历史资料等) 认为某些解释变量对响应变量y 的影响较显 第1 章绪论 著时，使用非参数回归模型则没有充分利用已知的信息，会明显降低模型的解 释能力 在研究气候条件对电力需求的影响这一实际问题中，为充分利用已知的 信息，以弥补非参数回归模型的不足和发挥参数回归模型的优点，r i c e 2 和 e n g l e l 3 等提出了半参数回归模型( 文献中亦称偏线性回归模型，混合回归模 型，部分线性模型等等) 将回归函数分解成参数和非参数结构， “半参数” 的含义体现的更为清楚和最富现实意义半参数回归模型是二十世纪八十年 代发展起来的统计模型此模型介于参数回归模型和非参数回归模型之间 可以设想，在不少实际问题中，它可能是一个更接近于真实，更能充分利用数 据中提供信息的提法在理论上，处理这种模型的方法融合了参数回归中习用 的方法和较近发展起来的非参数方法但也并非这两类方法的简单叠加总的 看，可以认为其复杂性和难度，都超过了单一性质的回归模型在应用上，模 型较单纯的参数模型或非参数模型有更大的适应性因而可以说，它实在是一 个在实用上有重要意义且在理论上富有挑战性的领域应指出的是，参数回归 模型，非参数回归模型和半参数回归模型这三种类型各有其适应范围离开各 自的适应范围就无法评价这些模型的优劣因而这些模型在其适用范围内都 是十分有用的它们的理论和方法都在不断发展之中本论文主要讨论一类半 参数回归模型，我们先来了解半参数回归模型的研究现状和应用情况 1 2 半参数回归模型简介 在不少实际问题中，要考察对象y ( 响应变量) 同影响y 的因素( 解释 变量) 之间的关系我们知道传统的线性模型当假设模型成立时，其推断有较 3 北京工业大学理学硕士学位论文 高的精度但当参数假定与实际背离时，其拟合情况就很差若用非参数模型 去处理，则有可能会丢失由经验或历史资料得到的信息为充分利用数据中提 供的信息，因而采用两者的混合，即采用半参数回归模型 半参数回归模型发展至今，在解决实际问题中，实际工作者和学者们提出 了许多类型的半参数回归模型下面，主要介绍两类重要的半参数回归模型 这两类模型都有其实际的意义 若影响y 的因素( 解释变量) 可分为两个部分，即x 2 ，印及t l ，t ”，岛 ( p + 口= ) 根据经验或历史资料可以认为因素x l ，z 。是主要的，而且 y 与x l ，x 2 ，一，印是线性的；而t l ，t 2 ，t 。则是某种干扰因素( 或者看作是协 变量) ，它同y 的关系是完全未知的，而且没有理由将其归入误差项采用半 参数回归模型( i ) ： 仇= z ：口+ 9 ( t i ) + e i ，i = 1 ，2 ，礼， 其中戤= ( 戤1 ，z i 2 ，。) ，卢= 汹，疡，辟) ，1 ) ( z ；，。) 是蛐随机 设计或固定非随机设计点列，龟是m 随机误差，且e e ；= 0 ，f 司= 6 2 o o ， 9 ( - ) 是定义在闭区问 0 ，1 1 上的未知函数 p 是未知待估参数 若影响y 的因素x 可分为两个部分：线性部分和非线性部分也就是根 据经验或历史资料可以认为x 线性的影响y 但是x 影响y 还存在非线性 部分和随机因素，它同y 的关系是完全未知的，同样没有理由将其归入误差 项因而将其考虑进去作为适当调整采用半参数回归模型( i i ) ： y l = z ；p + 9 ( x i ) + e i ，i = 1 ，2 ，n ， 第1 章绪论 其中q = ( z m 文2 ，。，) 是随机或固定设计点列，卢= ( 卢l ，岛，岛) 7 ， 扫1 ) 矗是i i d 随机误差，且e e i = o ，；= o r 2 2 ) 阶平均相合性和收敛速度 1 9 9 5 年，柴根象【1 q 基于此半参数回归模型的可加性，提出了二阶段估计 7 北京工业大学理学硕士学位论文 方法，并在 而，1 i 兰n ) 为固定设计点列下，研究了g ( ) 的核权函数形式的 估计量，得到很理想的结果2 0 0 1 年，薛留根【1 7 1 在 奶，l 兰i 墨n ) 为随机设 计点列下，研究了最近邻权函数形式的估计量在通常的条件下获得了靠( ) 、良和磅的渐近正态性和最优收敛速度，且定理的基本条件和研究非参数 回归函数估计的收敛速度所施加的条件相一致，如( ) 的一致弱收敛速度达到 了非参数回归函数估计的最优收敛速度对半参数回归模型( j ) 的研究仍在不 断深入 自s t o n e 1 提出模型( i i ) 以来，关于对模型本身的研究，在所见到的文献上 结果不多由于模型的复杂性，其理论和方法的发展都还不是很完善一些学 者研究了 瓤) 是i i d 随机设计时，非参数回归函数目( 。) = e ( ( y x 卢) 1 x = 。) 的估计的相合性问题具体可参见s t o n e l l 】和z h a 0 在随机样本的情况下， g a oj 1 q 还讨论了一维情况- f 8 计的收敛速度与模型( i ) 相同的是文献中已出 现参数分量p 和非参数分量g 的估计问题，大都是综合了参数和非参数的方 法其中参数的方法多是最小二乘法，不同的只是非参数方法1 9 9 2 年高集体 【1 9 】运用核和近邻估计法得到了若干理想的大样本性质薛留根( 。q 运用局部 多项式估计将模型应用到实际，亦得到较线性回归模型更高的拟合优度和精 度在是固定点列时，研究的结果就更少g a o 2 1 】在其博士论文中，系统地 研究了参数卢的加权最小二乘估计良的渐近正态性及其检验问题风：9 = o 的检验统计量的极限分布，并讨论参数卢和未知函数9 的估计量反和缸的 强弱收敛速度，以及磊的渐近分布的b e r r y - e s s e e n 界限 在实际应用中，通过最小二乘法建立普通回归方程这一方法应用的较为 8 第l 章绪论 广泛然而用此方法去预测经济现象问题时，误差往往会很大因为被预测的 经济变量y 的变动除了与变量x 线性相关之外，还有循环变动因索时间t 或 其函数9 ( t ) 等的作用2 0 0 1 年，欧阳资生和鄢茵【2 2 就湖南省城镇居民消费支 出这一经济现象，采用半参数回归模型( ，) 的一维情况，建立一种能有效消除 普通回归方程的较大误差的递归的核回归预测模型，并应用在该实际问题 事后用计算机模拟检验，证实该模型有很好的拟合优度和精度 半参数回归模型的其它类型在实际当中同样也具有广泛的应用背景，在 理论上许多学者也做了很多的研究，得到不少的研究成果具体的实际背景， 本文就不作叙述以下简述一下几类其它类型的半参数回归模型 模型( i i i ) ： 轨= 口4 - 9 0 。) + e t ，ls i s 礼， 其中卢是未知待估参数，他) ( o t ；11 ) 是随机或固定的设计点列，g ( ) 是 定义在r 上的未知函数，e i 是j i d 随机误差，且e e 。= 0 ，e e i ：口2 上述 模型( i i i ) 是一类特殊的可姗模型，s 。e 0 1 研究了当9 ( ) 盼估计取一类样条 估计时，卢和9 ( ) 的估计的均方相合性及其收敛速度；l i a n g 2 3 较为系统地 研究了参数卢的渐近有效性估计 模型( ) ： y i = ，( ，卢) + 口( “) + e i ，1 s i n ， 其中戤= ( 托l ，z m ) ( p 1 ) 是固定设计点列，卢= ( 卢h ，岛) 0 1 ) 是未知 待估参数，”，) 是定义在舻彤上的已知函数，他) ( os 缸1 ) 是随机 或固定的设计点列，9 ( ) 是定义在r 上的未知函数，e 。是z i d 随机误差，且 9 北京工业大学理学硕士学位论文 e e 。= 0 ，e e = 0 - 2 o 。模型( i v ) 是一类较广的半参数回归模型当9 ( - ) 的估 计取一类非参数权估计时，参数口的非线性最d 、- - - - 乘估计具有渐近正态性 若该模型中”，) 是未知情形，那么此时卢的估计的研究就变得更困难 了，l i 。t 研究了回归模型中参数p 的某个方向的估计的相合性等 以上考虑的均是( 劫，t 。) 及q 是n 随机变量时，若干估计的渐近结果 那么当( 赴) 及e t 是某种相依序列时，上述模型中参数卢的估计的大样本性 质如何呢? 部分平稳之回归模型( v ) ： 执= 口挑一l + g ( y i 一2 ，玑一口) + 龟，i 兰p + 1 这里9 ( ) 是定义在舻- 1 上的未知函数，e 。是i i d 随机误差，且e e 。= 0 ，e 4 = a 2 o 。一些文献p 的估计的渐近正态性及其精确的收敛速度 综上所述，在研究模型( i ) 一( v ) 中参数卢的估计时，需要首先对g ( ) 进行 某类样条函数逼近或非参数权函数估计，然后才可进一步研究p 的估计的结 构至于这些模型的研究成果，就不作详细介绍了具体见文献f 2 5 ，2 6 ，2 7 半 参数回归是一个历史不长，尚在发展中的领域目前所取得的成果中，有些 还不是最终的本领域的研究主要属大样本性质，所得到的结果也属大样本 结果对于估计的小样本性质的研究很少，这也是半参数回归模型研究的新 课题再则对大样本统计的一些基本问题，如相合性和渐近正态性，目前的研 究已具有一些深度，但有些基本问题还没有解决或最后解决由于半参数回归 模型的复杂结构，可以预料，还有不少困难要克服 半参数回归这一模型兼顾了参数回归和非参数回归模型的优点，模型具 1 0 第1 章绪论 有较强的解释能力因而在实际中有着更为广阔的实用背景深信随着半参数 回归模型在理论和方法上的日益成熟，对经济、医药、工农业生产等方向将起 着更重要的促进作用 1 3 经验似然推断的研究简状 经验似然是o w e n 2 q 在完全样本下提出的一种非参数统计推断方法，它 类似于b o o t s t r a p 的抽样特性这一方法与经典的和现代的统计方法比较有很 多突出的优点，如：用经验似然方法构造的置信区间有变换不变性及置信域 的形状由数据自行决定等诸多优点正因如此，这一方法引起了许多统计学 家的兴趣，她们将这一方法应用到各种统计模型及各种领域，如o w e n 2 9 , 3 0 , 3 1 】 由对总体均值得推断提出经验似然并随后将其应用到线性回归模型的统计推 断；k o l a c z y k 3 2 】将经验似然应用于广义线性模型；q i n 3 3 】应用经验似然于偏 度抽样模型的统计推断；o w e n 还将经验似然应用到投影寻综回归的研究； z h a n g 3 4 】将经验似然应用于分位回归及m _ 泛函的统计推断；c h a n g 和c h a n f 3 5 】 发展了自回归模型的经验似然方法；z h o n g 和r a o ( 3 q 将经验似然应用于抽样 调查问题的研究；k i t a r a u r 舻7 l 等将经验似然应用到经济模型的研究等更值 得注意的是，近年来一些统计学家又将经验似然方法应用到不完全数据的统 计分析，发展了所谓的被估计的经验似然、调整经验似然及b o o t s t r a p 经验似 然应该指出，经验似然的思想至少可以追溯到t h o m a s 和g u n k e m e i e r ( 1 9 7 5 ) 用k a p l a n m e i e r 曲线估计生存概率，他们直观地推测生存概率的经验似然比置 信区问有近似正确的覆盖程度注意到这一方法的本质是在约束条件下极大 化非参数似然比，感兴趣的参数由约束条件带入这一极大化似然比中o w e n 北京工业大学理学硕士学位论文 将这一思想方法应用到完全独立同分布样本下总体均值这一简单而重要情形 的统计推断由于o w e n 使用线性约束条件，从而表明了这一方法有非常一般 的应用，这是因为统计中许多估计方程关于感兴趣的参数或参数的某已知函 数是线性的或许多统计模型的参数可由关于该参数或它的某已知函数的线性 方程决定注意到这一特点，许多统计学家将o w e n 在完全样本下的经验似然 方法推广到了不完全数据类型的统计推断 那么什么是经验似然呢? 设爿1 ，恐，独立有共同的累积分布f ，则f 的非参数似然是 三( f ) = h f ( 五) ) ， 这里f ( 五) ) 是分布f 在墨处的概率质量，其中t = l ，2 ，n 大家知道 噩，恐，墨刑的经验累积分布函数r = n 一1 使上式达到极大，其 中一。( a ) = z x 州也就是r 是f 的非参数极大似然估计 在参数推断中人们利用参数似然比进行假设检验与置信区间估计类似 的，在分布完全未知的情况下非参数似然比 即) = 怒 也可以用于统计推断，不象参数似然比，非参数似然比中不包含未知参数一 个自然的问题是如何使用它对参数作统计推断注意到一些参数p 是总体分 布的泛函，即p = t ( f ) r 一，其中r ( ) 是分布f 的菜泛函，f 属于某分布类 l ，如总体均值及分位点等就是有上述形式泛函的例子为了对t ( f ) ：p 作检 1 2 第1 章绪论 验，o w e n 2 9 定义如下经验似然比统计量 搋( 口) = s u p r ( f ) i t ( f ) = 口，f 毋 f 很显然，经验似然比实际上是一种截面非参数似然比函数，它要求f 在 满足约束条件t ( f ) = 口下使非参数似然比达到极大( 在无约束条件时，极大 非参数似然比为1 ) ，而参数日由这一约束条件引入这一极大似然比中，从而得 到关于参数p 的极大截面非参数似然比函数，用这一非参数似然比作假设检 验、区间估计或进行其他统计推断，这一方法就是所谓的经验似然方法，如果 蛇 r o ，经验似然假设检验拒绝凰：t ( f ) = ，而似然置信域为 口：a c e ) t o 其中r o 是某l 缶界值 注意到驻( 是关于非参数似然比在限制条件下关于f 求极大，这种形式 的定义显然不利于计算下面给出与上面定义等价但容易计算的形式由跪( 们 的定义，注意到只有那些在观察值点有正概率质量的离散分布类中求极大 我们首先假设数据没有”结”( 当有”结”时，根据o w e n w ，所求的经验似然 是相同的) ，在没有”结”时，我们设分布f 为耳，即f p = 妻p ；a 如注意到 0 = l 工( 晶) = n ，因而 显然l a g r a n g e 法可应用于计算乳( 口) 经验似然应用于推断的另一个问题是如何确定临界值r o ，这一问题实际上 1 3 p 。 划 昂嚣 。 l 豌 北京工业大学理学硕士学位论文 归结为求乳( 口) 的渐近分布本文的重要定理之一就是证明了似然比统计量的 渐近卡方性质，这一特性就形成了经验似然推断的基础 经验似然推断在总体均值推断、线性模型推断、分位数推断、估计方程推 断及利用辅助信息进行推断等几种重要统计推断中有着广泛的应用，是一种 重要的统计推断方法 1 4 本文主要研究内容 本文考虑半参数回归模型： k = 群卢+ 9 ( 正) + 岛，1 l 曼忆 其中“k ，置，丑) ，1 i 茎n ) 是来自总体( y , x ，t ) 的i i d 随机样本，( x i ，互) r ，p 是未知参数，9 ( ) 是定义于【o ，1 】上的未知函数，k ，l i n ) 为i i d 的随机误差，e e ；= 0 ，e e ；= 口2 ，且 亿，五) ，1sisn ) 与k ，1 isn ) 相互独立 近年来，半参数模型的研究已成为一个重要的研究方向文献中一般用最 j 、- - 乘法估计参数分量p ，并且由此来构造它的置信区间，而非参数分量g 的 估计问题的大多采用样条估计，核估计、近邻估计等本文采用了新的推断方法 一对数经验似然推断，这种方法为半参数回归模型的研究提供了新的途径定 理2 1 证明了所构造的经验似然比统计量的渐近性质，这为构造参数p 的置信 区间提供了理论依据实践证明，经验似然置信区间有更精确的区间覆盖率 用经验似然推断方法可来构造模型中参数的置信域或进行假设检验是o w e n 。9 在1 9 8 r 年提出的，它主要是由样本经验分布是总体分布的非参数极大似然估 第1 章绪论 计这一思想的启发，从而构造出了一个似然比统计量近年来，国内一些学者 也作了相关方面的研究王启华等人1 3 9 , 4 0 i 对右删失数据进行了经验似然线性 回归分析，并得出了经验似然置信区间有更精确的区间覆盖程度目前，也有 很多学者对固定设计下半参数回归模型的经验似然推断进行了深入的研究 秦永松【。目对一类固定设计下的半参数模型进行研究，得到了对数经验似然比 统计量的渐近性质w a n g ，q h 【5 1 】和j i a ns h i 5 3 等人也对这类模型也进行了 深入的研究 本文是针对随机设计点列下一类半参数回归模型的研究，文中得出了似 然比统计量的渐近卡方分布，并且采用经验似然方法构造参数p 的置信区间， 通过模拟比较得出这种方法的覆盖概率优于一般方法，因此对它的研究有着 重要的意义 具体方法如下：首先假设模型中的参数是已知的，则可定义9 的核估计 ，于是在给出一些基本假设条件后我们提出了一个对数经验似然比统计量， 并且证明了这个经验似然比统计量的重要统计特性一渐近卡方性这就为进 行参数假设检验和构造置信域奠定了基础定理2 2 研究了经验似然比估计量 的渐近正态性最后我们得出了g 的估计g 。的相合性而当。= 1 时，定理 2 3 给出了g 的估计g 。的一般收敛速度；当选择合适的窗宽h 时，g 达到了 最优收敛速度，即鳙( t ) 一9 ( t ) = m 一 ) 并且对于有限样本时的形态用模拟 方法进行了比较研究 经验似然推断是一个历史不长，尚在发展中的领域目前取得的成果中， 有一些还不是最终的本领域的研究主要属大样本性质，所得到的结果也属大 1 5 北京工业大学理学硕士学位论文 样本结果，还有必要对小样本容量时，研究它的性质再则，对大样本统计的 一些基本问题，如渐近正态性，有效性已具有一些深度，但有些基本问题还未 得到解决或最终解决再加上半参数回归模型复杂的结构，用这种方法对半参 数回归模型进行统计推断，可以预料，将遇到不少困难用具有诸多优点的经 验似然方法对具有很强解释能力的半参数回归模型进行研究，在实际中有着 更为广阔的实用背景深信随着二者在理论和方法上的成熟，对经济、医药、 工农业生产等方面将起着积极的促进作用 1 5 本文结构 由于本文中研究的模型有着广泛的应用背景，因此我们在第一章前半部 分，简约介绍了半参数回归模型的基本知识、近年来的研究方向以及所用统计 分析方法第一章的后半部分，我们介绍了经验似然推断的发展状况，包括了 此类推断方法产生的原因，对典型统计模型中推断的影响这两部分主要是作 为正文的预备知识而出现的，所以我们只是做了简略介绍 本文的第二章主要是半参数回归模型的统计推断理论第一、二节介绍了 所要研究的统计模型和经验似然比方法，最后两节是对模型中的参数的统计 推断方法以及理论性质的证明 第三章则注重于用数值结果说明本文提出的统计推断方法的优良性我们 通过抽取随机数，进行m o n t e c a r l o 模拟，以此验证新的方法中的优良性质 附录是模拟的源程序，以便读者参考 1 6 第2 章主要结果及证明 21 引言 第2 章主要结果及其证明 半参数回归模型是近年来提出的一个重要统计模型因为这种模型综合 了参数回归模型与非参数回归模型的特点因此在不少实际问题中，它是一个 更接近于真实、更能充分利用数据信息的方法在应用中，该模型较单纯的参 数模型或非参数模型有更大的适应性在理论上，处理这种模型的方法包括了 参数回归中习用的方法又包括了较近发展起来的非参数方法，但也并非两类 方法的简单叠加可以认为其复杂性和难度都超过了单一性质的回归模型 因而可以说，它实在是一个实用上有重大意义且在理论上富有挑战性的统计 模型 考虑半参数回归模型： x = 霹卢+ 9 ( 正) + e i ， 1s i sn ， ( 2 1 1 ) 其中 ( k ，五，t d ，1 i n ) 是来自总体( v , x ，t ) 的i i d 随机样本，( 墨，丑) 础r ，卢r 4 是朱知参数，9 ( ) 是定义于 0 ，1 上的未知函数， e f ，l i n 为i i d 的随机误差，e e i = 0 ，e e i = 口2 ，且 亿，弛) ，1 茎i n ) 与 e ，1s i n ) 相互独立 文献中已有若干研究模型中参数分量卢和非参数分量9 的估计问题的文 章，其中大都综合了参数和非参数的方法，非参数方法大多采用样条估计【4 】、 核估计f 2 和近邻估计【5 】参数方法基本都是最小二乘法基于此方法得到的 估计不稳健，文献【1 1 利用多项式逼近得到了卢和9 的一类稳健的m 估计矽 1 7 北京工业大学理学硕士学位论文 和孰；在一定条件下证明了卢具有渐近正态性薛留根【2 8 ) 在一定条件下构造 了口的随机加权m 估计量矿，并证明了而( 卢+ 一西) 的分布是渐近有效的， 该结果可以用于构造卢的大样本置信区间和进行卢的假设检验 经验似然方法是研究半参数模型的一种新途径，它可以用来构造模型中 参数的置信域或进行假设检验用这种方法构造置信区域是o w e n 2 9 】在1 9 8 8 年提出的，它主要是由样本经验分布是总体分布的非参数极大似然估计这一 思想的启发，从而构造出了一个似然比统计量q i n 和l a w l e s s 3 1 把对数经验 似然方法引入了半参数模型，可以看到经验似然比方法对参数和分布的估计 都是渐近有效的，而且其检验的统计量具有渐近x 2 分布由于这种方法的优 良性质，它正越来越引起经济学家、生物学家和统计学家的重视模型( 2 11 ) 用这种方法处理也是很有意义的，虽然还有必要对这种方法进行进一步的研 究，特别是在小样本容量的时候，但它对非参数和半参数模型中检验和区间估 计提供了一个很有价值的方法 2 2 方法和结果 首先假设卢是已知的，则( 2 1 1 ) 可看作一个非参数回归模型 m 一盖丁卢= 9 ( 正) + e i ， 1 i n ( 2 2 1 ) 对9 ( ) 采用w a t e r s o n - n a d a r a y a 估计 如( t ) 兰如( ，p ) 兰w o ( t ) ( 巧一碍口) ， ( 2 2 2 ) j = l 其中巾) = ( 鲁) 耋k ( 警) ；耳( ) 是一个非负函数，称之为核函数； h = h n 是一个收敛到0 的常数列，称之为窗宽；w 锄( ) 是仅依赖于丑和t 的 1 8 第2 章主要结果及证明 其中w 南( t ) = k ( 等) 量k ( 警) ；k ( ) 是一个非负函数，称之为核函数； h = h 。是个收敛到0 的常数列，称之为窗宽；w ( ) 是仅依赖于噩和t 的 权函数令 毫= x i 一w 南( 丑) 玛，玩= k 一w a t , ) y j j = lj = l 我们提出一个对数经验似然比统计量 r ( 卢) = m a x l o g ( n p l ) ， ( 2 2 3 ) t = 1 其中p 1 ，m 满足 p l 0 ，i = 1 ，n ，烈= 1 用l a r g r a n g e 乘子法，令 ( 2 2 4 ) ( 2 2 5 ) 凰= 1 。g p l + n l 。g n + t ( 1 3 ) ( 1 一n ) 一a 7 ( 卢) 鼽置一氨( 正) 一碍口) l = li = 1 i = 1 由辩= o 以及垂a 鬻= o 得 】1 鼽=n 1 + a ( 卢) 磁( m 一如( 丑) 一膂卢) 所以 n r ( 卢) = 一l o g ( 1 + a 7 ( 卢) 。或( m 一如( 正) 一丑彳卢) )( 2 27 ) t = 1 由( 2 2 5 ) 知a ( 卢) 满足 ：耋熹1 辚筹焉辄协。固n 是j + 7 ( 卢) 置( m 一口。( 五) 一珥卢) 。 、7 1 9 0 l l 口 t z x一 噩n 争 k x p 。日 北京工业大学理学硕士学位论文 极大化r ( 卢) 可得p 的极大经验似然估计声由此及( 2 2 2 ) 式可定义g 的估计 鲒( t ) = ( t ) ( 巧一碍口) j = l 类似于w i l k s 定理，o w e n 的对数经验似然比统计量渐近于妒分布因 此我们也希望r ( 卢) 也是一个渐近x z 分布，为此做以下的一些假设： ( i ) 乃在 0 , 1 j 上有连续密度r ( 2 ) ，且o 。! i n f 1r ( 、扪_ 。s ( u t 1 p r ( 。) o o ( i i ) 对缸【o ，1 1 ，记9 l ，( t ) = e ( x 1 ，l 噩= t ) ，1 jsp 用l l 表示舻中欧 氏距离且g 和9 1 5 ，l j p 均满足。阶l i p s h i t z 条件( i 2 q s l ) ( i i i ) e x ii 2 0 ，使得 m i ( i “i p ) k ( u ) m 2 i ( 1 u 1 茎p ) 且k ( ) 在【一p ，翻上有界变差 ( v i ) n h 2 l o g n _ o 。，n _ 0 ( v i i ) 记, n a t ) = 日扛玎陬= t ) ， 酊= 而一m j ( ) ，i j p ，e | | 凡 f 4 。，其中 h z = ( 1 ， 。p ) 7 ( v i i i ) e ( y 1 2 陬= t ) 和e ( x 毛| 丑一t ) ，l j 兰p 都是t 的有界函数 现在给出主要的定理： 定理2 1 ：假设条件( i ) 一( v i i ) 成立，当真参数卢= 阮时，一2 兄汹) x ： 定理2 2 ：在定理2 1 的条件下，伤( 口一z o ) 三n ( 0 ，口2 e 一1 ) 定理2 3 ：假设条件( i ) 一( v i i i ) 成立，靠( t ) 是g 的相合估计且当o ：l 第2 章主要结果及证明 时，有 鲩( t ) 一9 ( ) = o p ( ( n h ) 一1 2 ) + q ( h ) 特别地，当选取h ：g n 一 时， 9 0 ( t ) 一9 ( t ) = o p ( n h 2 3 几个引理 为方便引进下列记号，对1 i n ，五= ( 置h 一，墨p ) r 咄5 五( k 一如( 丑) 一碍p ) ，蠡= g ( 死) 一w 西( 五) 9 ( 弓) j = l nn 也= e ；一w o ( 噩) 勺，臣= w o ( 正) q ， j = l j = 1 戈7 = ( 毫，一，赢) ，廊哪( 正) = 哪( 正) 一( 正) 。， k = l g ( t ) = ( 9 ( n ) 一赫( 丑) ，9 ( t n ) 一如( 矗) ) ， 下面先证明一些基本的引理 引理2 1 假设条件( i ) 、( v ) 、( v i ) 成立，若函数，满足a 阶l i p s h i t z 条件，则有 n s u 。p 1 忡一善( 町( 置) = o ( 胪s ( 2 3 1 ) 证明；简单计算可得 蝴m 卜击群锄聃坤w 小 ( 23 固 + 矗善耳( 宁) ( ，( 噩) 一，( t ) ) ( 南一杀，) ， 2 1 北京工业大学理学硕士学位论文 其中r 。( t ) = 矗耋k ( 牛) 由密度核估计的一致相合性知( 见【1 9 1 定理2 1 3 ) s u pi r n ( t ) 一r ( t ) ；0 ，n s o t 1 由( 2 32 ) 和条件( i ) 知要证( 23 1 ) 只需证明 硒u p 怯喜k c 宰w 阱仲，l = 。( 吼一 以f 记噩的分布函数，r 记丑， ，的经验分布函数，则 j 嚣s u p 羞( 警) i 丑一t l “ = 警s u p ，k ( 宁) 阻一t i 。d r ( u ) = m 8 u pj 1 u p h a - l k ( 吼u i 。以( 。一“) s m p a h c * 一1s u p l f k ( “) d ( 。r o 一h ) 一f ( 亡一u ) ) i + m p 。 “- s u pf ( “) 4 f ( 。一“) f g 俨- s u p l b ( * ) 一f ( 。) i + 4 4 p 。“。8 , ：p fk ( “) 7 0 一“6