已阅读5页,还剩62页未读, 继续免费阅读
(概率论与数理统计专业论文)非线性回归模型的经验似然推断.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
摘要 摘要 非线性回归模型是为了更准确地描述数据之间的联系而引入的。该模型 可以用来描述物理分析、化学分解、生物医学,工程技术等方面的许多现象, 在自然界的各种学科研究中有着广泛的应用因此,积极开展非线性回归模型 的研究在理论与实际中日趋重要现有文献中对非线性回归模型的研究已经 取得了可喜的成果,但是大部分文献集中在模型中参数的点估计及其渐近性 质方面,为了得到未知参数的估计精度,往往需要构造参数的置信域,而这正 是本文的主要研究内容 经验似然是o w e n 在1 9 8 8 年提出的一种非参致统计推断方法,它在置信 域的构造方面有许多优点除有域保持性,变换不变性。b a r t l e t t 纠偏性以及 无需构造枢轴统计量等优点外。更重要的是无需估计渐近方差且置信域的形 状由数据自行决定自从经验似然方法提出以来,引起了统计学家的极大兴 趣,他们已经把经验似然方法成功地应用到各种统计模型和领域 本文第二章研究了协变量带有测量误差的非线性回归模型基于经验似 然方法构造了模型中未知参数的经验对数似然比统计量在适当的条件下证 明了所提出的统计量渐近于卡方分布同时,为了克服在构造经验对数似然 比统计量过程中遇到的计算多重积分的困难,本章又提出了一个基于m o n t e c a r l o 模拟的经验似然方法,并证明了基于这种方法构造的统计量仍渐近于卡 方分布根据以上两个结果构造了未知参数的置信域,同时研究了由模拟方法 得到的参数的置信域的有效性问题 北京工业大学理学硕士学位论文 第三章研究了含有非参数分量的非线性回归模型利用经验似然方法构 造了模型中未知参数的经验对数似然比统计量在一定条件下证明了所提出 的统计量渐近于卡方分布,并利用所得结果构造了参数的置信域另外,本章 也用最小二乘方法构造了未知参数的估计量,并证明了它的渐近性质最后, 通过模拟研究比较了模型误差方差取不同情况时置信域的精度。并把经验似 然方法和最小二乘方法进行了比较研究表明,经验似然方法在参数的置信域 精度及其覆盖概率大小方面优于最小二乘方法 关键词一经验似然非线性回归模型,卡方分布,置信域, m o n t c a r l o 模拟 a b s t r a c t a b s t r a c t t h en o n r u e a rr e g r e s s i o nm o d e lc a nb eu s e dt oe x p l a i na c c u r a t e l yt h er e - l a t i o u s h i pb e t w e e nd a t ai tc a nb eu s e dw i d e l yi nm a n ys c i e n t i f i cr e s e a r c h , e s p e c i a l l y , i nt h ef i e l do fp h y s i c s ,c h e m i s t r y , b i o l o g y , e n g i n e e r i n ga n d8 0o n t h e r e f o r e ,i ti sn e c e s s a r yt os t u d yt h ee s t i m a t i o no fn o n l i n 咀rr e g r e s s i o nm o d e l , w h i c hi sa ni m p o r t a n tp a r to fd e a l i gw i t hr e g e r s s i o np r o b l e m sa n dp l a y sa n i m p o r t a n tr o l ei nt h e o r ya n dp r a c t i c e a l t h o u g hp l e n t i f u lr e s u l t so nt h en o n - l i n e a rr e g r e s s i o nm o d e lh a v eb e e no b t a i n e di nc u r r e n tl i t e r a t u r e s ,m o s tr e s u l t s m a i n l yf o c u so i lt h ee s t i m a t o r so fp a r a m e t r i cc o m p o n e n t sa n dt h e i ra s y m p - t o t i cp r o p e r t i e s i no r d e rt oi n c r e a s et h ea c c u r a c yo fe s t i m a t o r so fp a r a m e t e r s , t h ec o n f i d e n c er e g i o n so fp a r a m e t e r so f t e nn e e dt ob ec o n s t r u c t e dw h i c hi st h e m a j o rw o r k so ft h i sd i s s e r t a t i o n e m p i r i c a ll i k e l i h o o dp r o p o s e db yo w e n ( 1 9 8 8 ) i san o n p a r a m e t r i cm e t h o d o fs t a t i s t i c a li n f e r e n c e ,i th a sm a n ya d v a n t a g e so nt h ec o n s t r u c t i o no fc o n - f i d e n c er e g i o n s b e s i d e st h er a n g ep i 瑚豇们go fr e g i o n s ,t r a n s f o r m a t i o ni n - v a r i a n c e ,b a r t l e t tc o r r e c t i o na n dn on e e df o rc o n s t r u c t i n gap i v o t a ls t a t i s t i c , i np a r t i c u l a r ,e m p i r i c a ll i k e l i h o o dd o s en o ti n v o l v ev a r i a n c ee s t i m a t i o na n d t h es h a p ea n do r i e n t a t i o no fc o n f i d e n c er e g i o n sb a s e de m p i r i c a ll i k e l i h o o da r e d e t e r m i n e de n t i r e l yb yt h ed a t a s i n c et h ee m p i r i c a ll i k e l i h o o dm e t h o dw a s p r o p o s e d ,i th a sa r o u s e dg r e a ti n t e r e s t so fs t a t i s t i c a n s e m p i r i c a ll i k e l i h o o d i 北京工业大学理学硕士学位论文 h a sb e e ns u c c e s s f u l l ya p p l i e dt oal a r g ec l a s so fs t a t i s t i cm o d e l sa n dm a n y i nc h a p t e r2 ,t h en o n l i n e a re r r o r s - i n - v a r i a b l e sr e g r e s s i o nm o d e li sd i s - c u s s e di nd e t a i l t h ee m p i r i c a ll o g - l i k e l i h o o dr a t i os t a t i s t i cf o rt h eu n k n o w n p a r a m e t e r si sp r o p o s e d i no r d e rt oo v e r c o m et h ec o m p u t a t i o n e dd i m c u l t y , w ea t s op r o p o s eas m u l a t i o n - b a s e de m p i r i c a ll o g - l i k e l i h o o dr a t i os t a t i s t i cf o r t h eu n k n o w np a r a m e t e r s i ti ss h o w nt h a tt h et w op r o p o s e ds t a t i s t i c sh a v e t h ea s y m p t o t i cc h i s q u a r e dd i s t r i b u t i o n su n d e r8 0 m es u i t a b l ec o n d i t i o n s ,a n d h e n c et h e yc a nb eu s e dt oc o n s t r u c tt h ec o n f i d e n e er e g i o n so ft h ep a r a m e t e m s a tt h ee n do ft h i sc h a p t e r ,w ea l s od i s c u s s e dt h ee m c i e n c yo ft h ec o n l q d e n c e r e g i o n so ft h eu n i 口k 唧_ p a r a m e t e r sw h i c hi 8o b t a i n e db yt h es m u l a t i o n - b a s e d c h a p t e r3 d e a l sw i t ht h en o n l i n e a rs e m i p a r a m e t r i cr e g r e s s i o nm o d e l ia n d c o n s t r u c t st h ee m p i r i c a ll o g - l i k e l i h o o dr a t i os t a t i s t i cf o rt h eu n l m o w i lp a r a m e - t e a s i ti ss h o w nt h a tt h ep r o p o s e ds t a t i s t i c sh a v et h ea s y m p t o t i cc h i - s q u a r e d d i s t r i b u t i o n ,a n dh e n c ei tc a nb eu s e dt oc o n s t r u c tt h ec o n f i d e n c er e g i o n so f t h ep a r a m e t e r s i na d d i t i o n ,t h el e a s ts q u a r e se s t i m a t o ro fu n k n o w np a r a m e t e r i sc o n s t r u c t e da n di t sa s y m p t o t i cb e h a v i o ri sp r o v e d f i n a l l y , t h ea c c u r a c i e s o fc o n f i d e n c er e g i o n sa r ec o m p a r e du n d e rd i f f e r e n te r r o rv & t i a n c ob ym e 锄o f t h es i m u l a t i o ns t u d y w ea l s oc o m p a r et h ep r o p o s e dm e t h o d l ,i t ht h el e a s t a b s t r a c t s q u a r e sm e t h o di nt e r m so ft h ec o v e r a g ea c c u r a c i e sa n da v e r a g el e n g t h so ft h e c o n f i d e n c ei n t e r v a l 8 s i m u l a t i o nr e s u l t si n d i c a t et h a to u rm e t h o dp e r f o r m s m u c hb e t t e rt h a nt h el e a s ts q u a r e sm e t h o d k e y w o r d s :e m p i r i c a ll i k e l i h o o d ,n o n l i n e a rr e g r e s s i o nm o d e l ,c h i - s q u a r e d i s t r i b u t i o n , c o n f i d e n c er e g i o n ,m o n t ec a r l os i m u l a t i o n v 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作 及取得的研究成果尽我所知,除了文中特别加以标注和致谢的地 方外,论文中不包含其他人已经发表和撰写过的研究成果,也不包 含为获得北京工业大学或其他教育机构的学位或证书而使用过的材 料,与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定, 即:学校有权保留送交论文的复印件,允许论文被查阅和借阅;学 校可以公布论文的全部或部分内容,可以采用影印、缩印或其他复 制手段保存论文 ( 保密的论文在解密后应遵守此规定) 签名:j 扫虚一一导师签名:褴日期:兰固盥 第1 章绪论 第1 章绪论 1 1 引言 回顾回归分析研究的历史,大致在二十世纪七十年代以前,重点在于参数 回归模型尤其是线性回归模型的研究以最z b - 乘估计为核心的线性回归已 经在许多领域得到广泛的应用,取得可喜的成绩但是在现实世界中,严格 的线性模型并不多见,它们或多或少都带有某种程度的近似随着科学技术 和近代统计学的飞速发展,不能简单化为线性回归的非线性模型越来越多农 业、生物、经济,工程等各部门都提出许多非线性回归以及其它非线性统计问 题因此。积极开展非线性模型的研究在理论与实践中日趋重要非线性模型 是线性模型的自然推广,也是必然发展趋势目前对线性回归模型的估计理论 研究已臻完善,而对非线性回归模型估计理论的研究还不成熟对非线性e v 回归模型和非线性半参数模型的研究尚处于初级阶段,因此无论是在理论上 还是在实践中对非线性回归模型进行研究都是有必要的 本文应用经验似然方法对非线性回归模型进行研究,主要研究内容有两 点- 是针对协变量带有测量误差的非线性回归模型,构造了参数的经验对数 似然比统计量此外,为了克服计算困难,提出了个基于模拟的经验对数似 然比统计量并证明了所提出的这两种统计量都具有渐近p 分布;二是应用 经验似然方法构造了非线性半参数回归模型中参数的置信域在论述本文的 主要内容以前,我们先对所研究的模型,采用的估计方法以及已有的工作做一 下简单介绍 1 2 非线性模型简介 非线性科学在过去的三十多年问激活了自然科学、工程技术与社会科学 的几乎全部的科学研究人员,并向人们提出了划时代的挑战非线性科学涉及 北京工业大学理学硕士学位论文 到自然科学的方方面面,是研究复杂现象的类新学科,近几十年来,随着耗 散结构、混沌力学分形和分维自组织、协同学、超循环与微循环、奇异吸 引子与浑沌动力学等理论的问世与发展,使我们认识到了非线性是切复杂 之源,确定性系统中的混沌现象使我们意识到,在自然界普遍存在一种长久以 来为我们所忽视的特殊的运动形式非线性科学是贯穿信息科学生命科学, 空间科学、地球科学和环境科学等领域的一门学科,对自然界的各种现象的描 述。有时只有建立非线性模型才能真实的反映客观规律,因此,要正确地研究 各种自然现象乃至社会现象,就必须研究非线性同题近3 0 年来,非线性科 学在探求非线性现象的普遍规律,发展普适的非线性模型以及处理方法方面 已经取得了丰富的成果但是,非线性问题远比线性问题复杂,因此在相当长 的段时间内,非线性理论和方法将仍是一个重要的研究领域 现实世界中,严格的线性模型并不多见。他们或多或少都带有某种程度的 近似随着科学技术和近代统计学的飞速发展,不能化为线性模型的非线性模 型越来越多农业,生物,经济和工程技术等各个部门都提出了许多非线性模 型以及其它非线性统计问题,因此,积极开展非线性模型估计的研究在理论和 实践中日趋重要非线性模型估计是线性模型估计的自然推广,目前对线性参 数模型估计的理论研究巳臻完善,而对于非线性参数模型估计的研究还不成 熟对非线性e v 模型和非线性半参数模型估计的研究尚处于初级阶段所以 从理论上讲,有必要对非线性模型估计问题进行进一步探讨和研究 非线性回归模型的研究始于六十年代初期,八十年代后发展较快,现在 已经成为- - t - j 重要的统计学科在不少实际问题中,要考察对象y ( 响应变量) 同影响y 的因素x ( 解释变量) 之间的关系我们知道传统的线性模型当假设 模型成立时,其推断有较高的精度,但当参数假定与实际背离时,其拟合情况 就很差针对这种情况。我们必须扩展线性模型引入非线性模型 2 第1 章绪论 考虑非线性回归模型 y = ,( 毛卢) + e ( 1 1 ) 其中,是个已知回归函数。z 为解释变量,y 为响应变量。卢印 为未知参数,为不可观测的随机误差项,且e ( ) = 0 ,v a r ( e ) = 叮2 0 0 对于大量的非线性回归模型来说,我们并不知道”真实”的模型,但可以 通过情况分析,观察散点图和相关关系等方法。来选择个较为合理的模型 随机扰动独立于响应变量表明人们必须很好地测量控制变量或预测变量,还 表明不包含在模型中的重要变量都不会与响应项有系统性关联随机扰动具 有零均值,这是一个简化的假设,它把未知参数的个数减少到易于处理的水 平对于线性模型该假设并不重要,因为所有观察值的非零期望值都可在期望 函数中引入一个常数项但是,对于非线性回归模型,该假设是重要的,因为 许多期望函数不包含常数项这个假设的重要意义在于我们假设随机扰动之 间不存在由于某种意外变量引起的系统偏差随机扰动具有方差齐次性假设 的实际价值要比理论价值更为重要因为对于异方差的情形,从实际的观点 来说,人们必须描绘方差的变化情况,而这需要给出进一步的假设条件,或者 把重复试验得到的信息结合到已有的分析中,或者进行数据变换当方差为常 数时,似然函数非常简单,因为这时的参数估计独立于多余参数盯2 本假设的 主要意义在于,所有的数据值具有相同的不确定性对拟合后的模型作残差关 于拟合值的残差图,可以检验这假设的合理性随机扰动项相互独立表明不 同的随机扰动不系统相关,而这往往可以通过随机化使之更为合理 对于非线性回归模型的研究已有许多研究方法如:似然方法、贝叶斯方 法,样本理论方法等,他们都有各自的特点,其中线性似然方法最易于应用 除了参数估计以外,许多非线性回归的程序还给出了参数的线性近似的标准 差和参数之间近似的相关矩阵就线性近似而言。主要缺点在于我们不知道有 3 北京工业大学理学硕士学位论文 兴趣的区域内的近似是否合理这种近似涉及到平坦性和均匀坐标的假设, 往往其中个或两个假设都不正确。均匀坐标假设不正确是最常见的更多关 于非线性回归模型的详细讨论可以参见文献【1 】 1 3 半参数模型的研究简况 参数,非参数及半参数估计的提法源于数理统计学。并在数理统计学颁域 先后形成了参数统计、非参数统计和半参数统计分支统计学的基本任务是利 用观测的样本去推断总体的一些性质,推断过程中经常要对研究的总体做一 些假定,然后估计未知参数或未知函数或对它们做某种假设检验非参数及半 参数统计广泛应用于经济、工业技术、气象和化学等领域中数据的处理 基础数理统计的许多方法是对总体的分布假定了个参数模型,未知的 是模型中的参数,要解决的问题是估计这些未知参数或对它们做某种假设检 验参数统计,粗略地说,就是常见的一套基于正态假设的统计方法包括假 设检验和统计推断,如线性回归、多元统计分析,x 2 检验,t 检验和f 检验 等 对于参数估计不论是线性模型还是非线性模型,其估计函数的形式都是 已知的,只是参数待定非参数估计函数的形式是未知的非参数估计的理论 和方法,自s t o n e 以后已取得重要进展,相对于参数估计有一些优点,且与参 数估计有互补的功效。但从实际应用中来说,有它的局限性当观测值与参数 的函数形式未知,观测值无法表达为某些参数的函数时,非参数模型能较准确 地描述观测值,有较大的适应性嘲但当二者之间有明确的关系时用非参数 估计进行处理。则信息损失太多当观测值与部分参数之间的关系很明确。而 与另一部分参数的关系因为复杂而无法用一明确的关系式表达时。可以用参 数模型和非参数模型的综合模型一半参数模型来表达这种模型既有参数 分量,又含有非参数分量在理论上处理这种模型的方法融合了参数回归模型 4 第1 章绪论 中常用的方法和较近发展起来的非参数方法,但也并非这两种方法的简单叠 加总之,可以认为其复杂性和难度都超过了单性质的回归模型在应用 上,这种模型可以描述许多实际问题,有较强的解释能力,比单纯的参数模型 和非参数模型有更大的适应性例如在生物学,传染病学、森林、经济学和遥 感等领域有着广泛的应用 半参数回归模型的般形式为 y = ( x ,卢) + g c t ) + s ( 1 2 ) 其中,为观测值与部分参数问的明确关系。是模型的参数分量,可为线性或 非线性函数;f ( ) 用来表达观测值与参数之间无明确函数关系的部分,称为 模型的非参数部分当( x ,卢) = 卢时,模型( 1 2 ) 称为部分线性回归模 型;当,( x ,卢) 是五卢的非线性函数时,模型( 1 2 ) 称为非线性半参数回归模 型 当今统计界研究的半参数模型一般为线性半参数回归模型( 部分线性回 归模型) ,对半参效回归模型的估计方法研究的较多的主要是以线性模型为基 础,来构造线性半参数模型中参数分量和非参数分量的估计,在给定的条件下 讨论参数分量估计和非参数分量估计的大样本性质而对于非线性半参数模 型的估计问题,在已有文献中并不多见 对于部分线性回归模型,自e n g l e 等1 3 】在研究气候条件对电力需求影响 这一实际问题时首次提出部分线性回归模型以来,文献中已出现了一系列丰 富的研究成果由于此模型结合了参数回归模型和非参数回归模型,因此文献 中对这模型的处理方法一般都是融合了参数回归中常用的方法和近年来发 展起来的非参数方法i - l e c l a n a n n ,p d c e n ,c h e n 6 1 和g a o l 7 等学者先后讨论 了当g ( ) 的估计分别取样条估计、核估计、近邻估计时的渐近正态性,强弱 收敛速度及渐近有效估计研究的重点是设法在自然合理的条件下获得卢的 5 北京工业大学理学硬士学位论文 估计量的参数性质的最优收敛速度n 一 和g ( ) 的估计量的非参数性质的最优 收敛速度n - j 寿t ( r 表示g 的光滑度) 其中条件主要施加在x 和t 的随机依 赖关系。非参数分量g ( ) 的光滑性质以及具体的非参数法的构造上 r o b i n s o n s 在非参效分量9 ( ) 取n a d a r a g a - w a s t o n 核估计时构造了参数 分量卢的加权最小二乘估计卢和非参数分量9 ( ) 的估计参( ) ,在一些正则条 件下,研究了估计声的渐近正态性及卢和坌( ) 的弱收敛速度 h a m i l t o n 和t m o n g g 采用局部线性回归方法构造了参数和非参数分量 的估计,并证明了估计量的渐近性质m a m m e n 和v a nd eg e e r 1 0 应用经验 过程理论构造了惩罚拟似然估计,并推导了该估计的渐近性质 l i a n g 1 1 l 系统地研究了多种场合下卢的渐近有效估计的构造 s h i t 2 1 利 用分快多项式逼近方法得到了卢和g ( ) 的稳健m 估计和雪( ) ,在定条件 下证明了声具有渐近正态性,并得到了声和雪( ) 的弱收敛速度柴根象1 1 如1 1 应用小波方法研究部分线性回归模型,建立了回归参数卢和未知函数9 ( ) 的 小波估计卢和参( ) ,证明了它们具有优良的大样本性质,并讨论了误差方差的 小波估计及其渐近性质 以上研究大都是在( x 7 ,t ) 是随机设计点列情况下进行讨论的当( x 7 ,即 是固定设计点列时的研究成果相对较少而非随机设计情形并不是随即设计 情形的特例,随机设计情况下的结果往往并不能简单的推广到非随机设计情 形。因此二者的处理方法和假设条件也有区别胡舒合【1 q 和高集体1 1 “l 珥等 分别研究了当9 ( ) 的估计取一类非参数权函数估计时,卢的最小二乘估计和 加权最小二乘估计的强相合性、渐近正态性,收敛速度b e r r y - e s s e e n 界限以 及重对数律等方面的大样本性质王启华【1 口,删在截断样本下研究了卢和9 ( ) 的估计的强相合性,p 函2 ) 阶平均相合性和渐近正态性 柴根象等【2 1 】基于部分线性回归模型的可加性,提出了新的二阶段估计 6 - 第1 章绪论 方法。得到了卢和g ( ) 的和权函致形式的估计量声和争( ) 在x 为固定设 计点列,t 为随机设计点列的情形下,证明了雪( ) 的强相合性和一致强相 合性,其一致强收敛速度可达到非参数回归函数估计的最优一致强收敛速度 ( n l o g n ) | ,同时得到了p 的渐近正态性 薛留根吲将随机加权方法应用于部分线性回归模型的研究,证明了用随 机加权统计量的分布逼近原估计量误差的分布的强有效性,并给出了估计量 的最有收敛速度和随机加权逼近速度薛留根伫3 驯研究了部分线性回归模型 中误差方差估计之分布的b e r r y - e s s e e n 界和非一致收敛速度 对于非线性半参数回归模型,文献中也有些较为丰富的研究成果z h u 等陶在( x ,t ) 为非随机设计点列的情形下。基于”广义截面似然”的方法 得到了参数分量的渐近有效估计和非参数分量及其一阶二阶导数的估计的 强收敛速度亿一 l o g n 朱仲义等嘲利用微分几何的方法对此模型进行了研 究,得到了参数的极大似然估计及其渐近性质,并研究了估计量的信息损失以 及样本信息与观察信息之间的偏差的极限定理问题崔恒建嘲在协变量x 带有测量误差,且x 具有正态密度的假设下得到了参数和非参数估计,并在 一定条件下证明了它们的渐近性质薛留根i 嚣】考虑在协变量带有测量误差的 情形下,利用核实数据构造了未知参数的置信域非线性半参数回归模型在测 量数据处理和g p s 定位系统等领域应用非常广泛,因此它也是今后半参数模 型的个重要研究方向 由于在半参数模型中引入了非参数分量,而非参数分量可以用来表达参 数模型表达不完善的部分,如非线性模型线性化引起的模型误差和难以参数 化的系统误差等,这使得半参数模型可以在某种程度上克服参数模型在表达 客观模型方面的局限性,一方面使数学模型与客观实际更接近,另方面能从 误差中分离出系统误差和偶然误差,提供更丰富得解算结果因此该模型具有 7 一 北京工业大学理学硬士学位论文 较强的解释能力,从而在实际中有着更为广阔的实用背景深信随着半参效回 归模型在理论和方法上的日益成熟,对经济医药,工农业生产等方面将起着 更重要的促进作用 1 4 e v 模型的研究简况 考虑一般形式的模型 k = ,( 毛,卢) + g ( 五) + 旬,i = 1 ,n ,( 1 3 ) 其中,( ,) 为已知函数,f ( ) 是定义在【0 ,1 】上的未知光滑函数,冠是d 维 随机变量,正是取值于【0 ,1 】上的随机变量,p 是p 1 未知参数向量,自 是随机误差,与( 巧,正) 相互独立。且e ( 自) = o ,v a r ( e ) = 砖 0 0 在实际操作中我们往往不能直接观测或准确测量到响应变量m 和协变量 毛与正,所能观测到的是带有误差干扰的变量幺,五和磊通常把带有变量 误差的模型称为e v ( 哪。睁n v a 批) 模型,也称为测量误差模型对响应 变量m 带有测量误差的情形,可以把测量误差吸收到模型误差中处理,比较 简单,因此大部分文献的讨论集中在协变量带有测量误差的情形 首先考虑协变量黾具有可加测量误差的情形,即经典的测量误差模型 恐= + q ,i = 1 ,仃, ( 1 4 ) 其中五称为观测变量,墨称为潜在变量( 1 a t e n tv a r i a b l e ) ,并且 牡l ,t 2 ,t ,i 姆n ( 0 ,) ( 1 5 ) 由模型( 1 3 ) 和( 1 4 ) 组成了大类e v 回归模型,包括非线性半参数e v 回归模型,部分线性e v 回归模型,非线性e v 回归模型线性e v 回归模型 和非参数e v 回归模型考虑到模型的可识别性,一般要求e 。已知,或者 8 第1 章绪论 要求e 。与砰的比已知但在实际应用中这是不可能的,这时可以通过重复 测量的方法获得测量误差的方差关于e v 模型可识别性的详细研究可参 考文献阳,3 0 】 由于测量误差的存在,使得模型的参数估计是有偏的因此这一问题引起 广大统计学者的极大兴趣关于线性e v 回归模型的详细讨论可见f 1 1 1 1 e r 例 的专著对于部分线性e v 回归模型,近2 0 年来许多学者进行了深入研究 l i a n g 等【3 1 1 在假设( 1 5 ) 中e 。已知的情形下,获得了诸多参致和非参数 分量9 ( ) 的估计及其渐近性质崔恒建f 3 2 】在x 和y 有重复观测的情形下讨 论了未知参数p 的估计及其渐近性质,并得到了非参数分量估计的最优收敛 速度李高荣等删利用经验似然方法获得了部分线性e v 回归模型中参数的 极大经验似然估计和非参数分量的估计量的最优弱收敛速度更多讨论可以 参考l i a n g 1 1 l 的博士论文,其中对参数部分和非参数部分分别带有测量误差 的部分线性模型进行了详细的研究 对非线性e v 回归模型,近年来已经有许多作者在不同的假定下进行了 研究。得到了较理想的结果黾是固定未知常数时,w o l t e r 和f 、l n e r 考虑 了误差变量趋于o ( 样本容量n 一) 的情况,证明了卢的极大似然估计是相 合的当,是多项式函数且误差方差已知时,c h a n 和m 8 l 【嘲证明了卢的最 小二乘估计是、历一相合的对于黾是随机变量的场合。在毛的密度函数已 知的情况下。i - i s i a o l 证明了口的最小二乘估计是相合的且具有渐近正态分 布“等吲在假定,矗,让t 都服从正态分布的情况下,给出了p 的估计量。 并证明了它是卢的强一致相合和渐近正态估计在而的密度函数未知的情况 下,t a u p i n 勰 利用改进的最小二乘估计准则提出了卢的个相合估计晟并 给出了卢的收敛速度的个上界,并验证了对于一些特殊的回归函数,声依 概率收敛于卢的速度可达到n i 薛留根【3 9 】研究了西的渐近性质。证明了 9 北京工业大学理学硕士学位论文 卢具有渐近正态性,同时也构造了的估计量,证明了醒依概率收敛到 西的速度可达到n - j 更多关于非线性e v 回归模型的详细讨论可见c a r r o l l 等f 舯l 的相关研究 其次。若观测变量与真实变量的关系为五= 妒池,啦) ,其中q 表示均值 为0 的测量误差。妒是个任意的已知函数在这种情况下要对未知参数p 进行有效的统计推断是相当困难的,但是利用核实数据可以克服这个困难在 现实生活中,诸如雇工的工资与工作时间的调查和学生的吸烟行为都是可获 得核实数据的例子基于替代数据和核实样本的推断已经引起国内外统计学 者的重视例如,8 e p a n s k i 与l 删m 研究了基于核实数据的非线性e v 回归 模型;王启华f 1 一倒分别研究了基于核实数据的线性e v 回归模型和部分线 性e v 回归模型;薛留根借助于核实数据构造了非线性半参数e v 回归模 型中未知参数的经验似然置信域 另外,l i a n g 柏 考虑了仅有协变量正带有测量误差的部分线性模型,在 适当条件下获得了参数p 的估计,并证明了其渐近性质z h u 与c u i 4 * l 在 毛,丑都带有测量误差时,利用矩方法得到了参数和非参数的估计及其渐近性 质y o u 与c h e n l 帖l 进步考虑了半参数变系数部分线性e v 回归模型的估 计问题 1 5 经验似然推断的研究简况 经验似然是o w e n l 4 6 ,卅在完全样本下提出的一种非参数统计推断方法, 它类似于b o o t s t r a p 的抽样特性这一方法与经典的和现代的统计方法比较 有很多突出的优点,如用经验似然方法构造置信域除有域保持性、变换不变 性及置信域的形状由数据自行决定等诸多优点外。还有b a r t l e t t 纠偏性及无 需构造枢轴统计量等优点,更重要的是经验似然方法在构造置信域时可以避 免估计量的渐近方差的估计我们知道在非参数和半参数情形,方差的相合估 1 0 第1 章绪论 计是很难得到的正因为如此,这一方法引起了许多统计学家的兴趣,他们将 这一方法应用到各种统计模型及各种领域,如o w e n j 由对总体均值的统计 推断提出经验似然并随后将其应用到线性回归模型的统计推断;c h 蛆【蛆】进 一步研究了线性模型的经验似然的高阶特性;k o l a c z y k 5 0 l 和o w e n ( 乩】更进 步把这方法推广到广义线性模型和投影追逐回归模型;z h a n g 5 2 将经验 似然应用于分位回归及m 泛函的统计推断;c h e n s s t 和g - h e n 与o i n l h 分 别发展了非参数密度估计和非参数回归的经验似然;z h o n g 和r a o e 碉将经验 似然应用于抽样调查问题的研究;q i n 【硎应用经验似然于偏度抽样模型的统 计推断 近年来,经验似然又有了许多新的进展和突破例如,q i n 和l a w l e s s 6 7 将经验似然推广到半参数模型中。当估计方程数比参数致耳大时,通过解一 般的非线性估计方程定义了经验似然参数估计w a n g 与j 吲删和s h i 与 l 叭【5 口l 利用经验似然方法考虑了具有固定设计的部分线性回归模型,构造了 模型中未知参数的置信域;y o u 与z h o u 删把经验似然方法应用于半参数变 系数部分线性模型的统计推断;最近x u e 与z h u o t , 删又应用经验似然方法考 虑了单指标模型和部分线性单指标模型,提出了未知参数的两种经验对数似 然比统计量,即估计的经验对数似然比统计量和调整的经验对数似然比统计 量,在适当的条件下,证明了估计的经验对数似然比统计量依分布收敛于自由 度为1 的加权妒分布,调整的经验对数似然比统计量依分布收敛于标准x 2 分布在构造置信域时,这两种方法分别需要估计未知权重和调整因子。这样 会降低置信域的精度,为了避免估计未知权重和调整因子,z h u 和x u e 在 研究部分线性单指标模型时提出了一种纠偏的经验似然方法,不仅可以使所 构造的纠偏的经验对数似然比统计量渐近到标准p 分布,而且还放宽了窗宽 的选取范围,这个方法值得关注 北京工业大学理学硕士学位论文 在实践中,我们经常会遇到一些不完全数据,如测量误差数据、删失数据 和缺失数据等有时还会遇到些更为复杂的数据,如组问独立而组内相关的 纵向数据,p a n e l 数据以及时间序列数据等相依数据如何将经验似然方法推 广应用到上述重要数据类型的统计分析是一项重要而困难的任务近年来, 一些统计学者在这方面做了大量工作文献【雒6 6 】在随机删失下发展了生存 分布一类琵函,处理异差,随机删失下线性及部分线性模型的统计推断关于 缺失数据情形下的经验似然推断。w a n g 与r a o 在这方面作了大量工作。文 献【6 7 - 6 8 】分别在线性借补( i m p u t a t i o n ) 和非参数核回归借补下发展了反映效 据缺失时的经验似然推断对于在测量误差模型中的应用。c u i 与c h e n 和c u i 与k o n g t m 在协变量具有可加误差模型结构下,分别构造了线性及部 分线性模型中未知参数的经验似然置信域;w a n g 与m m m 】和薛留根冽借 助于核实数据,在不假定任何误差模型结构的情形下推广经验似然方法到协 变量带有测量误差的线性回归模型和非线性回归模型 那么什么是经验似然呢? 设磁,恐,五。副独立有共同的累积分布f ,则f 的非参数似然是 l ( f ) = i i f ( 五) ) , 这里f ( t 五 ) 是分布f 在五处的概率质量,其中 = 1 ,2 ,n 大家知道 墨,x 2 ,矗的经验累积分布函数兄= r - 1 吒。使匕式达到极大, 其中( ) ;l x 州也就是昂是f 的非参数极大似然估计 在参数推断中人们利用参数似然比进行假设检验与置信区间估计类似 地,在分布完全未知的情况下非参数似然比 r ( f ) = 器 1 2 第1 章绪论 也可以用于统计推断不象参数似然比,非参数似然比中不包含未知参数一 个自然的问题是如何使用它对参数作统计推断注意到些参数口是总体分 布的泛函,即p = t ( f ) 形,其中t ( ) 是分布f 的某泛函,f 属于某分布 类厶如总体均值及分位点等就是有上述形式泛函的例子为 - f 7 4t ( f ) = 口 作检验,o w e n 【删定义如下经验似然比统计量 乳( 口) = e u p r ( f ) i t ( f ) = 口,f c ) f 很显然,经验似然比实际上是一种截面非参数似然比函数,它要求f 在 满足约束条件t ( f ) = 口下使非参数似然比达到极大( 在无约束条件时极大 非参数似然比为1 ) ,而参致口由这一约束条件引入这一极大似然比中,从而 得到关于参数口的极大截面非参数似然比函数,用这一非参数似然比作假设 检验、区间估计或进行其他统计推断。这一方法就是所谓的经验似然方法如 果狞 r o ,经验似然假设检验拒绝h o :t ( f ) = 如,而似然置信域为 p :乳( 口) 之r o ) 其中r o 是某临界值 注意到乳( 日) 是关于非参数似然比在限制条件下关于f 求极大,这种形 式的定义显然不利于计算下面给出与上面定义等价但容易计算的形式由 驼( 口) 的定义,注意到只有那些在观察值点有正概率质量的离散分布类中求极 大我们首先假设数据没有”结”( 当有”结”时,根据o w e n 柚 ,所求的经验 似然是相同的) ,在没有”结”时,我们设分布f 为昂,即昂= p 注 意到l ( 最) = 仃,因而 删= 。s u p( 嘞) ,n 一一 番以。1 ,t ( f ,瑚忙1 1 3 北京工业大学理学硬士学位论文 显然l a g r a n g e 法可应用于计算睨( p ) 经验似然应用于推断的另一个问题是如何确定临界值r o ,这一问题实际 上归结为求乳( 口) 的渐近分布本文的重要定理之一就是证明了似然比统计量 的渐近卡方性质这一特性就形成了经验似然推断的基础 经验似然推断在总体均值推断线性模型推断、分位数推断、估计方程推 断及利用辅助信息进行推断等几种重要统计推断中有着广泛的应用是一种 重要的统计推断方法 1 6 本文主要研究内容、结构和特点 本文基于经验似然方法研究了非线性e v 回归模型和非线性半参数回归 模型的统计推断问题 具体结构安排如下 第二章考虑了非线性e v 回归模型。当协变量带有可加测量误差并且测 量误差向量的协方差阵已知时。构造了模型中未知参效的经验对数似然比统 计量,另外。为了克服在构造经验似然统计量的过程中的计算困难本章又提 出了个基于m o n t e - c a r l o 模拟的经验对数似然比统计量在适当条件下,证 明了所提出的这两种统计量都具有渐近标准x 2 分布。所得结果可以用来构造 未知参数的置信域 第三章在随机设计情形下利用经验似然方法研究了非线性半参数回归模 型,构造了模型中未知参数的经验对数似然比统计量,证明了所提出的统计量 具有渐近标准妒分布。由此结果可以用来构造未知参数的置信域同时。本 章也构造了未知参数的最小二乘估计量,并证明了它的渐近性质最后,就置 信域精度及其覆盖概率大小方面,通过模拟研究比较了经验似然方法与最小 二乘法的优劣研究表明t 我们提出
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 初中八年级科学教学设计:土壤成分探究与核心素养培育
- 初中九年级物理分子热运动中考复习课教案
- 小学四年级信息技术教案:记录数据讲诀窍的实践教学策略
- 高中一年级心理健康教育“探析青春情愫涵养交往智慧”教学设计
- 七年级英语Unit 4 Time to Celebrate写作教学设计
- 高中三年级英语高考听力综合特训(十五)教学设计
- 初中九年级数学教学设计:反比例函数图象性质的中考复习策略与实施
- 高考物理一轮复习“抛体运动”复习课教学设计
- 小学三年级综合实践活动《水结冰了》项目式学习教学设计
- 高中英语艺考生百日冲关亮点词汇教学设计
- 客户支持需求升级通知函7篇
- 2026年下半年幼儿教师资格证《综合素质》真题及答案(完整版)
- 2026秋苏教版六年级数学上册期中考试综合质量检测拔高卷一(含解析)
- 国投集团招录笔试真题2026
- 聚焦学习贯彻二十届五中全会课件
- 全国消防宣传月主题活动课件
- 小学三年级道德与法治“关心体贴老师”教学设计
- 2026年《中国慢性阻塞性肺疾病诊疗指南(2026版)》
- 2026国企招聘考试公共基础知识考试题(含答案)
- 2026-2030锦纶纤维行业市场发展分析及发展趋势与投资研究报告
- 2026年六盘水市钟山区法检系统书记员招聘考试参考试题及答案详解
评论
0/150
提交评论