（概率论与数理统计专业论文）多重插补在区间删失型数据中的应用.pdf

s t u d e n ti d ：5 1 0 7 0 6 0 5 0 2 4 a p p l i c 姐i o n so fm u l t i p l e i m p u t a t i o nt o i n t e r v al c e n so r e dda t a d e p a r t m e n t s c h o o lo ff i n a n c ea n ds t a t i s t i c s m a j o rp r o b a b i l i t ya n dm a t h e m a t i c a ls t a t i s t i c s r e s e a r c hd i r e c t i o nm a t h e m a t i c a ls t a t i s t i c s s u p e r v i s o r a u t h o r d a t e a s s o c i a t ep r o f e s s o rd i n gb a n g j n i l z h a n gl i n l i n m a y , 2 0 1 0 创性声明 郑重声明：本人呈交的学位论文季学易匆卜舰伯脚烬嘞物佩呻纵p， 是在华东师范大学攻读硕生博士( 请勾选) 学位期间，在导师的指导下进行的研究工作 及取得的研究成果。除文中已经注明引用的内容外，本论文不包含其他个人已经发表或 撰写过的研究成果。对本文的研究做出重要贡献的个人和集体，均己在文中作了明确说 作者签名：卫业 日期：b 年兰月z 彩日 华东师范大学学位论文著作权使用声明 易龟锅认航影阀脚垠意剖盼很中k 锄印系本人在华东师范大学攻读学 位期间在导师指导下完成的硕彭博士( 请勾选) 学位论文，本论文的研究成果归华东师 范大学所有。本人同意华东师范大学根据相关规定保留和使用此学位论文，并向主管部 门和相关机构如国家图书馆、中信所和“知网”送交学位论文的印刷版和电子版；允许 学位论文进入华东师范大学图书馆及数据库被查阅、借阅；同意学校将学位论文加入全 国博士、硕士学位论文共建单位数据库进行检索，将学位论文的标题和摘要汇编出版， 采用影印、缩印或者其它方式合理复制学位论文。 本学位论文属于( 请勾选) ( ) 1 经华东师范大学相关部门审查核定的“内部”或“涉密”学位论文幸， 于 0 磊密， 导师签 日解密，解密后适用上述授权。 适用上述授权。 幸“涉密”学位论文应是已经华东师范大学学位评定委员会办公室或保密委员会审定过的学位 论文( 需附获批的华东师范大学研究生申请学位论文“涉密”审批表方为有效) ，未经上 述部门审定的学位论文均为公开学位论文。此声明栏不填写的，默认为公开学位论文，均适用 上述授权) 。 一 一 丛 ： h 铲 年 一k 矿 钆 砩 硕士学位论文答辩委员会成员名单 姓名职称单位备注 张日权教授华东师范大学统计系主席 张应山教授华东师范大学统计系 徐进副教授华东师范大学统计系 摘要 a b s t r a c t 第一章绪论 】 1 1 问题背景，1 1 2 本文主要研究内容 4 第二章多重插补在缺失数据中的应用 5 2 1 缺失数据和多重插补 5 2 2 数据增强算法7 第三章两种算法及其在右删失数据中的应用9 3 1 两种算法9 3 2 右删失数据中的算法应用1 0 3 3 小结1 2 第四章 多重插补在区间删失回归数据中的应用1 3 4 1 模型假设1 3 4 2 算法应用1 4 4 3 模拟验证1 6 4 4 模拟结果1 7 4 5 小结1 9 第五章总结与展望 2 0 参考文献 2 1 致谢 2 4 摘要华东师范大学硕士论文i 摘要 对区间删失型数据的研究已经日益普遍地出现在很多学科领域的研究 中，如医学、生物学、流行病学、工程学、经济学、和人口统计学若事件 发生的时间不能被精确观测但已知落在一个特定区间内，我们称这样的数据 为区间删失型数据特别地，若已知事件发生的时间大于( 或小于) 某一个时 间点而不知其确切值，我们称其为右( 左) 删失数据 对于右删失数据，统计学家们已经编写了很多专著文献介绍其丰富有效 的统计分析方法，并进行广泛深入的研究虽然右删失失效时间数据可以看 作是区间删失型数据的一种特殊情况，一些处理右删失数据的方法可以直接 或稍加修改( 推广) 后用于区间删失数据，但是由于区间删失机制的复杂性及 其特殊结构，大部分用于右删失数据的方法对区间删失型数据是不适用的 近几十年来也出现了不少对区间删失型数据做统计推断的理论，但有效的方 法大都非常繁琐 本文基- 于t a n n e r 和w o n g ( 1 9 8 7 ) 提出来的数据增强算法，将多重插补方法 应用于失效时间为区间删失型数据的加速失效时间模型的参数估计问题中 这个方法包含两步迭代：在第一步，我们基于回归系数和误差分布的当前估 计将有限区间删失( 但不是右删失) 数据插补成确切失效时间数据在第二步， 我们将用于处理右删失数据的标准程序来处理插补后的数据，并进而更新估 计这种方法的一个主要优点是其简单性，因为我们可以借助现成的处理右 删失数据的统计软件包对参数进行估计 关键词：区间删失型数据，数据增强算法，多重插补，加速失效时间模型 y s i so fi n t e r v a l - c e n s o r e dd a t a ，m o s to ft h e mf o rr i g h t c e n s o r e dd a t a a x en o ta p - p r o p r i a t ef o ri n t e r v a l - c e n s o r e dd a t ad u et ot h ec o m p l e x i t ya n ds p e c i a ls t r u c t u r e o fi n t e r v a lc e n s o r i n g i nr e c e n td e c a d e s av o l u m i n o u sf i t e r a t u r eo nt h es t a t i s t i c a l a n a l y s i so fi n t e r v a n c e n s o r e df a i l u r et i m ed a t ah a sa p p e a r e d ，b u tm o s to fe f f e c t i v e m e t h o d sa r ev e r yc o m p l i c a t e d i nt h i sp a p e r ，w ea p p l ym u l t i p l ei m p u t a t i o n ( m i ) a p p r o a c ht ot h ep r o b l e mo f e s t i m a t i n gr e g r e s s i o nc o e f f i c i e n t si na c c d e r a t e df a i l u r et i m em o d e lw i t hi n t e r v a l - c e n s o r e dd a t ab a s e do nt a n n e ra n dw o n g ( 1 9 8 7 ) d a t aa u g m e n t a t i o na l g o r i t h m t h i sm e t h o dc o n s i s t so fi t e r a t i n gt w os t e p s ：f i r s t ，e x a c tf a i l u r et i m e sa r ei m - p u t e df r o mf i n i t ei n t e r v a l - c e n s o r e d ( b u tn o tr i g h t c e n s o r e d ) d a t ab a s e do nt h e c u r r e n te s t i m a t e so ft h er e g r e s s i o nc o e 伍c i e n ta n dt h ee r r o rd i s t r i b u t i o n s e c o n d ， as t a n d a r ds t a t i s t i c a lp r o c e d u r ef o rr i g h t c e n s o r e dd a t ai sa p p l i e dt oi m p u t e d d a t at ou p d a t et h ee s t i m a t e s am a j o ra d v a n t a g eo ft h ea p p r o a c hi si t ss i r e - p l i c i t yb e c a u s et h ee s t i m a t i o np r o c e d u r ec a nb ee a s i l yi m p l e m e n t e db yt a k i n g a d v a n t a g eo fe x i s t i n gs t a t i s t i c a ls o f t w a r ep a c k a g e sf o rr i g h t - c e n s o r e dd a t a k e yw o r d s ：i n t e r v a l - c e n s o r e dd a t a ，d a t aa u g m e n t a t i o na l g o r i t h m ，m u l t i p l e i m p u t a t i o n ，a c c e l e r a t e df a i l u r et i m em o d e l 第一章绪论华东师范大学硕士论文1 第一章绪论 1 1问题背景 在许多学科领域，如医学、生物学、保险精算学、可靠性工程学、公共卫生学、 经济学以及人口统计学等领域，都存在对某给定事件发生的时间进行估计和预测的问 题我们把这里的某事件发生的时间称为失效时间数据( f a i l u r et i m ed a t a ) 这里的事 件可以是死亡，疾病的发生，某机器零件的损坏等等当一个事件发生，通常指代一个 失效( f a i l u r e ) 有时候我们也把失效时间数据称为生存数据( s u r v i v a ld a t a ) ，事件发生的 时间称为生存时间( s u r v i v a lt i m e ) 或者生存变量( s u r v i v a lv a r i a b l e ) ，把感兴趣的事件称 作生存事件( s u r v i v a le v e n t ) 失效时间数据不仅广泛出现在医学领域，还有其他包括生 物学领域，经济学领域，可靠性试验，社会学研究等生存分析中研究的失效时间数据 主要以删失( c e n s o r i n g ) 和截尾( ，n u n c a t i o n ) 两种表现形式存在本文讨论的是删失型数 据( c e n s o r e dd a t a ) 删失是失效时间数据的一种独特的表现形式实际随机化临床试验经常会出现两 种重要的删失数据：右删失数据( r i g h t - c e n s o r e dd a t a ) 和区间删失数据( i n t e r v a l - c e n s o r e d d a t a ) 右删失数据是指我们所感兴趣的失效时间要么是确切值要么大于某个时间产 生右删失数据的一个典型的例子是生存试验中的某个体由于时间或者资源的限制不得 不终止试验对于那些在试验结束时还没发生生存事件的个体，我们只知道他们的生存 时间大于试验结束的时间但不知道其确切值，这就产生了右删失数据如果研究对象在 开始接受观测之前某生存事件就已经发生，换句话说，己知研究个体的生存时间小于观 测时间，但不知道其确切时间，这就产生了左删失数据( l e f t c e n s o r e dd a t a ) 目前己有 很多标准方法可以用来处理右删失数据例如在生物制药领域，将对数秩检验方法用于 疗效的假设检验，将k a p l a n - m e i e r 方法估计中位数失效时间和失效时间分布的估计，建 立c o x 比例风险模型估计疗效，等等 除此以外，另一种重要数据是区间删失数据如果我们不是在连续的时间点上观 测( 研究) 个体，我们只能观测到某事件发生的时间落在一个时间区间内而观测不到确切 时间这样的数据称为区间删失数据产生区间删失型数据的一个典型例子是对在临 床试验或纵向数据研究中的患者进行周期性跟踪( p e r i o d i cf o l l o w - u p ) 时，通常某事件发 生( 例如疾病的发生) 在两次检查之间换句话说，若感兴趣事件发生的时间位于某一区 间( l ，矧内( l 为左删失端点，r 为右删失端点) ，这就产生了区间删失数据事实上，前面 所讲的右( 左) 删失数据都是区间删失数据的特殊情况因为若r = + ( 或l = 0 ) ，就可 以得到右( 左) 删失数据 为了解释区间删失数据的特征，我们引入一个乳腺癌研究( b r e a s tc a n c e rs t u d y ) 的 例子 2 1 1 这个例子的目标是比较对早期乳癌患者采用放射性疗法( r a d i a t i o nt h e r a p y ) 及放射性与辅助性化疗相结合( r a d i a t i o nt h e r a p yp l u sa d j u v a n tc h e m o t h e r a p y ) 两 种方法的美容效果最初每4 个月6 个月检查一次，但随着患者逐渐康复，两次检查之间 第一章绪论 华东9 币范大学硕士论文2 的时间间隔加大研究事件是首次出现乳房形体恶化( 中度萎缩或严重萎缩) 首次萎缩 的时间通常是不会被精确观测到的，研究者只知道患者开始萎缩的时间在两次检查之间， 或者在患者最后一次检查之后，或者在第一次检查的时候就出现萎缩这三种不同的数 据类型就分别代表了三种不同的删失类型：区间删失数据，右删失数据，以及左删失数 据 表1 1 中列出j 9 4 个病人的数据，其中4 6 个病人接受放射性疗法( r t ) ，4 8 个病人接受 放射性与辅助性化学疗法( r c t ) 具体的看病时间和两次检查之间的间隔时间因病人而 异这一研究的目标是对比两种治疗表中的数据是关于发生乳房萎缩的时间例如， 表中的观测( 0 ，5 1 表示病人在第一次检查( 这里时间是5 ) 的时候已经发现萎缩，至于在区 间( o ，5 1 内什么时刻发生是未知的，即为左删失数据观测( 6 ，1 0 1 表示在时间6 还没发现萎 缩，在下一次检查( 时间1 0 ) 的时候发现萎缩，也就是说发生萎缩的时间位于区间( 6 ，1 0 】中， 即为区间删失数据观测( 3 7 ，1 表示在退出试验( 时间3 7 ) 的时候还没发生萎缩，即为右删 失数据从这个例子可以看出，左删失，右删失，和区间删失能够以任何组合形式出现 左端点为0 ，右端点为删失时间时，是左删失数据；左端点是删失时间，右端点无限大时， 是右删失数据 表1 1 ：早期乳腺癌病人乳房萎缩发生的时间( 单位：月) r t ( 4 5 ，】，( 2 5 ，3 7 ，( 3 7 ，】，( 4 ，1 1 ，( 1 7 ，2 5 】，( 6 ，1 0 ，( 4 6 ，】，( o ，5 】，( 3 3 ，】，( 1 5 ，】， ( o ，7 】，( 2 6 ，4 0 ，( 1 8 ，】，( 4 6 ，】，( 4 6 ，】，( 4 6 ，】，( 2 4 ，】，( 1 1 ，1 5 】，( 1 1 ，1 8 】，( 1 9 ，2 6 1 ， ( 4 6 ，】，( 2 7 ，3 4 】，( 3 6 ，】，( 3 7 ，】，( 2 2 ，】，( 7 ，1 6 】，( 3 6 ，4 4 】，( 5 ，1 2 】，( 3 8 ，】，( 3 4 ，】， ( 1 7 ，】，( 4 6 ，】，( 1 9 ，3 5 】，( 4 6 ，】，( 5 ，1 2 ，( 9 ，1 4 1 ，( 3 6 ，4 s ，( 1 7 ，2 5 1 ，( 3 6 ，】，( 4 6 ，】， ( 3 7 ，4 4 】，( 3 7 ，】，( 2 4 ，】，( o ，8 】，( 4 0 ，】，( 3 3 ，】 r c t ( 8 ，1 2 】，( o ，5 】，( 3 0 ，3 4 】( 1 6 ，2 0 ，( 1 3 ，】，( 0 , 2 2 ，( 5 ，8 】，( 1 3 ，】，( 3 0 ，3 6 ，( 1 8 ，2 5 】 ( 2 4 ，3 1 】，( 1 2 ，2 0 】，( 1 0 ，17 】，( 1 7 ，2 4 】，( 1 8 ，2 4 】，( 1 7 ，2 7 】，( 1 1 ，】，( 8 ，2 1 】，( 1 7 ，2 6 1 ，( 3 5 ，】 ( 1 7 ，2 3 】，( 3 3 ，4 0 ，( 4 ，9 】，( 1 6 ，6 0 ，( 3 3 ，】，( 2 4 ，3 0 ，( 3 1 ，】，( 1 1 ，】，( 1 5 ，2 2 】，( 3 5 ，3 9 】 ( 1 6 ，2 4 】，( 1 3 ，3 9 】，( 1 5 ，1 9 】，( 2 3 ，】，( 1 1 ，17 】，( 1 3 ，】，( 1 9 ，3 2 ，( 4 ，8 】，( 2 2 ，】，( 4 4 ，4 8 】 ( 1 1 ，1 3 】，( 3 4 】，( 3 4 ，】，( 2 2 ，3 2 】，( 1 1 ，2 0 】，( 1 4 ，17 】，( 1 0 ，3 5 】，( 4 8 ，】 区间删失数据的研究有着广泛的实际应用背景，越来越受到人们的关注成 为统计学的重要研究领域近几十年来有不少学者对区间删失数据进行了研究 p e t o ( 1 9 7 3 ) 1 6 1 和t u r b u l l ( 1 9 7 6 ) 2 3 分别提出n e w t o n - r a p h s o n 算法和e m 算法来计算非参 数极大似然估计用于估计区间删失数据的生存函数f i n k e l s t e i n ( 1 9 8 6 ) 6 对区间删失数 据建立c o x 比例风险模型( p r o p o r t i o n a lh a z a r d sm o d e l ) ，且使用n e w t o n - r a p h s o n 算法来 计算模型中回归系数的非参数极大似然估计h u a n g 和w b l l n e r ( 1 9 9 5 ) 【7 】证明了c o x 模型 下回归系数非参数极大似然估计的渐近正态性除了比例风险模型以外，我们还能为区 间删失数据建立其他模型，例如比例优势模型( p r o p o r t i o n a lo d ( i sm o d e l ) ，加速失效时间 第一章绪论 华东师范大学硕士论文3 模型( a c c e l e r a t e df a i l u r et i m em o d e l ) ，加法危险模型( a d d i t i v eh a z a r d sm o d e l ) ，线性变 换模型( l i n e a rt r a n s f o r m a t i o nm o d e l ) 等，来考察协变量对失效时间的影响本文考虑的 是加速失效时间模型 加速失效时间模型确定了对数时间和协变量之间的线性关系当模型用于删失数据 的分析时，b e t e n s k ye ta 1 ( 2 0 0 1 ) 1 1 和j i ne ta 1 ( 2 0 0 3 ) 8 借助线性秩统计量估计模型中的 回归系数这些方法基于严谨的理论证明，有着很好的估计量性质但是要求的理论条 件非常复杂，在实际中常因计算量过大或难以验证其条件而不便于使用这就对我们寻 求更加简单有效的方法提出了新的要求 多重插卒 ( m u l t i p l ei m p u t a t i o n ) 1 7 是一种处理缺失数据的方法，最早由r u b i n 提出 来处理抽样调查里的无回答问题t a n n e r 和w o n g 在1 9 8 7 年提出数据增强算法( d a t a a u g m e n t a t i o na l g o r i t h m ) 2 2 后，很多学者将多重插补的思想用于解决删失数据统计推 断问题删失数据不同于缺失数据，前者提供了我们感兴趣变量的不完全信息，而后者不 含任何信息然而，我们仍然可以将区间删失数据看作是缺失的，并基于已观测信息得到 插补数据将其替换成确切值w e i 和t a n n e r ( 1 9 9 1 ) 【2 5 1 将多重插补用于右删失下线性模 型在误差分布未知的情况下的参数估计问题，通过模拟得到多重插补估计量的均方误差 小于b u c k l e y - j a m e s 估计量f 2 1 的均方误差p a n ，w ( 2 0 0 0 ) f 1 3 将多重插补的方法用于区 间删失下c o x 模型的参数估计中，从模拟结果中的回归系数的估计来看，与非参数极大似 然估计相比，多重插补方法估计得更好c h e n ，l 和s u n ，j ( 2 0 0 9 ) 【3 】将多重插补方法用 于加法危险模型( a d d i t i v eh a z a r d sm o d e l ) 下区间删失失效数据的回归分析，同样得到很 好的估计结果本文将多重插补的思想用于估计加速失效时间模型( a c c e l e r a t e df a i l u r e t i m em o d e l ) 的回归系数，并做了相应的模拟从模拟结果来看，多重插补是处理区间删 失数据的一个不错的选择 第一章绪论华东9 币范大学硕士论文4 1 2 本文主要研究内容 对于多重插补方法运用到区间删失数据的研究中，作出较大贡献的有p a n ( 1 3 ， 1 4 】， 1 5 】) ， s a t t e n 1 9 等同时，b e b c h u c k ，b e t e n s k y , f i n k e l s t e i n ，d o r e y 等人也做过些相关的研究 本文受p a n 文【1 3 】的启发，将多重插补方法用于失效时间为区间删失数据的加速失效时间 模型的参数估计问题 本文共分五章 第二章介绍了多重插补方法在缺失数据中的应用第一节主要关于缺失数据的实际 背景和多重插补的思想第二节重点介绍t a n n e r 和w o n g 提出的数据增强算法【2 2 】，及算 法的具体应用和一些重要的理论结果 第三章介绍基于数据增强算法的两个算法：p m d a 算法( p o o rm a n sd a t aa u g m e n - t a t i o na l g o r i t h m l 和a n d a 算法( a s y m p t o t i cn o r m a ld a t aa u g m e n t a t i o na l g o r i t h m ) 并 说明如何将这两个算法用于因变量为右删失数据的回归模型中 第四章是本文的核心内容，在这一章里我们将多重插补方法用于解决失效时间为区 间删失数据的加速失效时间模型中的参数估计问题在第二节里我们采用一个关于插补 和估计两个步骤的迭代算法在第三节里的模拟验证，我们通过模拟说明样本量，插补次 数等对估计结果的影响，并与现有方法进行比较 第五章对全文的讨论进行总结，并提出一些值得探讨的问题 本文的主要贡献在于，将多重插补推广到失效时间是区间删失数据的加速失效时间 模型中进行参数估计在前人工作的基础上，验证多重插补方法的实用性和有效性 用华东师范大学硕士论文5 第二章多重插补在缺失数据中的应用 2 1 缺失数据和多重插补 在调查中，我们总是希望收集到总体中每个单元的信息例如，在一次人口普查中， 我们需要记录每个人的信息包括年龄，性别，受教育年数和一些其他重要指标为了提高 效率，降低成本，我们通常需要从总体中抽取一定数量的样本进行调查，根据样本估计总 体的特征数这也就是我们所说的抽样调查但是在很多抽样调查过程中，一些抽样单 元因某些特殊原因没有对被问及的问题作出回答，导致被抽出的一些样本单元未能计量 这种“无回答”现象普遍出现在各种调查中调查无回答造成的问题是，调查设计原本 需要观测到的数据实际上是缺失的这些缺失值不仅意味着降低估计效率而且不能使用 标准的处理完全数据的方法来分析数据由于造成无回答现象的原因通常是未知的，回 答者和无回答者之间存在着差异，所以分析缺失数据时出现的偏差很难被消除因此，选 择合理的处理方法是非常重要的 多重插孝 , ( m u l t i p l ei m p u t a t i o n ) 是处理缺失数据的一种有效的方法，最早i 扫r u b i n 1 7 提出它的基本思想是：将缺失数据或有缺陷的数据用两个或更多的来自其可能的分布 的值来代替借助多重插补的思想，我们可以将一个含有缺失值的数据集补充完整这样 就能使用标准的用于完全数据的分析方法来处理我们这里用图2 1 来说明多重插补的 思想 图2 1 是在假定r t 个原始观测中有两个值缺失的情况下的m 次插补在原始数据集里 每个缺失数据都被一个由m 个值组成的向量替换这些向量里的第一个元素名。和z 。2 组 成第一个数据集，第二个元素勿1 和锄组成第二个数据集，第m 个元素1 和2 组成 第m 个数据集，来插补两个缺失数据，从而得到m 个插补后完全数据集然后分析每个完 全数据集得到m 个结果，结合m 个结果就能得到我们想要的结论在这里我们看到插补数 据形成一个m 列矩阵，我们称这个矩阵为插补矩阵插补矩阵的大小跟缺失数据的个数 和插补次数m 有关如果插补矩阵比原始矩阵大很多，会明显增加计算量，在实际中不便 于处理从经验来看，在缺失程度较低且m 不过大( 通常m 在2 到8 之间) 的情况下，多重插 补是最有效的 如果插补次数m = 1 ，即，将每个缺失值用一个值来替代，我们就称之为单一插 牢 ( s i n g l ei m p u t a t i o n ) 1 7 与多重插补相比，单一插补更加简单但是使用处理完全数据 集的方法来处理插补后的单个数据集实际上将缺失数据看作好像是已知的，从而忽略了 缺失造成的额外偏差，再加上受到单一插补模型的限制，单一插补会产生较大误差多重 插补可以有效克服单一插补所带来的这些缺陷如图2 1 所示，多重插补是将每个缺失数 据插补m 次，从而得到m 个完全数据集，再用标准方法来分析每个完全数据集这里我们 将插补后的数据看成是来自无回答者的真实数据来处理因为可以选择不同的插补模型 将缺失值替换成多个可能的值，多重插补反映了因缺失所带来的不确定性当然，多重插 补数据集比单一插补数据集要复杂得多，储存一个多重插补数据集需要更多的空间，分 第二章多重插补在缺失数据中的应用华东师范大学硕士论文6 析多重插补数据集比单一插补数据集也更加繁琐从而我们在实际运用中需要根据实际 情况选择合理的插补方法和适中插补次数，使得插补过程得以顺利有效地进行 原始数据 o b s xy 1 而朔 2 屯z l l 3 屯y 3 4 以 z 1 2 ： ： ： n x 糟y o b s xy 1 毛m 2 晚z 2 l 3 而y 3 4 勉 ： ： ： n 工一儿 0 b s xy 1 鼍m 2 吃 z 砸 3 x 3乃 4 毛z 膏1 2 ： ： n x 夕 8 结合m 次估计的结果 圈 图2 1 ：多重插补方法简要过程图 图2 1 中的插补数据z ( 1 ) = ( z 1 1 ，名1 2 ) t ，z ( 2 ) = ( 勿l ，z 2 2 ) t ，z ( m ) = ( 2 ；m 1 ，2 ) t 的确定 是多重插补至关重要的一个环节在实际问题中得到的原始数据可能含有更多变量或者 更多的缺失数据，或需要用到复杂的插补方法，但大致的处理方法仍然如图2 1 所描述的 过程一样 第二章多重插补在缺失数据中的应用华东师范大学硕士论文 2 2 数据增强算法 t a n n e r 和w o n g 在文 2 2 1 p 提出数据增强算法( d a t aa u g m e n t a t i o na l g o r i t h m ) ，主 要用于处理缺失数据问题所谓数据增强( d a t aa u g m e n t a t i o n ) ，是指“增强( a u g m e n t ) 观测数据以便于分析数据增强的基本思想是简单的如果我们想要估计的后验 密度p ( e l y ) 难以直接计算( 这里y 是观测数据，p 是待估参数) ，可以借助潜在数据( 1 a t e n t d a t a ) z 来“增强”y 这个算法来源于： p ( e iy ) = p ( 0 1 名，y ) p ( z l y ) d z( 2 1 ) jz 这里p ( 口1 秒) 表示给定数据y 时参数口的后验密度，p ( z 1 秒) 表示给定y 时潜在数据z 的预测密 度，p ( o iz ，秒) 表示给定增强数据z = ( 名，秒) 时0 的条件密度名的预测密度又通过下式与我们 想要的后验密度相联系 p ( z l y ) = p ( z i ，可) p ( l y ) d e ( 2 2 ) ，e 在以上方程里，潜在数据z 的样本空间是z ，参数口的参数空间是e 假设若y 和z 己知，可以直接计算后验p ( o l y ，z ) 然而，如果我们能够从预测分 锄( z l y ) 中产生多个z 的值，则基于插补后的z ，可以将p ( oe y ) 近似成p ( o l y ，力对z 的平均但 却( z 1 秒) 的计算又依赖于p ( f 9 1 y ) 因此，若p ( o l y ) 是已知的，它能用来计算p ( z l y ) p ( o l y ) 和 p ( z l y ) 的这种相互依赖产生了一种计算p ( 口i 可) 的迭代算法图2 2 描述了这种依赖关系 p ( zl 力墼p ( o l 豇z ) 鲨堕叫( o ly ) 图2 2 ：数据增强算法的关系图 事实上，将( 2 2 ) 代入( 2 1 ) 并交换积分顺序，我们可以看至l j g ( 9 ) = p ( f 7 i ) 必须满足以下 积分方程 9 ( 口) = k ( 口，) 9 ( ) 踯，这里k ( 8 ，) = p ( 口lz ，秽) p ( z i ，可) d z ( 2 3 ) 令t 是积分转换算子，通过以下方程可以将任何可积函数，转化成另一个可积函 数丁， t ，( p ) = f k ( 口，) ，( ) d ( 2 4 ) 通过解( 2 3 ) 的连续替代方法得到一种可以计算p ( 引拶) 的迭代方法即，设p ( p 1 秒) 的的初值 为夕0 ，连续计算 吼+ l ( p ) = ( t g i ) ( p ) ( 2 5 ) 第二章多重插补在缺失数据中的应用华东师范大学硕士论文8 如果积分转换( 2 5 ) 能够被分析计算，则这个方法容易实现但是事实并不是这样 方程( 2 1 ) ，( 2 2 ) ，( 2 5 ) 里的积分很难直接计算由方程( 2 1 ) ，我们得到以下迭代过程：假 勘( 纠可) 的当前估计是g i ， ( a ) 从预测密觑( z i 可) 的当前估计中产生一个样本z ( ，z ( 删 ( b ) 将p ( 引可) 的当前估计更新成在给定由( a ) 产生的数据z 时口的条件密度的的混合 即。 m g i + x ( o ) = m 1 ：v ( o lz ，可) j = 1 在上式中，我们必须要能够对任何增强后的数据( z ，可) 计算出p ( 引z ，可) ，或者能够从这个 分布中抽样这也是数据增强算法得以实现的前提条件在接下去的讨论中，我们都认为 这个条件是成立的为了实现步骤( a ) ，即，g p ( z l y ) 中产生潜在数据z ，我们假定p ( o i 可) 的 当前估计是吼( 口) ，从方程( 2 2 ) 可以看出，z 能够从当前预测分布通过以下两个步骤得到： ( a 1 ) 从吼( 9 ) 从产生良 ( a 2 ) 从p ( z i 咖，y ) 中产生z ，这里是从( a 1 ) 中得到的口的值 般地，为了实现算法，我们需要能够从两个分布r , ( o l y ，z ) 平l p ( z l o ，y ) 中抽样也就是 说，需要易于分析插补后的数据，并且在给定参数下易于产生插补数据数据增强算法也 适用于其他满足这两个条件的数据 可以看到，步骤( a ) 要求通过从条件密度p ( z 1 秒) 中抽样得到多个潜在数据z 的值这 个过程叫做多重插补( 首次r u b i n 提出，用于处理抽样调查中无回答问题) 因此，步 骤( a ) 可以被称作“插补”步( “i m p u t a t i o n ”s t e p ) 步骤( b ) 要求基于增强数据集计算( 或 抽样) 出口的后验分布我们称这一步骤为“后验”步( “p o s t e r i o r ”s t e p ) 数据增强算法 包含了插补和后验的迭代不同的迭代中插补次数m 可以不同m 的不同取值依具体情 况而定该算法的实用性在很大程度上依赖于插补和后验两个步骤的实现难易程度一 般来讲，这两个步骤中的任何一个我们都无法保证其容易实现，就像在e m 算法里，e 步 和m 步都可能很难实现一样但是我们可以针对不同问题使用一些技巧来实现算法 t a n n e r 和w o n g 在文f 2 2 】中提出了一些正则性条件证明了通过这个算法得到 的v ( e i 可) 的估计将收敛于真实的后验 数据增强算法是一种基于观测数据借助潜在数据来计算待估参数的后验分布的算 法这种算法的合理性在理论上已经得到过验证这种算法提出后，很多学者开始将多 重插补方法用在删失数据中，并收到很好的效果从第三章开始我们将讨论如何将数据 增强算法运用到删失数据的统计分析中 第三章两种算法及其在右删失数据中的应用华东师范大学硕士论文g 第三章两种算法及其在右删失数据中的应用 3 1 两种算法 基于2 2 中的数据增强算法，w 苟和t a n n e r 在文【2 5 】中提出两种多重插补方法： p m d a 算法p o o rm a n 8d a t aa u g m e n t a t i o na l g o r i t h m ) 和a n d a 算法( a s y m p t o t i cn o r m a ld a t a a u g m e n t a t i o na l g o r i t h m ) ，并将这两种算法用于解决右删失数据的回归问题虽然删失 数据不同于缺失数据，但我们仍然可以将未被观测到的全部或部分删失数据看成是缺失 的，并基于已观测到的信息将其插补成确切值在这一节我们给出w e i 和t a n n e r 提出来的 这两种算法，并在3 2 中介绍这两种算法在右删失回归数据中的应用 注：若无特别说明，以下式子所代表的涵义与2 2 中的一致 我们知道，为了实现2 2 中的数据增强算法，要从预测分柳( 名ly ) 中抽取样本但是 在很多情况下，直接从中抽样的成本是非常高的为此，注意到 ， p ( z iy ) = p ( 名iy ，o ) p ( o iy ) d o = e ( p ( z iy ，p ) ) ， j 0 从而得至- u p ( z iy ) = p ( z iy ，痧) ( 1 + o ( 1 n ) ) 这里n 是样本量，p 是将观测到的后验p ( 引秒) 极 大化后得到的估计于是作为一个近似，我们不需要枷( z 1 秒) 的当前估计中抽样，而是从 条件分布p ( z fy ，p ( ) ) 中抽取样本，这里p ( ) 是后验分布g i ( 口) 极大化后得到的估计 所谓的p m d a 算法，它并不是直接从p ( z i 可) 的当前估计中抽样，而是从估渤z iy ，p ( ) ) 中抽样给定0 ( 0 后，p m d a 算法具体如下： ( a ) 从条件预测分锄( 2 iy ，p ( ) ) 中产生一个样本z ( 1 1 ，z ( 川 ( b ) 将p ( 秽1 秒) 的当前估计更新成 历+ ( 伊) = 熹薹p ( 咿l z 。) ，秒) 更新后的p ( 件1 ) 可以通过极j ( i ) d g i + l ( p ) 后求得 所谓a n d a 算法，是将p m d a 算法的步骤( b ) d f 的和替换成一些正态分布的和在大 样本的情况下，我们总是希望估计量能够满足渐近正态性显然这种算法得到的估计是 具有这一性质的 第三章藕种算法及其在右删失数据中的应用 华东师范大学硕士论文她 3 2右删失数据中的算法应用 随着数据增强算法的提出，很多统计学家相继将其运用到删失数据上来删失数据 和缺失数据的根本区别在于：缺失数据没有提供任何信息，而删失数据提供了部分信息 在本文中，我们将删失数据中全部或部分未观测到的信息看作是缺失的，基于删失数据 的不同类型在不同的条件下，将多重插补方法用于模型的参数估计中事实上，插补包括 单一插补和多重插补单一插补是指将缺失( 或删失) 数据用一个可能的值来替换，再用处 理完全数据的标准方法来分析插补后的数据这是一种处理缺失现象的最简单的方法 它的主要缺点是，将缺失值看作是己知的，因此低估了真实的差异而多重插补是将每个 缺失值替换成两个或更多可能的值，产生多个插补数据集，每个数据集都由一种标准方 法来分析，再结合各个结果对多重数据集的分析考虑到原始数据集内的缺失产生的偏 差，能够有效克服单一插补所带来的弊端3 1 给出了p m d a 和a d n a 两种算法这这一 节我们将这两种方法用于右删失数据回归分析中 令y 1 ，y 2 ，是来自回归模型y i = v t o + e i 的独立观测，这里i = 1 ，2 ，n ，口是一 个p 1 未知参数向量，v = ( u l ，v 2 ，) t 是一个己知的n p 列满秩矩阵，8 i 独立同分 布，其分布函数为f ( 具体形式未知，方差有限) y i 是右删失数据( 含真实观测) 为了估计 出模型中的未知参数，我们从误差条件分布的当前估计中抽取样本来插补删失时间，再 将最小二乘方法用于插补后的数据来估计回归参数借助多重插补，我们可以采用合理 的方法来计算插补间方差，这将用来解释删失引起的额外偏差 为了应用p m d a 算法，我们必须要能够从条件预测分布p ( z ly ，口( ) ) 中产生多重插补 数据集为了在给定回归系数值的情况下为右删失观测插补一个失效时间，我们需要 以失效时间大于观测时间为条件从特定条件分布中抽取样本：如果数据是左删失的，需 要以失效时间必须小于观测时间为条件，从特定条件分布中抽取样本；如果数据是区 间删失的，需要以失效时间位于某个区间内为条件从特定条件分布中抽取样本由于 我们假定误差分布f 未知，就从误差分布的k m 估计中抽样具体来讲，给定参数的当 前估计口( 订，基于n 对观测( 吩，如，j = 1 ，n ) ( 这里吩= 协一u 口( 孙，岛是一个示性函数， 若如= 1 ，协是真实值，若如= 0 ，协是右删失的) ，用k a p l a n - m e i e r 方法 9 】来估计误差分 布f 为了将右删失时间插补成失效时间，我们需要基于失效时间必须大于观测时间的 事实，从条件k m 估计中抽取样本，来获得残差，于是插补后的失效时间为 口( i ) + 广 为了实现p m d a 算法中的步骤( b ) ，我们用插补后m 个数据集得到的参数最小二乘估计的 平均来估计回归系数假定0 的当前估计为口( 们，p m d a 删失回归算法如下： ( a ) 从条件预测分布p ( z i 可，口( 订) 的k m 估计中产生一个样本z ( ，名( 仃 ( b ) 将口的当前估计更新至口( 件1 ) = 当百f 这里每f 是第，个插补后数据集得到的最小 j = 。x 。 。 二乘估计，歹= 1 ，2 ，m 关于这个算法的第一步，为了估计参数初值，我们可以忽略删失数据，对余下的真实 观测做回归分析得到 为了将a d n a 算法应用于右删失数据，我们必须要能够从条件预测分布p ( z ly