Bootstrap和刀切法(jackknife)经典授课讲义.ppt

1 上节课内容总结 统计推断基本概念统计模型 参数模型与非参数模型统计推断 模型估计 点估计 区间估计 假设检验估计的评价 无偏性 一致性 有效性 MSE偏差 方差 区间估计CDF估计 点估计 偏差 方差及区间估计统计函数估计点估计区间估计 标准误差影响函数BootstrapBootstrap也可用于偏差 置信区间和分布估计等计算 2 本节课内容 重采样技术 resampling Bootstrap刀切法 jackknife 3 引言 是一个统计量 或者是数据的某个函数 数据来自某个未知的分布F 我们想知道的某些性质 如偏差 方差和置信区间 假设我们想知道的方差如果的形式比较简单 可以直接用上节课学习的嵌入式估计量作为的估计例 则 其中 其中问题 若的形式很复杂 任意统计量 如何计算 估计 4 Bootstrap简介 Bootstrap是一个很通用的工具 用来估计标准误差 置信区间和偏差 由BradleyEfron于1979年提出 用于计算任意估计的标准误差术语 Bootstrap 来自短语 topulloneselfupbyone sbootstraps 源自西方神话故事 TheAdventuresofBaronMunchausen 男爵掉到了深湖底 没有工具 所以他想到了拎着鞋带将自己提起来 计算机的引导程序boot也来源于此意义 不靠外界力量 而靠自身提升自己的性能 翻译为自助 自举1980年代很流行 因为计算机被引入统计实践中来 5 Bootstrap简介 Bootstrap 利用计算机手段进行重采样一种基于数据的模拟 simulation 方法 用于统计推断 基本思想是 利用样本数据计算统计量和估计样本分布 而不对模型做任何假设 非参数bootstrap 无需标准误差的理论计算 因此不关心估计的数学形式有多复杂Bootstrap有两种形式 非参数bootstrap和参数化的bootstrap 但基本思想都是模拟 6 重采样 通过从原始数据进行n次有放回采样n个数据 得到bootstrap样本对原始数据进行有放回的随机采样 抽取的样本数目同原始样本数目一样如 若原始样本为则bootstrap样本可能为 7 计算bootstrap样本 重复B次 1 随机选择整数 每个整数的取值范围为 1 n 选择每个 1 n 之间的整数的概率相等 均为2 计算bootstrap样本为 Web上有matlab代码 BOOTSTRAPMATLABTOOLBOX byAbdelhakM ZoubirandD RobertIskander http www csp curtin edu au downloads bootstrap toolbox htmlMatlab函数 bootstrp 8 Bootstrap样本 在一次bootstrap采样中 某些原始样本可能没被采到 另外一些样本可能被采样多次在一个bootstrap样本集中不包含某个原始样本的概率为一个bootstrap样本集包含了大约原始样本集的1 0 368 0 632 另外0 368的样本没有包括 9 模拟 假设我们从的分布中抽取IID样本 当时 根据大数定律 也就是说 如果我们从中抽取大量样本 我们可以用样本均值来近似当样本数目B足够大时 样本均值与期望之间的差别可以忽略不计 10 模拟 更一般地 对任意均值有限的函数h 当有则当时 有用模拟样本的方差来近似方差 11 模拟 怎样得到的分布 已知的只有X 但是我们可以讨论X的分布F如果我们可以从分布F中得到样本 我们可以计算怎样得到F 用代替 嵌入式估计量 怎样从中采样 因为对每个数据点的质量都为1 n所以从中抽取一个样本等价于从原始数据随机抽取一个样本也就是说 为了模拟 可以通过有放回地随机抽取n个样本 bootstrap样本 来实现 12 Bootstrap 一个重采样过程 重采样 通过从原始数据进行有放回采样n个数据 得到bootstrap样本模拟 为了估计我们感兴趣的统计量的方差 中值 均值 我们用bootstrap样本对应的统计量 bootstrap复制 近似 其中 13 例 中值 14 Bootstrap方差估计 方差 其中注意 F为数据X的分布 G为统计量T的分布通过两步实现 第一步 用估计插入估计 积分符号变成求和第二步 通过从中采样来近似计算Bootstrap采样 大数定律近似 15 Bootstrap 方差估计 Bootstrap的步骤 1 画出2 计算3 重复步骤1和2共B次 得到4 大数定律 计算boostrap样本 计算boostrap复制 16 例 混合高斯模型 假设真实分布为现有n 100个观测样本 直接用嵌入式估计结果 17 例 混合高斯模型 续 用Bootstrap计算统计量的方差 1 得到B 1000个bootstrap样本 其中2 计算B 1000个bootstrap样本对应的统计量的值3 与直接用嵌入式估计得到的结果比较 18 Bootstrap 方差估计 真实世界 Bootstrap世界 发生了两个近似近似的程度与原始样本数目n及bootstrap样本的数目B有关 19 Bootstrap 方差估计 在方差估计中 可为任意统计函数如均值 混合高斯模型的例子 中值 伪代码参见教材 偏度 例子参见教材 极大值 见后续例子 除了用来计算方差外 还可以用作其他应用CDF近似 偏差估计 置信区间估计 20 CDF近似 令为的CDF则的bootstrap估计为 21 偏差估计 偏差的bootstrap估计定义为 Bootstrap偏差估计的步骤为 得到B个独立bootstrap样本计算每个bootstrap样本对应的统计量的值计算bootstrap期望 计算bootstrap偏差 22 例 混合高斯模型 标准误差估计在标准误差估计中 B为50到200之间结果比较稳定偏差估计 23 Bootstrap置信区间 正态区间 简单 但该估计不是很准确 除非接近正态分布百分位区间 对应的样本分位数还有其他一些计算置信区间的方法如枢轴置信区间 24 例 Bootstrap置信区间 例8 6 Bootstrap方法的发明者BradleyEfron给出了下列用语解释Bootstrap方法的例子 这些数据是LAST分数 法学院的入学分数 和GPA 计算相关系数及其标准误差 25 例8 6 续 相关系数的定义为 相关系数的嵌入式估计量为 Bootstrap得到的相关系数插入估计的标准误差为 标准误差趋向稳定于 26 例8 6 续 当B 1000时 的直方图为下图 可近似为从的分布采样95 的正态区间为 95 的百分点区间为 当大样本情况下 这两个区间趋近于相同 27 非参数bootstrap过程总结 对原始样本数据进行重采样 得到B个bootstrap样本 其中b 1 B对每个bootstrap样本 计算其对应的统计量的值 bootstrap复制 根据bootstrap复制 计算其方差 偏差和置信区间等称为非参数bootstrap方法 因为没有对F的先验 即F的知识仅从样本数据中获得 28 非参数bootstrap 统计量 统计函数 没有对F的先验 F的知识仅从样本数据中获得 CDF估计 统计函数的估计变为嵌入式估计真实世界 Bootstrap世界 如方差计算中 发生了两个近似近似的程度与样本数目n及bootstrap样本的数目B有关 29 Bootstrap的收敛性 例 混合高斯模型 n 100个观测样本 4次试验得到不同B的偏差和方差的结果 30 Bootstrap的收敛性 B的选择取决于计算机的可用性问题的类型 标准误差 偏差 置信区间 问题的复杂程度 31 Bootstrap失败的一个例子 我们感兴趣的统计量为的CDF用G表示则的pdf为 32 Bootstrap失败的一个例子 续 对非参数bootstrap 令则所以 非参数bootstrap不能很好地模拟真正的分布 33 Bootstrap失败的一个例子 续 假设样本数目n 10 样本为 取参数X 0 5729 0 1873 0 5984 0 2883 0 8722 0 4320 0 4896 0 7106 0 2754 0 7637 非参数bootstrap复制 的直方图 B 1000 最高峰为 理论结果 34 Bootstrap失败的一个例子 为什么失败 EDF不是真正分布的很好近似为了得到更好的结果 需要F的参数知识或者的平滑性参数化的bootstrap表现很好 能很好模拟真正的分布 35 Bootstrap的收敛性 给定n个IID数据 要求当 收敛于F为的嵌入式估计统计函数的平滑性平滑函数 均值 方差 不平滑函数 数据的一个小的变化会带来统计量的很大变化顺序统计量的极值 极大值 极小值 36 参数化的bootstrap 真实世界 Bootstrap世界 与非参数的bootstrap相比 F的先验用参数模型表示多了一个步骤 根据数据估计参数 参数估计 从而得到不是经验分布函数EDF重采样 从估计的分布采样 产生随机数 F的先验 37 例 非参数bootstrap失败的例子 取参数 假设样本数目n 10 样本为X 0 5729 0 1873 0 5984 0 2883 0 8722 0 4320 0 4896 0 7106 0 2754 0 7637 在参数bootstrap中 F的先验 根据数据估计F中的参数 得到F的估计 从分布产生B 1000个样本 得到B个 直方图如右图 的分布为真正的分布 38 参数化的bootstrap 当F为参数模型时 参数化的bootstrap也可用于计算方差 偏差 置信区间等如计算方差 0 根据数据估计f的参数 得到f的估计1 抽取样本2 计算3 重复步骤1和2B次 得到4 39 参数bootstrapVs 非参数的bootstrap F的先验参数bootstrap中利用了分布F的先验 表现为一个参数模型 因此多了一个步骤 估计F模型中的参数 当先验模型正确时 参数bootstrap能得到更好的结果而非参数bootstrap不利用F的先验知识就能得到正确的标准误差 在大多数情况下 参数bootstrap能得到与Delta方法 计算变量的函数的方差 相当的结果 但更简单重采样参数bootstrap中 通过从分布中产生随机数 得到bootstrap样本 得到的样本通常与原始样本不重合非参数bootstrap中 通过对原始样本进行有放回采样实现对的采样 每个bootstrap样本都是原始样本集合的一部分 二者相同的是模拟的思想 40 Bootstrap 参数 非参数 不适合的场合 小样本 n太小 原始样本不能很好地代表总体分布Bootstrap只能覆盖原始样本的一部分 带来更大的偏差结构间有关联如时间 空间序列信号因为bootstrap假设个样本间独立脏数据奇异点 outliers 给估计带来了变化 41 刀切法 jackknife 42 引言 Bootstrap方法并不总是最佳的 其中一个主要原因是bootstrap样本是从产生而不是从F产生 问题 能完全从F采样或重采样吗 如果样本数目为n 答案是否定的 若样本数目为m m n 则可以从F中找到数目为m的采样 重采样 通过从原始样本X得到不同的子集就可以 寻找原始样本的不同子集相当于从观测进行无放回采样 得到数目为m的重采样样本 在此称为子样本 这就是jackknife的基本思想 43 刀切法 jackknife Jackknife由MauriceQuenouille 1949 首先提出比bootstrap出现更早与bootstrap相比 Jackknife m n 1 对计算机不敏感 Jackknife为一种瑞士小折刀 很容易携带 通过类比 JohnW Tukey 1958 在统计学中创造了这个术语 作为一种通用的假设检验和置信区间计算的方法 44 Jackknife样本 Jackknife样本定义为 一次从原始样本中留出一个样本 Jackknife样本中的样本数目为m n 1共有n个不同的jackknife样本无需通过采样手段得到jackknife样本 BOOTSTRAPMATLABTOOLBOX中也有该功能 45 Jackknife复制 统计量为 Jackknife复制为 均值的jackknife复制为 46 Jackknife方差估计 从原始样本X中计算n个jackknife样本计算n个jackknife复制 计算jackknife估计的方差 47 例 计算均值的方差 则所以 方差的无偏估计 48 例 计算均值的方差 因子比bootstrap中的因子大多了 直观上 因为jackknife方差比bootstrap中的方差小得多 相比bootstrap样本 jackknife样本与原始样本更相似事实上 因子就是考虑特殊情况得到的 有点武断 49 例 混合高斯模型 Bootstrap结果 Jacknife结果 50 例 混合高斯模型 复制的直方图 1000个Bootstrap复制 100个Jacknife复制 Jackknife复制之间的差异很小 每两个Jackknife样本中只有两个单个的原始样本不同 51 JackknifeVs bootstrap 当n较小时 能更容易 更快 计算n个jackknife复制 但是 与bootstrap相比 jackknife只利用了更少的信息 更少的样本 事实上 jackknife为bootstrap的一个近似 jackknife方差为bootstrap方差的一阶近似 估计样本分位数时 jackknife计