国外很火的关于硬盘MTBF的论文.pdf

2007 年 2 月以来 不少英文网站转载了质疑硬盘平均故障间隔时间的文章 各中文网站上 也有一篇内容相似的文章被互相转载 许多网友参与了声讨硬盘制造商弄虚作假的行动之中 究竟是怎么回事呢 硬盘的规格参数表中常常会出现这样一个数据 MTBF mean time between failures 平均故障 间隔时间 它是表明产品可靠性的参数 单位为 小时 hrs 对于这样一个参数 业 界存在两种解释 无故障时间或将要出故障的时间 两种说法反映了人们对同一问题的不同 观点 第一种说法是假设驱动器永远不出故障 而第二种说法正好相反 就是迟早会出故障 制造商是说谎的匹诺曹 MTBF 是硬盘制造商通过短期测试并经数学计算得出的 统计学结果 对于企业级硬盘来说 这一数据约为 100 万小时 有些驱动器甚至可达 150 万小时 乍看起来 用时间来描述硬盘故障率是一件好事 毕竟一年只有 8760 个小时 100 万小时就是大约 114 年 但是 这样一个十分夸张的数字又实在让人难以接受 硬盘的历史 不过 50 年 1956 年蓝色巨人 IBM RAMAC 计算机中才开始使用 305 磁盘存储系统 更早的设 备已弃置不用 更无据可查 如此说法根据何在呢 2007 年 2 月 13 16 日 在美国加 里福尼亚州圣琼斯举行的文件与存储技术会议 USENIXFAST 07 上 多篇论文通过大量存储实 例和调查结果对硬盘制造商提供的 MTBF 提出质疑 最佳论文奖则颁给了卡内基梅隆大学的 BiancaSchroeder 和 Garth Gibson 两位学者 他们的论文标题是 现实中的磁盘故障 100 万 小时的 MTBF 对你意味着什么 两位学者在研究过程中对 10 万个大型存储应用中 包 括高性能计算机和网络服务器 的硬盘进行了跟踪调查 最终获得的统计数据显示 制造商 给出 MTBF 数据与实际测试结果之间存在很大差异 譬如 按照 MTBF 为 100 150 万小时计 算 即便在最坏的情况下 硬盘的年故障率也不过 0 88 而实际数字一般都会超过 1 通常在 2 4 之间 在某些极端情况下高达 13 以上 甚至 24 硬盘按照质量高 下分为两个等级 企业级硬盘和桌面型硬盘 一般认为 企业级硬盘比桌面型 SATA 硬盘性 能更好 不仅运行速度块 而且使用更为灵活 因而价格往往高出桌面型硬盘 2 倍以上 然 而卡内基梅隆大学的两位学者发现 SCSI FC 与 SATA 三种硬盘在更换率上的差别并不大 这种现象隐约揭示了这样一个秘密 所谓的高性能硬盘 在可靠性方面并不比普通硬盘表现 得更好 这一发现对硬盘制造商来说 无疑是当头一棒 如果事实真的并不像他们所 宣称的那样 他们就应该向公众做出解释了 否则就有商业欺诈的嫌疑 两位学者的 文章公开以后 在社会上引起了很大反响 公众对 MTBF 数据的质疑声几乎一夜之间全面爆 发 多篇博客文章 要求硬盘制造商对此问题做出解释 其中最有代表性的是 Robin Harris 写的一篇名为 Everythingyou know about disks is wrong 你对磁盘的认识全都错了 的文章 这篇文章抱怨说 我相信许多用户都能举出几个不愉快的实例 但是 本应比用户了解得 更多的制造公司 不仅对事实视而不见 而且在有意说谎 看来 制造商与用户间的 鸿沟已经形成 一场关于硬盘寿命的争论在所难免 明年 你的硬盘也许就挂 了 硬盘故障可能来自设计缺陷 制造缺陷 运输 销售和使用的各个环节中 制造和运输环节中的意外情况 会导致硬盘在交付给消费者手中之前损坏或产生质量瑕疵 而当硬盘投入使用之后 也有很多因素会导致硬盘损坏 总的来说可以分为两类 一类是随 机性因素 另一类是必然性因素 人们一般认为 电脑硬件在产品生命周期的开始阶 段故障率较高但呈现下降趋势 幼儿死亡效应 此后会平稳运行 5 7 年 而后进入磨损期 失效率攀升 而 Bianca Schroeder 和 Garth Gibson 得出的统计数据显示 硬盘的失效率也存 在密切的时间相关性 但与其他硬件规律不同 并不遵循浴盆曲线规律 为了证明 硬盘的故障规律 卡内基梅隆大学的 BiancaSchroeder 和 Garth Gibson 进行了为期 5 年的艰 苦调查 2001 年 2006 年 收集了大量数据 这些数据来源于包括高性能计算和大型网络 服务器在内的硬盘替换日志 由生产日志产生的分类汇总统计结果 记录了 10 万块硬盘从 1 个月到 5 年的统计数据 而这 10 万块硬盘至少来自四个不同的厂家 磁盘类型包括 SCSI FC 来代表企业级的稳定型硬盘 同时也包括 SATA 接口 来代表桌面系统和其它相关系统 这样 调查数据就具有了广泛的代表性 最后 他们用统计学方法形成了一个结果 结果显示 硬盘的故障规律与普通设备的浴盆曲线大相径庭 普通设备投入使用后 第 1 年为故障高发期 从第 2 年到第 5 年为使用生命期 期间故障率维持在很低的水平 而硬盘 不同 它在投入使用的第 1 年故障率最低 从第 2 年开始 故障率却突然升高 而且此后维 持在一个较高的水平上 也就是说 传统意义上的使用生命期根本就不存在 这个发现 实在出乎所有人的意料 就连研究者本人也认为极具戏剧性 不过 Google 研究团队的研 究结果与之基本一致 可以互为旁证 硬盘到你手中之前 可能就已 伤痕累累 果园里刚摘下的苹果个个新鲜 百分之百合格 而经过运输和贮存 出售给消费者时难免会 有烂苹果出现 这个道理再简单不过了吧 硬盘被如何运输 如何保管 如何使用 诸如此类的问题 确实是目前的 MTBF 模型难以精确计算的 尽管在每一种应用场合 每一 台机器 以及每一次硬盘安装过程 情况可能都不相同 但硬盘制造商给出的 MTBF 数据 与实际运行结果之间的巨大差异 却是一个被证实的事实 两年前 笔者曾在马来西 亚遇到一个硬盘分析家 他在参观了硬盘工厂后 站在港口的码头上 观察装满硬盘的集装 箱装到船上的过程 突然 他对笔者说 链子掉了 整个集装箱就将掉到水泥的码头上 链 子被重新固定后 集装箱再次升起 硬盘仍然会堂而皇之地进入市场 卖到用户手中 这 位分析家说 他看到了这样一种趋势 业内人士 流水线上的操作工人 运输工人和营销人 员 正在越发粗暴地对待硬盘 尤其是对 3 5 英寸机械装置 2 5 寸笔记本硬盘采用了抗震设 计 使得它能够经得住力量稍大的敲打 人们也许已经习惯于以相同态度对待3 5英寸硬盘 这位分析家不无感慨地说 沿着供应链流动 任何情况都可能出现 事实情况正如分析家所 言 有些硬盘在制造和运输过程中就已经出了毛病 其中的部分产品在经过维修后又卖到了 用户手中 而且贴上了优质品的标签 只是因为其 2007 年 2 月以来 不少英文网站转 载了质疑硬盘平均故障间隔时间的文章 各中文网站上也有一篇内容相似的文章被互相转载 许多网友参与了声讨硬盘制造商弄虚作假的行动之中 究竟是怎么回事呢 硬盘的规格 参数表中常常会出现这样一个数据 MTBF mean time between failures 平均故障间隔时间 它是表明产品可靠性的参数 单位为 小时 hrs 对于这样一个参数 业界存在两种 解释 无故障时间或将要出故障的时间 两种说法反映了人们对同一问题的不同观点 第一 种说法是假设驱动器永远不出故障 而第二种说法正好相反 就是迟早会出故障 制造商是说谎的匹诺曹 MTBF 是硬盘制造商通过短期测试并经数学计算得出的 统计学结果 对于企业级硬盘来说 这一数据约为 100 万小时 有些驱动器甚至可达 150 万小时 乍看起来 用时间来描述硬盘故障率是一件好事 毕竟一年只有 8760 个小时 100 万小时就是大约 114 年 但是 这样一个十分夸张的数字又实在让人难以接受 硬盘的历史 不过 50 年 1956 年蓝色巨人 IBM RAMAC 计算机中才开始使用 305 磁盘存储系统 更早的设 备已弃置不用 更无据可查 如此说法根据何在呢 2007 年 2 月 13 16 日 在美国加 里福尼亚州圣琼斯举行的文件与存储技术会议 USENIXFAST 07 上 多篇论文通过大量存储实 例和调查结果对硬盘制造商提供的 MTBF 提出质疑 最佳论文奖则颁给了卡内基梅隆大学的 BiancaSchroeder 和 Garth Gibson 两位学者 他们的论文标题是 现实中的磁盘故障 100 万 小时的 MTBF 对你意味着什么 两位学者在研究过程中对 10 万个大型存储应用中 包 括高性能计算机和网络服务器 的硬盘进行了跟踪调查 最终获得的统计数据显示 制造商 给出 MTBF 数据与实际测试结果之间存在很大差异 譬如 按照 MTBF 为 100 150 万小时计 算 即便在最坏的情况下 硬盘的年故障率也不过 0 88 而实际数字一般都会超过 1 通常在 2 4 之间 在某些极端情况下高达 13 以上 甚至 24 硬盘按照质量高 下分为两个等级 企业级硬盘和桌面型硬盘 一般认为 企业级硬盘比桌面型 SATA 硬盘性 能更好 不仅运行速度块 而且使用更为灵活 因而价格往往高出桌面型硬盘 2 倍以上 然 而卡内基梅隆大学的两位学者发现 SCSI FC 与 SATA 三种硬盘在更换率上的差别并不大 这种现象隐约揭示了这样一个秘密 所谓的高性能硬盘 在可靠性方面并不比普通硬盘表现 得更好 这一发现对硬盘制造商来说 无疑是当头一棒 如果事实真的并不像他们所 宣称的那样 他们就应该向公众做出解释了 否则就有商业欺诈的嫌疑 两位学者的 文章公开以后 在社会上引起了很大反响 公众对 MTBF 数据的质疑声几乎一夜之间全面爆 发 多篇博客文章 要求硬盘制造商对此问题做出解释 其中最有代表性的是 Robin Harris 写的一篇名为 Everythingyou know about disks is wrong 你对磁盘的认识全都错了 的文章 这篇文章抱怨说 我相信许多用户都能举出几个不愉快的实例 但是 本应比用户了解得 更多的制造公司 不仅对事实视而不见 而且在有意说谎 看来 制造商与用户间的 鸿沟已经形成 一场关于硬盘寿命的争论在所难免 明年 你的硬盘也许就挂 了 硬盘故障可能来自设计缺陷 制造缺陷 运输 销售和使用的各个环节中 制造和运输环节中的意外情况 会导致硬盘在交付给消费者手中之前损坏或产生质量瑕疵 而当硬盘投入使用之后 也有很多因素会导致硬盘损坏 总的来说可以分为两类 一类是随 机性因素 另一类是必然性因素 人们一般认为 电脑硬件在产品生命周期的开始阶 段故障率较高但呈现下降趋势 幼儿死亡效应 此后会平稳运行 5 7 年 而后进入磨损期 失效率攀升 而 Bianca Schroeder 和 Garth Gibson 得出的统计数据显示 硬盘的失效率也存 在密切的时间相关性 但与其他硬件规律不同 并不遵循浴盆曲线规律 为了证明 硬盘的故障规律 卡内基梅隆大学的 BiancaSchroeder 和 Garth Gibson 进行了为期 5 年的艰 苦调查 2001 年 2006 年 收集了大量数据 这些数据来源于包括高性能计算和大型网络 服务器在内的硬盘替换日志 由生产日志产生的分类汇总统计结果 记录了 10 万块硬盘从 1 个月到 5 年的统计数据 而这 10 万块硬盘至少来自四个不同的厂家 磁盘类型包括 SCSI FC 来代表企业级的稳定型硬盘 同时也包括 SATA 接口 来代表桌面系统和其它相关系统 这样 调查数据就具有了广泛的代表性 最后 他们用统计学方法形成了一个结果 结果显示 硬盘的故障规律与普通设备的浴盆曲线大相径庭 普通设备投入使用后 第 1 年为故障高发期 从第 2 年到第 5 年为使用生命期 期间故障率维持在很低的水平 而硬盘 不同 它在投入使用的第 1 年故障率最低 从第 2 年开始 故障率却突然升高 而且此后维 持在一个较高的水平上 也就是说 传统意义上的使用生命期根本就不存在 这个发现 实在出乎所有人的意料 就连研究者本人也认为极具戏剧性 不过 Google 研究团队的研 究结果与之基本一致 可以互为旁证 硬盘到你手中之前 可能就已 伤痕累累 果园里刚摘下的苹果个个新鲜 百分之百合格 而经过运输和贮存 出售给消费者时难免会 有烂苹果出现 这个道理再简单不过了吧 硬盘被如何运输 如何保管 如何使用 诸如此类的问题 确实是目前的 MTBF 模型难以精确计算的 尽管在每一种应用场合 每一 台机器 以及每一次硬盘安装过程 情况可能都不相同 但硬盘制造商给出的 MTBF 数据 与实际运行结果之间的巨大差异 却是一个被证实的事实 两年前 笔者曾在马来西 亚遇到一个硬盘分析家 他在参观了硬盘工厂后 站在港口的码头上 观察装满硬盘的集装 箱装到船上的过程 突然 他对笔者说 链子掉了 整个集装箱就将掉到水泥的码头上 链 子被重新固定后 集装箱再次升起 硬盘仍然会堂而皇之地进入市场 卖到用户手中 这 位分析家说 他看到了这样一种趋势 业内人士 流水线上的操作工人 运输工人和营销人 员 正在越发粗暴地对待硬盘 尤其是对 3 5 英寸机械装置 2 5 寸笔记本硬盘采用了抗震设 计 使得它能够经得住力量稍大的敲打 人们也许已经习惯于以相同态度对待3 5英寸硬盘 这位分析家不无感慨地说 沿着供应链流动 任何情况都可能出现 事实情况正如分析家所 言 有些硬盘在制造和运输过程中就已经出了毛病 其中的部分产品在经过维修后又卖到了 用户手中 而且贴上了优质品的标签 只是因为其 间的过程和细节并未记录在案 电脑用 户毫不知情罢了 MTBF只表示出厂前状态 不能用它推算硬盘寿命 读 者一定想知道硬盘制造商是如何给出 MTBF 时间的 笔者在 Samsung 网站看到了这样的计算 公式 MTBF 测试时间 样品数 失效样品数 在计算公式下方 Samsung 公司还说明 了相应的测试方法 测试时间为 72 小时 样品数量为 120 件 既有公式 又有测试方 法 给出的结果应是无可挑剔了 但是 为何实际的故障率远远超出硬盘制造商提供的数据 呢 为了把这个问题分析透彻 让我们先回过头来观察所显示的硬盘故障规律 硬盘在 使用初期的故障率是比较低的 如果此时在实验室对新硬盘进行测试 所获得的失效率当然 很低 计算出的 MTBF 时间也就比较长 而卡内基梅隆大学两位学者的数据来自为 5 年间的 实际工作环境 而从第 2 年开始 硬盘的故障率已比第 1 年提高了 3 4 倍 两相比较 测 试时机不同 测试环境不同 获得的结果自然不同了 从 MTBF 数据的获取方法 我 们可以肯定地说 制造商给出的 MTBF 至多说明了硬盘在出厂前的状态 而不能代表投入应 用后的性能表现 从技术角度分析 随着应用时间的推移 其性能表现不可能维持不变 而 只会越来越差 同一批产品 如果在使用了 5 年之后再次进行测试 所得结果必将低于出厂 前的数值 本文开头曾经谈及 100 万小时的 MTBF 可以换算为 114 年 就是说 硬盘 的平均寿命可达百年以上 这样一个令人啼笑皆非的判断显然是错误的 为了说明发生错 误的原因 我们不妨引用一篇名为 关于 BT 下载伤硬盘的深度分析 文章 这篇文章对产生 错误推断的原因进行了剖析 很具说服力 文章引用了这样一个例子 美国人每年的千人死 亡率约为 1 1 换算为寿命就是 910 年 1000 1 1 这显然不合常理 即使最长寿的人 也不 可能活到 910 岁 究其原因 是在计算中忽略了人的身体会随年龄增长而趋于衰老的因素 同样的道理 简单地用 MTBF 时间来推算硬盘寿命的做法之所以会犯错误 也是忽视了硬盘 故障率随使用年限增长而不断升高的因素 用数学语言来描述就是 变量被常量所取代 而 该变量会随时间的增长而呈指数级数增长 写到这里 我突然想起去年夏天 SNUG 一 个网络存储组织 在拉斯维加斯举办会议上 一个经销商就直言不讳地批评制造商 不要再 出版那种废话了 S M A RT 并不是很聪明 对于电脑用户来说 硬 盘损坏是一件很可怕 很麻烦的事情 因为它带来的不仅仅是经济损失 经济损失只不过是 重新购买的费用 而数据丢失造成的损失才是无法估量的 所以 在硬盘损坏前 了解硬盘 的运行状况 及时备份数据 未雨绸缪才是我们要做的 幸运的是 IBM 开发了一款 工具软件 可以帮助用户预测故障 这就是 S M A R T 它是 Self MonitoringAnalysis and Reporting Technology 自动检测分析及报告技术 的简写 这款软件通常被固化在 BIOS 芯片中 能对硬盘的磁头单元 硬盘温度 盘片表面介质材料 马达及其驱动系统 硬盘内部电路等 进行监测 并向用户报告硬盘中存在的问题 汽车中的油位受到全程监视 当到达某 一极限时 监视系统向驾驶者发出警报 避免了灾难性事故的发生 S M A R T 故障分析项 目涵盖了机械和电子环境 人们希望它能像汽车中的油位报警系统一样工作 Google 的工程师们在一项关于大型磁盘驱动器群的故障趋势报告中指出 让 S M A R T 程序处于正 常运行状态 是预测磁盘失效的一个有效措施 一旦 S M A R T 扫描磁盘并定位错误时 驱 动器将在此后的两个月内出现 39 次错误 因此 第一次错误 非常有利于进行故障预报 在英文里 SMART 一词有巧妙 聪明的意思 遗憾的是 硬盘里的 S M A R T 技术还不是 足够的聪明 尽管 S M A R T 经常可以预报故障 但 Google 的研究人员还是发现 基于独立 参数故障预测模型的 S M A R T 其预测功能是有限的 一些硬盘在发生故障之前 S M A R T 并未给出任何故障预警信息 Google 的 Edua