数据恢复技术原理与应用 戴士剑.ppt

数据恢复技术原理与应用 中国人民解放军63961部队戴士剑 1 数据恢复的概念与范畴 2 数据恢复的基本原理 3 数据恢复与信息安全的关系 4 数据恢复与取证的关系 5 数据恢复技术的应用领域 6 数据恢复技术研究现状 数据恢复 简单的说 就是对一切计算机相关存储设备中丢失的数据进行恢复 这些数据包括所有存储在存储设备中的数据 系统数据与用户数据 这里所说的恢复 指的并不是与备份相对应地那个恢复 而是指对于系统表现为不可见的 信息 通过一定的技术手段 使之重现的恢复 1 数据恢复的概念与范畴 这里所说的系统 包括当前所有的操作系统 除主流的Microsoft UNIX LINUX系列外 也包括MAC系列 各种数字设备 仪表使用的嵌入式系列以及实时操作系统等 这里所说的存储设备 指的是断电后能保持的存储设备 一般并不包括易失性的存储设备 如内存等 这些存储设备 除了直接与计算机相连的 也包括其他所有同源的与计算机相关的存储设备 也就是说 数据恢复的工作对象涵盖了从最早的软盘 到后来逐渐发展起来的各种硬盘 光盘 移动存储设备 数码存储设备 各种存储卡 MP3 录音笔 数码相机 工控设备 嵌入式设备 PDA 手机等等 以及它们在各种系统下的各种组合 如工作在不同操作系统下的RAID NAS SAN等等 在数据不可访问时 都可以进行恢复 数据出现问题后为什么能够恢复 这与操作系统如何管理存储设备上的数据直接相关 这里以Windows系列为例来介绍这个问题 其他操作系统类似 我们都知道 微软从DOS开始 使用的文件系统为FAT12 后来逐渐发展到FAT16 FAT32和NTFS 这些都只是操作系统管理存储介质中的数据的一种方式 是用来索引磁盘上的数据的 类似于图书分类索引 用于定位和管理磁盘上的数据 2 数据恢复的基本原理 如FAT文件系统 在磁盘分区中 第一个扇区是引导扇区 引导扇区中有很多参数 操作系统在访问该分区时 就用这些参数来定位FAT文件系统中的其他系统数据 以确定该分区中数据的存储情况 微软操作系统访问数据时是以文件为单位进行访问的 也就是直接与用户打交道的数据单元是文件 如使用资源管理器对文件进行复制 删除 移动等等 就是修改数据 也是修改的文件的数据 这些数据都是依存于文件的 文件不存在了 数据也就不存在了 那么FAT文件系统是如何管理这些文件的呢 首先 FAT对磁盘扇区的划分方式如下图所示 操作系统通过引导扇区获取磁盘分区的相关参数 确定两个FAT表的位置和大小 以及文件目录表 FDT 的位置 系统在查找文件 目录时 通过文件目录表来获取文件 目录的相关信息 如文件 目录名 大小 时间戳等 以及存储的首簇 系统在管理扇区时是以簇为单位的 一个簇可能是1 2 4 8 16 32 64个扇区等 号 根据首簇号一方面到数据区相应地簇号所对应的扇区找到首簇数据 另一方面从FAT表中找到后续的簇以及结束标示 其FAT表与数据区中的簇是一一对应的 FAT后面的数字12 16和32分别表示FAT表中用多少位来表示数据区中的一个簇 而数据区的实际数据只能通过文件 目录及子目录来解释 这样就确定了一个完整的文件 目录 如下图所示 FAT16文件系统的文件目录项 FDT 每一项用32个字节来定义 其含义如下图所示 FAT32文件系统的文件目录项 FDT 每一项用32个字节来定义 其含义如下图所示 这样 系统在删除文件时 只是把FDT项的第一个字节 即文件名的首字母 改为十六进制的 E5 即ASCII码的 然后将相应的FAT表中所对应的簇改为 0 以表示所对应的数据区中的簇为空 可以存入新的数据 FAT32还需要将FDT中表示起始簇号的高16位清0 所以 对于这样删除的数据 虽然从操作系统或文件系统的角度来说 文件 目录确实已经不存在了 但通过直接对磁盘扇区进行操作 修改FDT并重新建立FAT表 就可以将文件或目录恢复回来 当然 重建的过程比想象的要复杂的多 对于NTFS分区来说 采用了和FAT不一样的管理方式 所有存储在分区中的数据都是文件 其中这些文件分为两大类 一类是元数据文件 这些元数据文件 用于引导该分区 确定文件系统的相关参数 定位文件的存储情况 相当于FAT文件系统中的DBR FAT和FDT 是用来管理分区的 它们所占用的空间称为主文件表 MFT 另一类是普通文件 它的磁盘扇区使用情况如下图所示 MFT中有一个元数据文件专门用来记录所有文件 目录的相关信息 每个文件 目录占用一条 称为文件记录 文件记录固定为1KB大小 个别结构复杂的文件 目录还可能占用多条文件记录 它的删除与FAT文件系统类似 也有一个标志位 同时将记录簇使用情况的位图文件相应的位清空 所以 删除的文件同样可以恢复 NTFS文件记录的组织结构如下图所示 对于这两种文件系统 格式化相当于将所有文件 目录全部删除 所以 格式化后的分区 仍然可以恢复数据 directory home you inode123 datablocks datablock datablock datablock 而典型的Unix和linux文件系统为 ext2 ext3 采用i node的管理方式 文件被删除后保留的信息 directory home you inode123 datablocks datablock datablock datablock 从前面数据恢复的定义中就可以看到 数据恢复属于事后的补救措施 后悔药 它既不是预防措施 也不在现有安全体系或安全策略考虑的范畴之内 但它又确实属于信息安全的范畴 因为它可以解决数据的可用性和保密性 当然 在备份工作正常的情况下 是不需要进行恢复的 只在通过其他手段仍无法得到数据的情况下 才需要进行恢复 换句话说 如果恢复不了 就等于宣布数据彻底丢失 只能重建 3 数据恢复与信息安全的关系 而造成数据丢失的原因非常多 如系统软硬件故障 断电 死机 病毒破坏 黑客攻击 木马破坏 误操作 磁盘阵列失效 磁盘电路板损坏 盘体坏 磁道坏 磁盘内部损坏 以及口令遗失 文档错乱等情况 都是数据恢复的研究范畴 这种情况下 数据恢复就是找回数据的最后一颗 救命稻草 所以说 数据恢复是信息安全的最后一道防线 说它是最后一道防线 还有一层意思 那就是 虽然在信息的收集 整理 创建 存储 管理 应用 更新 备份中 一般并不考虑数据的恢复问题 但在其生命的最后一个阶段 销毁的时候 一定要考虑信息的反恢复问题 反过来说 任何需要信息保密的地方 都需要考虑数据的反恢复问题 所以实际上 数据恢复与反恢复 是伴随信息生命的整个周期的 从这个意义上来讲 它的研究 远还没有受到应有的重视 处理过公文 要脱密 先格式化 然后重分区 安装操作系统 再格式化 安装各种防护程序 似乎是安全的 但是 即使通过一般的系统调用 按扇区收集信息 从本质上讲 数据恢复与计算机取证 无论是工作基础 基本原理 基本原则 工作对象 还是注意事项和工作流程 都同出一门 只是侧重点和目标不一样 比如 数据恢复一般需要完整的恢复文件或系统 计算机取证则只要有确切的信息 哪怕是零碎信息 只要可以作为确切的证据即可 4 数据恢复与取证的关系 获取证物 鉴定证物 分析 证据呈堂 全程监督链 客户设备 完整镜像 恢复 检验接收 当然 两者也有不一致的地方 如计算机取证可能需要对计算机工作状态进行取证 而数据恢复一般不做这方面的工作 另外采用的侦察手段也不一样 数据恢复是直接地 面对面地工作 而计算机取证 可能需要法律上的刑侦手段 另外 侧重点也不一样 如数据恢复主要是为了恢复一个WORD文档 而计算机取证 可能还需要找出这个WORD文档是属于谁的 即使是这样 也可以说 两者的差别主要来源于法律程序 而不是技术手段 根据不同的法律程序使用相似的技术手段 数据恢复 计算机取证 证据 数据 随着数据量的剧增 数据存储与快速检索技术面临着巨大的挑战 由于越来越多的信息变成了数字信息 使得信息存储与快速检索技术显得更加重要 特别是计算机网络应用的迅速增长 更大大增加了对信息存储产品的需求和对信息存储技术的安全性 可靠性要求的提高 5 数据恢复技术的应用领域 根据3M公司对8000名网络微机用户的调查发现 硬盘的每次失效将造成5天以上的无效工作日 而在一个典型的商业应用中 重建1000MB的数据 平均要耗时3 5个月 费用为95000美元 由此可见 信息存储对最终用户来说是何等的重要 可以说 它是信息时代的数字财富 很显然 数据恢复技术的一个最大应用就是在数据出现问题时快速进行恢复 毕竟 信息的复制虽然很容易 但信息的重建却非常的困难 无论是重建时间 还是重建费用 都让人无法忍受 而有些信息甚至根本就不可能重建 在这里我们可能会有一个疑问 那就是对于重要数据用户都会做好备份 的确是这样 现在的用户大多知道了数据备份的重要性 可是 在实际应用中 仍然有大量的用户出现各种各样的问题 在这些丢失数据的用户中 知道并且注意备份的还占有相当的比例 毕竟 没有完全可靠的系统 也没有完全可靠的备份 而且很多系统不能实现实时的完整的备份 下面以一个实例来说明这个问题 但即使是这样 任何时候 对重要数据都需要做好备份 有时甚至是数份备份 主服务器 从服务器 双机热备份 带热备的RAID5 RAID5 Windows Oracle 事物都有其两面性 数据恢复也不例外 由此产生它的另一个应用就是数据的反恢复问题 一般企业存储重要数据的服务器 其存储设备出现问题后磁盘都是直接销毁的 对于重要部门也一样 处理重要数据的计算机 一定要做这方面的处理工作 如很多涉密单位的计算机 要求机器中不能存储涉密数据 但是 却忽视了即使是这样 计算机中仍会留下一些临时文件 正是这些临时文件造成了很多重要信息的失泄密 另外我们都知道 各国都有自己的情报部门 通过各种渠道收集各种存储介质 如何彻底的销毁使用过的存储介质上的重要数据 保护核心信息 应该成为信息管理部门日常的工作内容之一 对于特殊系统 特殊情况下如何自销毁 也是一个新的课题 总的来说 数据恢复是一个基础性的研究 它的应用包括以下四大领域 数据恢复 计算机取证 信息销毁 信息战 据Ontrack公司统计的资料 一般计算机数据出现问题的主要原因及比例如下图所示 6 数据恢复技术研究现状 当前国际上对数据恢复技术的基本分类如下图所示 其中软恢复指的是存储系统 或操作系统 或文件系统层次上的数据丢失 这种丢失是多方面的 对于一般文件系统来说 这方面的研究工作起步较早 国内外研究的都比较深 这方面的主要难点是 文件碎片的恢复处理 文档修复和密码恢复 硬恢复指的是由于硬件故障所造成的数据丢失 如磁盘电路板损坏 盘体坏 磁道坏 磁盘内部系统数据损坏等 这种情况几乎都会出现系统不认盘或认盘困难等症状 恢复起来难度较大 如果是内部盘片数据区严重划伤 会造成数据彻底丢失 而无法恢复数据 稍有常识的用户 在出现这种情况 如移动硬盘跌落 后 不会反复加电尝试 也就不会人为的造成大面积的划伤 因此 这种情况一般还是能够恢复大部分数据的 大型数据库系统往往存储着一些非常重要的数据 其组成复杂 一般都有较完善的保护措施 所以一般不会出现小问题 只要出现问题 基本上都是较难处理的问题 恢复的难度较大 典型的大型数据库系统主要是SQLServer Informix Sybase Oracle和IBMUDB DB2等 异型操作系统的数据恢复 指的是不常用的 比较少见的操作系统下的数据恢复 如MAC OS2 嵌入式系统 手持系统 实时系统等 数据被覆盖后 再要恢复的话 难度非常大 这与其他四类数据恢复有着质的区别 目前只有硬盘厂商及少数几个国家的特殊部门能够做到 它的应用 一般都与国家安全有关 这也是目前数据恢复学界和我们致力解决的问题 目前 软恢复国 内外水平相差不大 硬恢复以美国和俄罗斯为龙头 特别是美国 要高于其他国家 这与核心技术都掌握在美国人手里有关 数据库和异形系统也一样 主要技术都掌握在西方国家手里 仍以美国为领头羊 水平相差最大的是覆盖恢复 据说美国军方可以恢复覆盖6 9次的数据 俄罗斯可以恢复覆盖3 4次的数据 IBM自己耗资6亿美元的研究成果是可以恢复覆盖2 3次的数据 由于这些都涉及到国家核心机密 具体的细节和可靠性都尚不可知 不过 日本对涉密载体要求必须低级格式化6 9次方可回收 还是能够说明这一问题的 目前 国内从事数据恢复业务的几乎都以个体为单位 规模稍大的公司也就是几个人的规模 即使是同源的计算机取证 也没有超出100人的 更不用说专门从事研究的研究人员 但是 前面我们已经谈过