（计算机科学与技术专业论文）基于闪存数据恢复的计算机取证技术的研究与实现.pdf

独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论 本人签名： 处，本人承担一切相关责任。 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名， 日期：0 、玉卜 日期：! 删s _ 一 心 气 弋 ，小 基于闪存数据恢复的计算机取证技术的研究与实现 摘要 随着计算机技术的发展，高科技犯罪日益猖獗，犯罪分子会想方 设法掩盖犯罪证据，因此研究如何对存储介质上的信息进行获取和分 析成为计算机取证学的重要内容。另一方面，随着技术的进步，f l a s h 闪存设备( 如u 盘) 成为广大电脑用户存储数据、备份数据的重要 载体，同时在消费电子产品( 如手机、数码相机等) 及其它嵌入式设 备中，f l a s h 闪存也得到了越来越广泛的使用，因此针对闪存设备的 数据恢复技术在计算机取证中的作用越来越重要。 本文论述的计算机取证技术主要基于u 盘的逻辑数据恢复和 f a t 3 2 系统的文件数据恢复。在u 盘的逻辑数据恢复过程中，本文 通过分析f a t 文件系统的存储特点，设计写入了基于逻辑扇区号的 实验数据，在读取出闪存物理数据后进行对比分析找出从物理地址到 逻辑地址的映射关系，从而实现u 盘的逻辑数据恢复，并在此基础 上设计了动态扫描的方法；在f a t 3 2 系统文件数据恢复中，本文提 出了利用l i n u x 系统工具恢复正常文件目录并进行证据查找的方法， 对于人为删除或格式化造成丢失的文件，本文通过研究f a t 3 2 系统 的文件删除及格式化原理，设计实现了相应的数据恢复程序，对文件 系统中的数据进行快速与深度扫描，最大限度的发现已删除的数据和 格式化后残留的数据，并对已删除的数据进行最大程度的恢复。 关键词：计算机取证闪存u 盘数据恢复f a t 3 2 飞l。0 一 l 甘、 一 r ， ，? 一 r w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rt e c h n o l o g y , h i - t e c hc r i m eb e c o m em o r e a n dm o r es e r i o u s c r i m i n a l sw i l lf i n dw a y st oc o v e r u pe v i d e n c eo fac r i m e s oi ti s t h ei m p o r t a n ts u b j e c tf o rc o m p u t e rf o r e n s i c st or e s e a r c hh o wt oa c q u i r ea n da n a l y z e s e n s i t i v ei n f o r m a t i o nf r o mm e m o r i e s o nt h eo t h e rh a n d ，w i t ht h ea d v a n c e si n t e c h n o l o g y , f l a s hm e m o r yd e v i c e s ( s u c ha sud i s k ) h a sb e c o m ea l li m p o r t a n tc a r r i e r f o rt h em a j o r i t yo fc o m p u t e ru s e r st os t o r ea n db a c k u pd a t a a tt h es a m et i m ei nt h e c o n s u m e re l e c t r o n i c s ( s u c ha sm o b i l e p h o n e s ，d i g i t a lc a m e r a s ，e t c ) a n do t h e r e m b e d d e dd e v i c e s ，f l a s hm e m o r yh a sa l s ob e e ni n c r e a s i n g l yw i d e l yu s e d t h e r e f o r e ， d a t ar e c o v e r yt e c h n o l o g yf o rf l a s hm e m o r yd e v i c e sb e c a m em o r ei m p o r t a n ti n c o m p u t e rf o r e n s i c s t h i sp a p e rd i s c u s s e sc o m p u t e rf o r e n s i c st e c h n o l o g yb a s e do nud i s kl o g i c a ld a t a r e c o v e r ya n dd a t ar e c o v e r yo ff a t 3 2f i l es y s t e m i nt h eud i s kl o g i c a ld a t ar e c o v e r y p r o c e s s ，b ya n a l y z i n gt h ef a tf i l es y s t e ms t o r a g ef e a t u r e st h i st h e s i sd e s i g n e d c o r r e s p o n d i n ge x p e r i m e n t a ld a t ab a s e do nl o g i cs e c t o rn u m b e r , a n a l y z e dt h ef l a s h m e m o r yp h y s i c a ld a t at of i n do u tt h em a p p i n gf r o mp h y s i c a la d d r e s st ol o g i c a l a d d r e s st h e ni m p l e m e n tt h eu - d i s kl o g i c a ld a t ar e c o v e r y , a n do nt h i sb a s i st od e s i g na d y n a m i cs c a n n i n gm e t h o d i nt h ed a t ar e c o v e r yo ff a t 3 2f i l es y s t e m ，t h i sp a p e r p r e s e n t st h em e t h o do fu s i n gl i n u xs y s t e mt o o l st or e c o v e r yn o r m a lf i l e sa sw e l la s d i r e c t o r i e sa n dt os e a r c hf o re v i d e n c e f o rt h el o s sf i l e sc a u s e db ym a n m a d ed e l e t e d o rf o r m a t t e d ，a f t e rr e s e a r c ho np r i n c i p l e so ff i l ed e l e t i o na n df o r m a t t i n go nf a t 3 2f i l e s y s t e m ，t h i sp a p e rd e s i g n e da n di m p l e m e n t e dt h ea p p r o p r i a t ep r o c e d u r e sf o rd a t a r e c o v e r y , w h i c hc a l ld of a s ta n dd e e ps 伽0 1 1f i l es y s t e m ，m a x i m i z et h ed i s c o v e r yo f d e l e t e dd a t aa n dr e m n a n td a t aa f t e rf o r m a t t i n g ，a n dr e s t o r ed e l e t e dd a t am o s t k e y w o r d s ：c o m p u t e r f o r e n s i c sf l a s hm e m o r yud i s kd a t a r e c o v e r y f f 蛔b 2 i l m 一 一 舟 一 f j 产 第一章 1 1 1 2 1 3 1 4 第二章 2 1 2 2 2 3 2 4 第三章 3 1 3 2 3 3 3 3 第四章 4 1 目录 弓l 言1 课题的研究背景和研究意义。1 本课题国内外的研究现状和发展趋势1 课题相关内容3 1 3 1 论文完成的主要工作3 1 3 2 难点与关键技术3 论文章节安排4 计算机取证技术及相关概念。6 计算机取证相关概念6 计算机取证的一般步骤6 数据恢复技术的研究现状7 本章小结8 闪存原理与u 盘结构9 闪存的工作原理9 3 1 1 闪存简介9 3 1 2 闪存的组织结构与读写1 0 3 1 3 闪存磨损管理1 1 u 盘的组织结构1 2 u 盘数据恢复问题1 2 本章小结1 4 f l a s h 数据扫描与分析1 5 静态分析方法1 5 4 1 1 分区与f a t 文件系统1 5 4 1 2 数据设计与写入1 8 4 1 3f l a s h 数据分析2 l 4 2 动态扫描分析设计2 4 4 2 1 备用区信息统计2 4 4 2 2 分块、分页信息分析2 6 4 3 逻辑数据的恢复组织2 7 4 4逻辑数据正确性的验证2 9 4 5 冗余信息分析2 9 i v 4 6本章小结2 9 第五章基于f a t 3 2 文件系统的取证3 1 5 1正常目录与文件的恢复与取证3 1 5 1 1 文件系统挂载3 1 5 1 2 证据的调查分析3 2 5 2已删除文件的恢复分析3 4 5 2 1f a t 3 2 系统目录结构3 4 5 2 2 文件与目录删除原理。3 6 5 2 3f a t 系统的格式化原理3 7 5 3数据恢复程序设计3 8 5 3 1 相关的数据结构3 8 5 3 2 系统区信息的获取一4 0 5 3 3 重构已删除文件的目录树4 1 5 3 4己删除文件的数据恢复4 4 5 4本章小结4 6 第六章总结与展望。4 7 参考文献。4 9 致谢5 1 硕士期间发表论文。5 2 v 渗透到我国政治、经济、军事、科技、文化等各个方面，信息技术的发展与广泛 应用，已经深刻地改变了人们的生活与生产方式，各种信息化的系统也已成为国 家关键基础设施。与此同时，新的漏洞与攻击方法不断出现，计算机越来越多的 卷入到犯罪活动中，或是作为受攻击的目标，或是作为犯罪的工具，计算机犯罪 ( c o m p u t e rc r i m e ) 的趋势目前已日趋严重i l l 。与一般的犯罪不同，计算机犯罪 是一种新兴的高技术犯罪，其很多犯罪证据都以数字形式通过计算机或网络进行 存储和传输，包括一切记录、文件、源代码、程序等等，也即所谓的电子证据。 由于电子证据与海量的j 下常数据混杂，难以提取，且易于篡改、销毁，故而其获 取、存储、传输和分析都需要特殊的技术手段。由此产生出的计算机取证作为法 学、刑事侦查学和计算机科学的交叉学科，同益受到各国的重视。 目前的网络安全一般主要依靠的是主动防御，通过布置防火墙、入侵检测系 统达到过滤及预警等功能，但这些技术只是从防御的角度来防止计算机犯罪，并 没有从根本上解决问题，真正通过司法机关干预解决的网络入侵行为很少，这也 变相的导致了黑客入侵行为层出不穷，愈演愈烈。解决问题的关键是要依靠法律， 运用法律手段对犯罪分子进行制裁。因此获取恶意篡改、非法删除、窃取机密资 料等入侵行为的电子证据是至关重要的，只有将获取的计算机犯罪证据提交给司 法部门进行诉讼等，才能有效的通过司法程序将犯罪分子绳之以法。这些技术正 是目前包括公安、司法及高校等研究机构关注的热点即网络安全方向中的计算机 取证技术。计算机取证是网络安全方向的一个全新分支，涉及数据的获取技术、 数据的保全技术、数据的分析技术及证据归档及相关法律程序等，可以认为是计 算机科学与法学的交叉学科【盈。计算机取证就是以预先确定好的规程对计算机系 统的数据进行检测、提取、分析并记录犯罪活动证据的一门学科。 1 2本课题国内外的研究现状和发展趋势 计算机取证技术在发达国家的研究起步比较早，早在1 9 9 1 年，计算机专家 国际联盟( i a c i s ) 在美国俄勒冈州波特兰市举行的第一次培训会中就正式提出 了计算机取证( c o m p u t e rf o r e n s i c s ) 的概念【2 1 。近几年每年都会有计算机取证相 关的学术会议召开。如何加大计算机犯罪的打击力度，已成为世界各国普遍关心 的问题【3 1 。许多国家相继出现了许多专门的计算机取证部门、实验室和咨询服务 公司，并有一些产品问世，比如e a r t h l i n k 网络的d a nf a r m e r 和i b m 公司w i e t s e v e n e m a 研究员合作开发的t h e c o r o n e r st o o l k i t ( t c t ) ，它提供了强大的取证 调查能力，能对运行着的主机活动进行分析，并捕获目前的状态信息，如运行中 的进程、网络连接、硬盘驱动器方面的信息以及m a c 时间等。如今美国至少7 0 的法律部门拥有自己的计算机取证专业实验室i 训，并成立了f b i 纽约计算机犯罪 专业防治队，专门从事网络犯罪侦查工作，如通过网络或对从犯罪现场获取的计 算机机器设备进行证据的提取和分析等。在计算机取证的流程和标准研究方面， 巴西研究人员m a r c e l o a b d a l l ad o sr e i s 做了大量的，发表了多篇相关的论文，并 在2 0 0 2 年7 月美国夏威夷召开的第十四界f i r s t 技术论坛上提出了计算机取证 标准化的思想i 引。 我国有关计算机取证的研究与实践尚处在起步阶段，由于我国的计算机普及 与应用起步较晚，有关计算机取证的研究与实践工作也仅有1 0 年的历史，学界 对计算机犯罪的研究也主要集中于计算机犯罪的特点、预防对策及其给人类带来 的影响，相关的法律法规也还不完善，只有一些法律法规涉及到一些有关计算机 证据的说明1 6 1 。目前法庭案例中出现的计算机证据都比较简单，多是文档、电子 邮件、程序源代码等不需特殊工具就可以取得的信息。但随着技术的进步，计算 机犯罪的水平也在不断提高，目前的计算机取证技术已不能满足打击计算机犯 罪、保护网络与信息安全的要求。公安、司法等执法机关在技术上还缺乏有效的 取证工具【7 1 。 随着技术的不断发展，计算机犯罪手段也层出不穷。我国在计算机取证方向 上也开展了大量的工作，取得了长足的进步。学术方面，2 0 0 5 年在北京人民警 察学院成立了中国电子学会计算机取证专家委员会并召开了工作会议，至今中国 计算机法证技术峰会( c c f c ) 也已经成功举办三届，同时国家“十一五 科技 攻关项目课题：电子数据证据鉴定技术以及国家8 6 3 项目在电子物证保护及分析 技术、取证重放技术等方面都全方位开展了课题研刭踟。在企业届，也涌现了一 批从事数字取证产品开发的高科技企业，如厦门美亚柏科资讯科技有限公司研发 的计算机犯罪证据勘察箱，北京中网安达信息安全科技公司开发的“网络神捕 综合取证软件系统和“版权卫士取证系统等。 2 根据分析结果对f l a s h 闪存物理数据重新进行排列组织，实现u 盘逻辑 镜像数据的恢复。 利用l i n u x 系统工具挂载u 盘逻辑镜像，实现u 盘中的j 下常文件及目录 数据的恢复，以及利用相关工具对文件系统进行浏览，对文件、文件内容进行快 速查找以实现取证调查。 在f a t 3 2 下对文件和目录两种数据文件分别进行存储和删除前后的比较 和研究，总结出删除文件的恢复方法。 分析研究f a t 系统格式化原理，根据子目录数据特点，设计出对格式化 后的系统中的文件及目录数据的扫描方法。 f a t 3 2 下已删除文件恢复的实现。通过按目录扫描与按簇扫描，构建文 件系统中的已删除文件目录树，并对已删除但未被覆盖的文件数据内容进行恢 复，实现取证调查。 1 3 2难点与关键技术 针对做课题的过程中遇到的各种问题，总结课题的主要难点与关键技术如 下： 1 f l a s h 闪存物理数据的重新组织：闪存物理数据的重新组织是课题的重点所 在，由于闪存异地更新策略以及磨损均衡的存在，物理页与逻辑页对应关系是动 态不断变化的，因此直接读取出的闪存物理数据还需要进行重新组织排列为逻辑 镜像数据，才能进行文件系统的恢复。物理页与逻辑页的映射表在闪存中的存储 形式是未知的，如何从闪存物理数据中找出该映射表，是需要解决的关键难点， 本论文从静态分析与动态分析两方面进行了分析讨论。 2 目录的扫描：对于删除文件的恢复，是计算机取证中的一项重要内容，本 论文是通过对文件系统目录树的递归扫描，来构建被删除的文件目录树。 3 3 格式化后的按簇扫描：按簇扫描能够发现格式化分区后，残留在分区数据 区的数据。由于格式化分区后，f a t 文件系统的目录表和文件分配表都被清空了， 因此，无法依靠文件目录信息进行文件的查找和恢复，因此只能对数据区按簇进 行扫描，根据根目录与子目录的特点和根目录与子目录的不同，从子目录的特点 入手，判定数据区是否存在子目录数据，然后进行目录树丢失文件节点的生成， 从而完成格式化后的扫描。 4 数据恢复技术：通过扫描发现已删除的数据后，关键是要对数据进行恢复， 通过获取已删除文件的文件名、文件大小、文件长度、文件入口等信息，再进行 数据内容的读取，从而实现数据的恢复。 1 4 论文章节安排 本文共六章，各章节内容安排如下： 第一章，介绍了本论文的研究背景、国内外相关研究工作及未来的发展方向， 最后简要的说明了论文的主要工作及论文组织结构。 第二章，介绍了计算机取证基本概念及取证的一般步骤与原则，以及数据恢 复技术在计算机取证中的应用情况；最后详细介绍了当前国内外的数据恢复技术 的研究情况。 第三章，闪存及u 盘结构组织原理，着重阐述了闪存的结构，闪存物理数据 组织情况、读写方法以及闪存磨损管理；接着介绍了u 盘的组织结构以及u 盘 数据恢复的原理及难点。 第四章，实现物理数据到u 盘的逻辑数据镜像的恢复，先分析了f a t 3 2 内 部存储结构，包括文件系统的b p b 结构、簇与f a t 链等，基于f a t 系统文件存 取特性设计了规律的实验数据写入u 盘，读取f l a s h 物理数据后根据实验数据来 分析u 盘的存取方法；然后设计了动态的分析方法，以实现对未知的动态数据 的分析；最后解析了根据物理数据组织逻辑镜像的程序实现以及部分冗余信息的 价值。 第五章，基于f a t 3 2 文件系统的取证，首先通过l i n u x 系统工具实现u 盘镜 像中正常文件数据的恢复与查找取证；接着阐述f a t 文件卷中文件与目录结构、 文件与目录的删除以及格式化的原理，最后详细解析了f a t 3 2 下已删除文件的 恢复程序实现过程，包括如何寻找删除的文件和被格式化的文件，构建已删除文 件目录树及具体文件数据的恢复。 4 ， 5 第二章计算机取证技术及相关概念 2 1计算机取证相关概念 目前，计算机取证还没有统一、准确的定义，不少专家学者和研究机构尝试 着给出了“计算机取证 的定义。 计算机取证资深专家j u d dr o b b i n s ( 1 9 9 8 ) 给出定义为：计算机取证是将计 算机调查和分析技术应用于潜在的、有法律效力的证据的确定与获取上【9 1 。 知名学者g p a l m e r 在d i g i t a lf o r e n s i c sr e s e a r c hw o r k s h o p ( d f r w s ) 的论 文中指出，计算机取证包括电子证据的收集、验证、分析、解析、归档及呈堂的 一个详细过程1 1 0 j 。 著名的计算机取证工具t c t 研发者f a r m e r & v e n e m a 也给出了定义：以一种 尽可能避免扭曲、偏离的方式收集和分析数据，从而重构数据或重构系统中过去 发生的事件1 1 1j 。 综合上述定义，计算机取证就是指运用先进的技术手段，按照一些预先定义 的程序及符合法律规范的方式全面检测计算机系统，提取、存储、保护、分析及 其将与计算机犯罪相关证据归档并呈送给法庭的过程【1 2 】。其目的是对犯罪分子 何时何地怎样入侵计算机以及在入侵成功后所做事情的一次重现过程。 2 2计算机取证的一般步骤 一般来说，为了保证获取的证据真实、可靠及其具有法律效力，计算机取证 的通常步骤是f 1 3 , 1 4 ： ( 1 ) 现场的勘查保护：在取证检查中，保护目标计算机系统，避免发生任 何的改变、伤害、数据破坏或病毒感染。 ( 2 ) 证据的获取与鉴定：借助各种工具，在对原始数据不造成破坏的前提 下对计算机数据进行的采集，并证明所获取的证据和原有的数据是相同的。 ( 3 ) 证据的分析：对电子数据进行分析以查找需要的电子证据。包括搜索 目标系统中的所有文件；全部( 或尽可能) 恢复发现的已删除文件；分析在磁盘 的特殊区域中发现的所有相关数据等。 ( 4 ) 证据的提交：给出目标计算机系统的全面分析结果以及必需的专家证 明。 其中证据的分析是最重要的环节之一。证据分析可以从两个角度入手：静态 取证和动态取证。计算机的静态取证是在事后对存储介质当中存留或遗留的数据 6 进行确认、提取、分析，并抽取出有效证据的过程。动态取证又称为网络取证， 是在受保护的计算机上事先安装上代理，当攻击者入侵时，对系统的操作及文件 的修改、删除、复制、传送等行为，系统和代理会产生相应的日志文件加以记录 并依据文件信息进行恢复，以作为入侵证据1 1 5 , 1 6 j 。 其中静态取证的关键技术【1 7 , 1 8 】主要有： ( 1 ) 数据的备份技术i 利用磁盘映像拷贝等工具将目标磁盘进行原样复制。 ( 2 ) 数据恢复技术：对已删除的或丢失的数据进行恢复，是静态取证中的 核心技术。 ( 3 ) 文件分析技术：对系统中的文件及其属性进行的分析。 ( 4 ) 残留数据提取技术：对磁盘特殊区域中的残留数据进行分析，磁盘特 殊区域包括未分配的磁盘空间和文件s l a c k 空间【1 9 】等。 2 3数据恢复技术的研究现状 作为静态取证中的核心技术，数据恢复技术主要用于将犯罪嫌疑人破坏( 删 除或者格式化磁盘进行擦除以及对存储设备进行物理破坏) 的数字证据实施恢 复。由于数据的删除操作只是在文件相应的位置作了标记，其文件内容在未被其 他文件覆盖之前仍然存在，磁盘的格式化也仅是将用于访问文件系统的各种表进，： 行了重新构造，其数据依旧存在；物理损坏的存储设备也可以利用相关工具直接 读取磁盘盘片或半导体存储芯片内的数据内容，因此取证人员可以通过数据恢复 技术重新获得各种删除过的数字证据。 “ 数据恢复技术通常有两个层面：一个是基于硬件的数据恢复，主要指由硬件 的问题导致的数据损坏或丢失；另一个是基于软件的数据恢复，是指由于人为的 原因导致的格式化、文件删除、分区表信息损坏、引导扇区信息受损等的数据损 坏或丢失l 硎。 基于硬件的数据恢复通常有有硬件替代、固件修复、盘片读取三种恢复方式， 硬件替代就是用同型号的好硬件替代坏硬件达到恢复数据之目的，如硬盘电路板 的替代、闪存盘控制芯片更换等。固件是硬盘厂家写在硬盘中的初始化程序，一 般工具是访问不了的。固件修复，就是用硬盘专用修复工具，如p c 3 0 0 0 等，修 复硬盘固件，从而恢复硬盘数据。盘片读取就是在1 0 0 级的超净工作间内对硬盘 进行开盘，取出盘片，然后用专门的数据恢复设备对其扫描，读出盘片上的数据 1 2 1 1o 在基于软件的数据恢复方面，目前市面流行了多款数据恢复软件，主要以国 ， 7 外大公司的数据恢复软件为主，如e a s y r e c o v e r y 、r e c o v e r 、f i n a l d a t a 、d i s k r e c o v e r 等等，可以恢复误删除、错误格式化，分区表损坏，但又没有用其他数 据覆盖的数据。一些公司已从单一利用现有技术提供电脑数据恢复服务发展到开 发研究新技术并出售各种专业成品软件，如俄罗斯著名硬盘实验室a c e l a b o r a t o r y 研究开发出了商用的专业修复硬盘综合工具p c 3 0 0 0 、h r t 2 0 以及数 据恢复机h a r d w a r e l n f oe x t r a c t o r 、h i e 2 0 0 等，还可以对硬盘坏扇区进行修复。 自二十世纪九十年代末起，国内的数据恢复技术也得到了蓬勃的发展，不过 在软件修复领域，暂时还比不上顶极的国际大品牌，但是也出现了不少具有鲜明 特点的产品，上海数擎开发的数据恢复大师就是一款功能强大，且提供了较低层 次恢复功能的数据恢复软件，能找出被删除、被格式化、被完全格式化、删除分 区、分区表被破坏后磁盘里的文件。另外有一款国内开发的数据恢复软件是易我 数据恢复向导，该软件可以很好的解决国外很多数据恢复软件对中文名不支持的 问题。 可以看到，目i i 数据恢复的研究还主要集中在软件恢复方面，基于硬件的数 据恢复也是基于传统磁盘的数据恢复，而随着技术的发展，f l a s h 闪存存储设备， 比如u 盘，现在越来越成为广大电脑用户存储数据、备份数据、编辑数据的重 要数码载体。然而由于f l a s h 闪存的数据存储原理与传统硬盘完全不同、大相径 庭，因此对于f l a s h 闪存存储设备的数据恢复，一直是困扰国内专业数据恢复机 构的技术难题。本论文以u 盘为实验对象，研究对f l a s h 闪存存储设备的数据恢 复方法，以及基于闪存数据恢复的上层文件系统数据恢复及取证实现。 2 4 本章小结 本章首先介绍了计算机取证的基本概念，接着阐述了计算机取证的相关环节 和步骤，以及计算机取证中证据分析环节的两种主要方式：静态取证和动态取证， 并指出了静态取证的证据分析环节的重要技术：数据恢复技术。最后介绍了数据 恢复技术领域的国内外研究现状，对目前国内外主流的几款数据恢复软件作了简 要的分析，并指出了国内外数据恢复技术的特点和侧重点以及在闪存数据恢复方 面的不足。 8 ， 第三章闪存原理与u 盘结构 数据恢复技术是静态取证中的关键技术。而数据恢复技术是建立在对存储介 质和操作系统的文件机制深入理解的基础上的。本章分析闪存的组织结构以及u 盘的组成原理，介绍闪存数据恢复的原理以及存在的技术难点。 3 1 闪存的工作原理 3 1 1闪存简介 闪存( f l a s hm e m o r y ) 是嵌入式系统中一种常用的存储介质，它是一种非易 失、防震、轻便的存储设备1 2 2 l ，即使在供电电源关闭后仍能保持片内信息。闪 存存储器集中体现其它类非易失性存储器的特点：与e p r o m 相比较，闪速存储 器具有明显的优势一电可擦除和可重复编程，而不需要特殊的高电压( 某些第 一代闪速存储器也要求高电压来完成擦除或编程操作) ：与e e p r o m 相比较，闪 速存储器具有成本低、密度大的特点。其独特的性能使其广泛地运用于各个领域， 包括嵌入式系统，如p c 及外设、电信交换机、蜂窝电话、网络互联设备、仪器 仪表和汽车器件，同时还包括新兴的语音、图像、数据存储类产品，如数字相机、 数字录音机和个人数字助理( p d a ) 。 闪存主要分为n o r 和n a n d 两种类型。n o r 技术闪存的特点有：( 1 ) 程 序和数据可存放在同一芯片上，拥有独立的数据总线和地址总线，能快速随机读 取，允许系统直接从f l a s h 中读取代码执行，而无需先将代码下载至r a m 中再 执行i 冽；( 2 ) 可以单字节或单字编程，但不能单字节擦除，必须以块为单位或 对整片执行擦除操作，在对存储器进行重新编程之前需要对块或整片进行预编程 和擦除操作。由于n o r 技术闪存的擦除和编程速度较慢，而块尺寸又较大，因 此擦除和编程操作所花费的时间很长，在纯数据存储和文件存储的应用中，n o r 技术并不适合，而n o r 型闪存更像内存，所以在代码存储应用中占主导地位。 相比n o r 型闪存，n a n d 技术闪存具有以下特点：( 1 ) 以页为单位进行读 和编程操作，以块为单位进行擦除操作，其块擦除时间是2 m s ；而n o r 技术的 块擦除时间达到几百m s ；( 2 ) 与硬盘类似，数据、地址采用同一总线，实现串 行读取。因此n a n d 型闪存主要用来存储资料，我们常用的闪存产品，如u 盘、 s d 卡等数码存储卡1 2 4 j 都是用n a n d 型闪存。本论文接下来的讨论也是基于 9 n a n d 型闪存的技术特征。 3 1 2闪存的组织结构与读写 传统的磁盘根据物理盘片结构按磁道、扇区来组织数据，而闪存具有完全不 同于磁盘的物理结构，它按块( b l o c k ) 、页( p a g e ) 来组织物理数据，这里以三 星k 9 k 8 g 0 8 u o a 为例说明闪存的内部组织结构。 k 9 k 8 g 0 8 u o a 是三星公司生产的k 9 x x x x x u o a 系列闪存中的一种，具有 1 g b 容量，读写速度快，数据保存时间长以及高达1 0 万次的擦除写入寿命等优 点。该芯片具有一个八位的i o 端口，闪存的命令、地址和数据均通过8 条i 0 数据线传输。在c e 为低电平时，把w e 置低，地址、命令和数据都可通过该端 口写入。数据在w e 的上升沿被锁存，c l e 和a l e 分别用来控制对命令和地址 的锁存l 捌。其内部框图如下图所示。 v c c v s s 80 o7 图3 - 1 k 9 k 8 g 0 8 u o a 内部框图 l ( 9 k 8 g 0 8 u q a 总共有8 1 9 2 mb i t 的存储空间，按每页2 1 1 2 x 8 列组织为5 1 2 k 个页( p a g e ) ，每页为2 k 字节数据+ 6 4 字节备用区( 2 1 1 2 b y t e ) ，每6 4 页构成一 个数据块( b l o c k ) 。读取和编程操作按页进行，编程操作前需要按块进行擦除操 作。 1 0 5 1 2 kp a g e s ；8 1 9 2b l o c k s ) b l o c k ；8 4p a g e s 1 2 8 k 4 k ) b y t e 1p a g e t ( 2 k + 6 4 ) b y t e s 1b l o c kt ( 2 k + 6 4 ) bx 6 4p a g e 0 t t 1 2 8 k + 4 k ) b y t e s 1d e v i c e ；( 2 k + 6 4 ) bx 6 4 p a g e sx & 1 9 2b l o c k s 8 4 4 8 m b i 皓 2 kb y t e s6 4b y t e s 图3 - 2k g k 8 g 0 8 u o a 存储组织 另外k 9 k 8 g 0 8 u o a 还将所有存储空间分为了两个平面( p l a n e ) 。每个p l a n e 含有4 0 9 6 个块以及一个用于缓冲的2 1 1 2 字节大小的页寄存器。这种两个平面的 设计允许从两个平面中各选择一个页面或一个块同时进行页编程或块擦除的操 作，因此使闪存的读写速度得到了提高f 2 5 1 。 3 1 3闪存磨损管理 n a n d 闪存上的读、写操作不同于其他的可编程存储器，比如磁盘和r a m ， 闪存在进行重写之前必须进行擦除操作，对一个物理页进行重写，必须先对该页 所在的整个物理块执行擦除操作1 2 6 1 。因为重写之前需要以块为单位擦除，因此 闪存在执行更新操作时将新的数据写入到别的物理页中，而不是重写原来的页， 即闪存一般采取异地更新的策略。存有最新版本的数据所在的物理页被称为有效 页，所有原版本的数据所在的物理页被标示为脏页。当闪存上的脏页达到一定数 量后，启动垃圾回收过程擦除这些脏页所在的块，块上的有效页需先被转移至其 他块上，擦除后脏页成为空闲页，可写入新的数据。 由于闪存每一个物理块的擦除次数是有限的，一般是在1 0 万次到1 0 0 万次 之间，而闪存上只要有一个物理块的擦除次数达到了上限，数据存储就变得不可 靠，会影响到整个闪存的读写效率和性能1 2 7 1 ，所以要避免对其中的一个物理块 进行反复的擦写，导致在别的块的擦除次数还很低的时候，该块己经达到了擦除 上限。这就是闪存需要磨损均衡处理的原因，要让闪存上所有的块都参与到擦写 过程中去，尽量地让各块都有相近的擦除次数，延长闪存的寿命。物理块被选中 执行擦除操作的先决条件是其上要有脏页出现，即其上存放的数据需要被执行更 新操作，如果块上存放的数据长期得不到更新，则该块就不会因变脏而被擦除， 其擦除次数会明显少于存放着经常被更新的数据的块，形象地说，即存放更新频 率低的“冷”数据的块的擦除次数会少于存放更新频率高的“热 数据的块的擦 除【冽次数。如何实现“冷热 数据存放位置的交换，使得各个物理块都有机会 出现脏页，从而被擦除，是磨损均衡处理中需要考虑的问题。 由于存在磨损均衡处理的问题，导致闪存存储设备中逻辑数据与物理地址的 对应关系处于动态变化的状态，使得对闪存存储设备进行数据恢复与传统磁盘有 着巨大差别，本论文以u 盘为例，研究对闪存存储器的数据恢复。 3 2u 盘的组织结构 u 盘，全称“u s b 闪存盘”，英文名“u s bf l a s hd i s k ”。它是一个u s b 接口的 无需物理驱动器的微型高容量移动存储产品，可以通过u s b 接口与电脑连接， 实现即插即用。u 盘使用闪存作为进行数据存储的介质 由于闪存采用异地更新的缘故，逻辑页与物理页的对应关系一直在改变，所 以要正确存取数据就必须建立一个物理页和逻辑页的映射表。为维护逻辑页与物 理页映射表，u 盘通过主控芯片来控制f l a s h 芯片的读写，而主机p c 通过u 盘 主控芯片进行数据的读写，并不直接对f l a s h 存储器进行操作。通常一个闪存盘 有四个部份： 图3 - 3u 盘结构图 u s b 插头：提供连接到计算机的接口。 u s b 大量存储设备控制器( 主控芯片) ：提供u s b 设备控制器及与闪存沟通的 接1 ：3 。此控制器含有一个r i s c 的微处理器及一些r o m ( r e a d o n l ym e m o r y ) 与r a m ( r a n d o ma c c e s sm e m o r y ) 存储器。 n a n d 闪存芯片z 用以存储数据。 3 3 u 盘数据恢复问题 2 3 节中提到，数据恢复技术通常有基于硬件的数据恢复和基于软件的数据 恢复两个层面。对u 盘来说，在硬件工作正常的情况下，即可以通过主控芯片 基于闪存的u 盘与传统磁盘有着较大的差别。 2 3 节所述，硬件恢复可分为硬件替代、固件修复、盘片读取三种恢复方式， 对于u 盘，由于主控芯片维护逻辑页与物理页的映射表，使用硬件替代或固件 修复后会丢失现存的映射表，从而无法正常恢复出逻辑数据内容。另外传统磁盘 可以通过直接读取盘片内容进行数据恢复，因为磁盘逻辑地址与物理地址的对应 关系是确定不变的，而要通过直接读取闪存的数据进行u 盘数据恢复，还需要 找到逻辑页与物理页的映射关系，重新排列组织数据内容，才能实现u 盘的数 据恢复。 在读取闪存物理数据方面，已经有产品问世，如p c 3 0 0 0f o rf l a s h ，它可以通 过一个控制器从闪存芯片读取数据。 图3 - 4p c 3 0 0 0f o rf l a s h 因此，问题关键在于将闪存的物理数据重新组织为逻辑数据，即找出物理地 址与逻辑地址的对应关系。由于主控芯片向主机p c 提供逻辑数据，主机并不关 心逻辑页与物理页的映射关系，u 盘中逻辑页与物理页映射表由主控芯片自己维 护与保存，而主控芯片一般也会写入部分信息到备用区，如逻辑页( 块) 号。在 主控芯片失效的情况下，只能通过直接读取闪存芯片，从备用区中找寻相应的信 息，以将物理数据按逻辑顺序重新组织，进行数据恢复。而如果主控芯片不将相 应内容写入备用区，则很难实现数据恢复。主控芯片是否会将相关信息写入f l a s h 芯片，可以通过对正常u 盘的实验研究得知。 3 3 本章小结 本章主要介绍闪存和u 盘的相关原理，3 1 节首先介绍了闪存的结构与数据 组织形式、闪存数据的读写方法及闪存磨损管理；然后在3 2 节中介绍了u 盘的 组织结构，分析了闪存存储设备与传统磁盘设备在数据恢复中的不同之处于难点 所在。 1 4 4 1静态分析方法 静态分析方法，是指向u 盘写入特定的规律数据，即数据是静态已知的，然 后再读取f l a s h 闪存的物理数据进行分析研究，找出逻辑页与物理页的映射表在 备用区中的存储形式。本文根据f a t 3 2 文件系统文件存储空间的分配特点，向u 盘设计写入了易于后期分析的逻辑数据。 4 1 1分区与f a t 文件系统 1 分区 同硬盘一样，u 盘也需经过分区并格式化后才能够存储数据。分区就是将硬 盘盘分为几个独立逻辑区域，经过分区，可以更好地进行管理；更好的利用空间； 提高系统运行效率；方便不同的用户分配不同的权限；也有利于病毒的防治和数 据的安全。 进行分区之后，0 扇区成为主引导扇区，由主引导记录m b r 、硬盘分区表 d p t 和结束标志字三大部分组成。 主引导记录( m b r ) 主引导记录中包含了硬盘的一系列参数和一段引导程 序。其中的硬盘引导程序的主要作用是检查分区表是否正确并且在系统硬件完成 自检以后引导具有激活标志的分区上的操作系统，并将控制权交给启动程序。主 引导记录先于所有的操作系统调入内存并发挥作用，根据主分区表信息来管理硬 盘，然后再将控制权交与活动分区内的操作系统【2 9 j 。 硬盘分区表占据m b r 扇区的6 4 个字节( 偏移0 1 b e h 偏移0 1 f d h ) ，可以 对四个分区的信息进行描述，其中每个分区的信息占据1 6 个字节。具体每个字 节的定义可以参见硬盘分区表结构信息。 表4 - 1硬盘分区表格式 i 偏移 长度意义 1 0 0 h1 分区状态：0 0 一 非活动分区；8 0 一 活动分区；其它数值没有意义 1 5 0 1 h1 分区起始磁头号( h e a d ) ，用到全部8 位 分区起始扇区号(