闪存数据库日志技术

1、闪存数据库日志技术,2011-04-22,大纲,总结,基于链表的日志技术LB-Logging,基于地址的日志技术HV-Logging,研究动机及相关工作,闪存的基本结构及特性,闪存的优越性及广泛应用,能量消耗小,小巧轻便,读写速度快,无机械延迟,高抗震性,非易失性,闪存,闪存的基本结构,2K Bytes,64 Bytes,页寄存器,闪存芯片组成,1 芯片 = 若干块,1 块 = 64 页,闪存特性,读写速度不一致 重写之前先擦除 没有机械延迟 有限擦除次数,5,闪存特性,闪存的随机访问与连续访问的速度差异,6,闪存特性,闪存中的读写速度不对称,7,闪存特性,在闪存中，重写之前必须先擦除,异地更

2、新,Disk,Flash,闪存中常采取异地更新的方式来避免频繁的擦除操作,大纲,总结,基于链表的日志技术LB-Logging,基于地址的日志技术HV-Logging,研究动机及相关工作,闪存的基本结构及特性,数据文件,传统数据库,日志文件,索引文件,元数据文件,磁盘,闪存数据库面临的挑战,闪存数据库,闪存,HV-recovery：A High Efficient Recovery Technique for Flash-based Database,研究动机,A.v1,将Undo日志直接应用在闪存数据库中存在的问题,Undo日志,HV-recovery：A High Efficient Rec

3、overy Technique for Flash-based Database,Undo日志,A.v1,A.v2,将Undo日志直接应用在闪存数据库中存在的问题,研究动机,HV-recovery：A High Efficient Recovery Technique for Flash-based Database,Undo日志,A.v1,A.v2,A.v1,研究动机,将Undo日志直接应用在闪存数据库中存在的问题,相关工作IPL,S. W. Lee, and B. Moon.Design of Flash-Based DBMS: An In-Page Logging Approach.SI

4、GMOD 2007,数据库缓冲区,in-memory data page (8KB),in-memory log sector (512B),闪存,log area (8KB): 16 sectors,Erase unit (Block): 128KB,15 data pages (8KB each),.,.,.,相关工作FlashLogging,Shimin Chen. FlashLogging: Exploiting Flash Devices for Synchronous Logging Performance. SIGMOD09.,日志缓冲区,Request queue,Worker

5、,Worker,Worker,LSN：Log Sequence Number,闪存数据库中日志设计思路,读速度比写速度快 考虑用较多的读操作来减少写操作,随机和连续访问速度相似 可以用随机读来代替连续读,闪存要求重写之前擦除 利用天然存在的历史版本的数据,无机械延迟,异地更新,闪存寿命有限，不可无限制的擦除 尽量减少写操作，间接减少擦除,读写速度不一致,擦除次数有限,将日志文件由顺序结构转变成链表结构,对数据的历史版本地址记日志,大纲,总结,基于链表的日志技术LB-Logging,基于地址的日志技术HV-Logging,研究动机及相关工作,闪存的基本结构及特性,HV-recovery：A Hi

6、gh Efficient Recovery Technique for Flash-based Database,HV-Logging的主要思想,随着事务不断地对数据库进行操作，日志管理器按顺序不断加入新的日志记录；,如果一个事务的提交日志写入日志文件中，则会对该事务的所有旧版本数据标识为垃圾数据，等待FTL层的回收；,恢复时，恢复管理器从日志文件的尾部向头部扫描，并且逐一按照数据历史版本的地址进行恢复,日志文件记录版本地址信息而取代值信息,日志文件的存储,日志文件本身并不适合于使用闪存存储,大量的擦除操作 降低了闪存的使用寿命,从整体上提高数据库性能！,日志文件的存储,实验及结果分析,TPC

7、C上的模拟实验 利用TPCC标准规定的操作验证，HV-Logging可以减少一定数量的写操作，从而间接减少擦除操作，延长闪存使用寿命 Berkeley DB上的真实实验 将HV-Logging实现在Berkeley DB中，与传统数据库的Undo Log进行恢复时间的比较，验证HV-Logging可以大大缩短恢复时间,HV-recovery：A High Efficient Recovery Technique for Flash-based Database,实验结果-TPCC,3000次,HV-recovery：A High Efficient Recovery Technique for

8、 Flash-based Database,实验结果-TPCC,33000次,HV-recovery：A High Efficient Recovery Technique for Flash-based Database,实验结果-BDB,HV-recovery：A High Efficient Recovery Technique for Flash-based Database,实验结果-BDB,8倍,HV-recovery：A High Efficient Recovery Technique for Flash-based Database,大纲,总结,基于链表的日志技术LB-Log

9、ging,基于地址的日志技术HV-Logging,研究动机及相关工作,闪存的基本结构及特性,HV-recovery：A High Efficient Recovery Technique for Flash-based Database,LB-Logging的主要思想,随着事务不断地对数据库进行操作，日志管理器将日志以链表的形式存放在内存中；,如果一个事务提交，则该事务的日志将一次性的全部写出到闪存中,恢复时，恢复管理器从日志文件的链表结构中，准确找到该事务的所有日志，并逐一进行重做（redo）,将日志文件由顺序结构转变成链表结构,HV-recovery：A High Efficient Re

10、covery Technique for Flash-based Database,LB-Logging的主要思想,随着事务不断地对数据库进行操作，日志管理器将日志以链表的形式存放在内存中；,如果一个事务提交，则该事务的日志将一次性的全部写出到闪存中,恢复时，恢复管理器从日志文件的链表结构中，准确找到该事务的所有日志，并逐一进行重做（redo）,将日志文件由顺序结构转变成链表结构,得到日志文件中第一条日志记录,复制到已申请好的干净的空闲空间中,得到下一条日志记录,如果申请的新日志块已写满，就再申请一块,日志记录扫描完毕，退出循环,擦除旧的日志记录,LB-Logging的检查点合并算法,实验设计,实验平台：（SSD/HDD）+Berkeley DB 对比试验：ARIES、HV-Logging、LB-Logging 测试指标：恢复时间 测试因子：单个事务更新次数 单个数据更新次数,实验结果- 事务更新数（1）,实验结果-事务更新数（2）,实验结果-数据更新次数,大纲,总结,基于链表的日志技术LB-Logging,基于地址的日志技术HV-Logging,研究动机及相关工作,闪存的基本结构及特性,总结,我们分析了闪存数据库中日志设计的问题，提出了一些新的解决方案。 一种是对闪存中天然存在的数据的历史版本来进行管理和利用的日志及恢复方法