闪存存储技术应对大数据挑战

1、闪存存储技术应对大数据挑战 吴忠杰 北京忆恒创源科技有限公司 Agenda 闪存技术 存储软件面临的挑战 高速数据存储管理系统 大数据存储展望 Q&A 闪存技术 企业级SSD发展 SATA/SAS SSD 接口及软 件协议栈 是性能瓶 颈 支持双端 口和企业 级应用 PCIe SSD 高性能 采用私 有的传 输协议 NVMe SSD 高性能 国际标 准 SSD的优势 SSD的性能优势 2000 x 18x HDD、SATA_SDD以及NVMe_SSD性能对比 Memblaze NVMe SSD 国内首款高性能NVMe SSD Memblaze SSD技术 纠错码技术纠错码技术数据重读技术（数据

2、重读技术（Read retry） BCH/LDPC 解决NAND Flash的位误码问题 确保数据从NAND Flash颗粒可靠读取 数据持久化技术数据持久化技术(Data Retention) NAND Flash间间RAID技术（技术（RAIN） 确保数据在SSD中长期存储 确保数据在NAND Flash颗粒间可靠存储 闪存转换层技术闪存转换层技术(FTL)磨损均衡技术（磨损均衡技术（Wear Leveling） 实现SSD盘逻辑地址（LBA）和NAND Flash物理地址之间的映射 平衡SSD中NAND Flash颗粒磨损寿命 Dynamic / statistic / global w

3、ear leveling 存储软件面临的挑战 传统存储软件设计目标 减低磁盘寻道延迟、随机抖动，提高数据访问性能 CacheNCQ IO Scheduler Disk oriented data layout 传统存储软件栈 导出协议栈（FC、ISCSI、NFS） 文件系统 卷管理系统 数据保护系统 多路径管理子系统 IO 调度器/SCSI协议层 HBA驱动层 传统文件系统数据布局对SSD的影响 Superblo ck 组描述符 块位 图 Inod e位 图 Inode 表 数据区 0号块组1号块组 元数据区 Bitmap位图操作、频繁的元数据更新操作对SSD引入额 外的写放大，降低使用寿命，

4、降低IO性能。 改变！存储介质发生了变化 高速存储性能瓶颈分析 CPU 单核无法发挥SSD性能 多核 共享资源 NUMA非对称访存 中断 大量中断 中断均衡 操作系统 内存拷贝 上下文切换 SSD特性 顺序写优于随机写 写惩罚 网络 IOPS/带宽瓶颈 存储 问题 高性 能计 算问 题 演变 面向高速存储介质的软件革新 NVMe 驱动 应用 面向高速介质的存储软件 （RISL architecture） 数据服务系统 FlashRAID 存储管理系统 NVMe 驱动 应用 高速数据存储管理系统 NVMe时代数据保护、卷管理何去何从？ 传统软RAID 低速存储解决方案高速存储解决方案 面向高速介

5、质进行架构革新 解决高速存储介质新的问题 充分利用高速介质新的特征 Memblaze的答案： FlashRAID是什么？ FlashRAID是一款针对NVMe SSD数据保护、卷管理系统 普适NVMe SSD高速存储 介质 与Pblaze产品 配合提供绝佳 性能与可靠性 为NVMe SSD 提供数据存储 管理 为NVMe SSD 数据可靠性保 驾护航 FlashRAID是什么？ 高速存储解决方案 LVM卷管理器 RAID数据保护 低速存储介质 FlashRAID 高速存储介质SCSI中间层/HBA驱动 NVMe驱动 数据库文件系统 数据库文件系统 FlashRAID 1.0产品主要特性 数据保

6、护 （Data Protection） 可扩展性能 （Scalable Performance） 为NVMe SSD数据可靠性保驾护航 充分发挥NVMe SSD的性能 可扩展存储容量 （Scalable Capacity） 快速数据重构 （Fast Reconstruction） 存储容量线性扩展、简化存储容量管理 确保用户数据存储的可靠性 一致的数据访问性能 （Consistent Performance） 统一存储资源管理 （Unify Storage Management） 确保用户IO访问性能的一致性 全面管理系统存储资源，简化存储管理 简便的系统管理 （easy system man

7、agement） 存储资源精简配置 （Thin provisioning） 人性化的系统管理 简化用户存储配置管理 FlashRAID典型应用 通用服务器通用服务器 FlashRAID技术架构 FlashRAID关键技术 存储资源池技术（Storage Pool）无锁IO处理模型（Lock-free IO handling model） 分离数据保护域与物理存储资源域 加速数据重构性能，增强数据可靠性 确保系统性能的线性可扩展 提升CPU处理效率 全局磨损均衡/逆均衡可变长度条带（Variable Stripe） 延长SSD的使用寿命 避免多盘同时发生故障 减小SSD的数据写放大 智能数据重构

8、（Smart data reconstruction）伪随机数据分配（Pseudo-random allocator） 确保数据可靠性 平衡SSD盘中存储资源，减少数据迁移 存储对象管理（Storage object）可靠元数据管理（Reliable Superblock Management） 简化存储资源管理 确保存储数据可靠性 创新架构：Storage Pool 紧耦合传统RAID架构 SSDSSDSSDSSD 资源分配器 chunk RAID AlgorithmRAID Algorithm 存储对象 数据保护域 物理资源管 理域 创新技术：无锁IO处理模型 More CPUs, Hig

9、her Performance 创新技术：全局磨损均衡/逆均衡 Global Wear Leveling Anti Wear Leveling 使得整体SSD使 用寿命达到最长 避免SSD同 时发生故障 lifespan lifespan 创新技术：智能数据重构 优先级调度数据重构算法 数据感知重构算法 局部快速数据重构算法 提高数据可靠性，保证数据在极短的时间内恢复， 降低数据丢失的风险 FlashRAID性能评估（4 x Pblaze4） FlashRAID性能对比 6X 8.6X 1.6X 大数据存储展望 闪存在数据中心 松耦合集群分布式存储系统 p Scale Out p Commodity Server p All Flash 总结 SSDSSD将成为数据存储的主流将成为数据存储的主流 价格不断下降、存储密度不断提升、性能大幅度提升 传统存储软件技术无法适应高速传统存储软件技术无法适应高速SSDSSD的应用需求的应用需求 传统存储软件成为性能瓶颈 无法解决新介质的问题，同时造成新的问题 Fla