Ceph分布式存储系统架构研究综述

1、Ceph 分布式存储系统架构研究综述CephWeil2006LustreCRUSH20155Linux2.6.34始支持CephWeilIntTankCeph2014 5RedHatCephCephCeph对重要的发行版本排序。CephRADOSCRUSH绍Ceph上分析其性能特点和瓶颈。集群架构RADOSRADOS(OSD)是 RADOSOSDOSD,由 OSDOSD，每个 OSDMDS外提供 CephFSRADOSMDS数据放置算法RADOS 来代替.通过 CRUSHOSD。与以往 的方法相比，CRUSH 的数据管理机制更好，它把工作分OSD 来处理,因此具有极大的伸缩性。CRUSH示，从

2、文件到对象以及PG(Placement Group)都 是逻辑上的映射， 从PG 到OSDCRUSH到对应的数据位置。根据WeilCRUSH个 OSDPB果。CRUSHCephCRUSHBucket(UniformListTreeStraw)，充分考CRUSH在选择OSD 时会出现权重失衡的情况，即低权重的OSD致OSD40的差异。2017Luminous的新机制，用于手动指定PG统一访问接口RADOSRADOS（一般LIBRADOSRGW提供了一个基于BucketRGWAWS(Amazon WebServices)的S3 以及Openstack的SwiftRGWRGWiSCSICephRAD

3、OS 功能,支持复制、快照、一致性和高可用等特性。块设备是精 简配置的，并且可调整大小。Ceph 的RBDlibrbd 与OSDRBD认在名为rbdrbdCephFSCephFSOSD 上。客户端可以使用ceph fusecephMDSOSDCephFSmsd_，保存的内容包括文件系统的索MDSCephHDFS， LustrePOSIXCephFileStoreFileStorePOSIXXFS、ext4、btrfs对象属性被存储在POSIX(xattrs性超出xattrsFileStoreLevelDBCeph)数据和元数据分离不彻底，导致对象寻址慢。FileStore 根据对象前缀将其放置

4、在不同目录下，对象在进行访问时需要多次寻址， 且同一目录下的文件也没有排序。FileStore据“双写”的问题，造成了一半磁盘性能的浪费。)本地文件系统也有日志等保证一致性的操作，这进一步导致了写放大。使用本地文件系统作为后端存储的弊端导致了FileStore针对 FileStoreCeph2015BlueStoreIOCeph统 BlueFS，该文件系统绕过了本地文件系统层，解决了文件系统层次结构遍历效率低的问题。它通过使用KV 索引来存储元数据，严格分离元数据和数据，提高了索引效率。这些改进解决了日志“双写” 的问题，带来了较大的读写性能提升。BlueStoreFileStore虽然BlueStoreSSDNVMeSSD和IOIO闪存盘在写入前需要将原有数据擦除。现有的NVMe局则垃圾回收的粒度较小，但 是实际上该操作在设备和中间层实现SeaStore，该布局在较高层次的驱动上进行垃圾回收。其基本思想是将设备空间分为多个空闲段，每个段的大小为100MB 到将其中的数据移到另一个段中。全部清理完成后就丢弃整个段，设备可以擦除和回收这个段。SeaStoreNVMeSeaStorerun-to-completionSPDK 和 DPDK拷贝。目前该 存储引擎还在开发中，性能提升效果尚不明确。国内的深信服公司设计了一个基于 SPDK