何雨：统一存储Ceph之RADOS简介.ppt

CephRADOS简介 Reliable AutonomicDistributedObjectStore 京东虚拟化总监何雨heyu 架构简介 两个部分组成 由数目可变的大规模OSDs ObjectStorageDevices 组成的集群 负责存储所有的Objects数据由少量Monitors组成的强耦合 小规模集群 负责管理ClusterMap 其中ClusterMap是整个RADOS系统的关键数据结构 管理集群中的所有成员 关系 属性等信息以及数据的分发 ClusterMap 管理cluster的核心数据结构指定了OSDs和数据分布信息monitor上存有最新副本依靠epoch增加来维护及时更新增量信息 ClusterMap 1 TheMonitorMapclusterfsid theposition nameaddressandportofeachmonitor2 TheOSDMapclusterfsid alistofpools replicasizes PGnumbers alistofOSDsandtheirstatus3 ThePGMap PGversion itstimestamp thelastOSDmapepoch thefullratios anddetailsoneachplacementgroupsuchasthePGID theUpSet theActingSet thestateofthePG e g active clean anddatausagestatisticsforeachpool 4 TheCRUSHMapalistofstoragedevices thefailuredomainhierarchy e g device host rack row room etc andrulesfortraversingthehierarchywhenstoringdata5 TheMDSMapMDSmapepoch thepoolforstoringmetadata alistofmetadataservers andwhichmetadataserversareupandin 数据存放 1 Object到PG的映射 PG PlacementGroup 是Objects的逻辑集合 相同PG里的Object会被系统分发到相同的OSDs集合中 由Object的名称通过Hash算法得到的结果结合其他一些修正参数可以得到Object所对应的PG 2 RADOS系统根据根据ClusterMap将PGs分配到相应的OSDs 这组OSDs正是PG中的Objects数据的存储位置 RADOS采用CRUSH算法实现了一种稳定 伪随机的hash算法 CRUSH实现了平衡的和与容量相关的数据分配策略 CRUSH得到的一组OSDs还不是最终的数据存储目标 需要经过初步的filter 因为对于大规模的分布式机群 宕机等原因使得部分节点可能失效 filter就是为过滤这些节点 如果过滤后存储目标不能满足使用则阻塞当前操作 关于pools 是一个存储对象的逻辑分区概念所有权 访问对象对象副本的数目PG数目CRUSH规则集的使用以上后三项决定ceph最后如何存储数据 计算PG的ID 1 Client输入poolID和对象ID 如pool liverpool object id john 2 CRUSH获得对象ID并对其hash3 CRUSH计算OSD个数hash取模获得PG的ID 如0 x58 4 CRUSH获得已命名pool的ID 如liverpool 4 5 CRUSH预先考虑到poolID相同的PGID 如4 0 x58 DeviceState inout assignedPGsnotassignedPGsuponlineactiveonline idle reachabledownunreachableunreachablefailed notremapped peer和set peer属于同一个PG彼此检查心跳数据同步setActingsetPG内所有osd属于ActingsetUpsetPG内up in的osd map传播 所有消息传播都有一个epochclient端 首次进入去找monitor要最新副本存取时找OSD对比epochOSD端 peers之间保持心跳只保证两个OSD之间同步 数据复制 读文件通过一个OSD主OSD写文件通过多个OSD复制Client把对象写进一个确定的PG组中的主OSD主OSD利用CRUSHmap用来确定二级OSDs 复制的对象放入其中 对象存储成功后进行响应client 数据复制 错误检测和恢复 错误检测 利用心跳上报monitor更新map错误恢复主osd主持恢复工作若主osd挂掉 二级osd选择一个顶上 数据条带化 由于存储设备吞吐量的限制 影响性能和可伸缩性 跨多个存储设备的连续块条带化存储信息 以提高吞吐量和性能Ceph条带化相似于RAID0注意 ceph条带化属于client端 不在RADOS范畴 注意 条带化是独立于对象副本的 由于CRUSH副本对象跨越OSDs 所以条带自动的被复制 条带化参数 ObjectSize 足够大可以容纳条带单元 必须容