何雨：统一存储Ceph之RADOS简介

CephRADOS简介,(Reliable,AutonomicDistributedObjectStore)京东虚拟化总监何雨heyu,架构简介,两个部分组成:由数目可变的大规模OSDs（ObjectStorageDevices）组成的集群，负责存储所有的Objects数据由少量Monitors组成的强耦合、小规模集群，负责管理ClusterMap，其中ClusterMap是整个RADOS系统的关键数据结构，管理集群中的所有成员、关系、属性等信息以及数据的分发。,ClusterMap,管理cluster的核心数据结构指定了OSDs和数据分布信息monitor上存有最新副本依靠epoch增加来维护及时更新增量信息,ClusterMap,1.TheMonitorMapclusterfsid,theposition,nameaddressandportofeachmonitor2.TheOSDMapclusterfsid，alistofpools,replicasizes,PGnumbers,alistofOSDsandtheirstatus3.ThePGMap：PGversion,itstimestamp,thelastOSDmapepoch,thefullratios,anddetailsoneachplacementgroupsuchasthePGID,theUpSet,theActingSet,thestateofthePG(e.g.,active+clean),anddatausagestatisticsforeachpool.4.TheCRUSHMapalistofstoragedevices,thefailuredomainhierarchy(e.g.,device,host,rack,row,room,etc.),andrulesfortraversingthehierarchywhenstoringdata5.TheMDSMapMDSmapepoch，thepoolforstoringmetadata,alistofmetadataservers,andwhichmetadataserversareupandin,数据存放,1Object到PG的映射。PG(PlacementGroup)是Objects的逻辑集合。相同PG里的Object会被系统分发到相同的OSDs集合中。由Object的名称通过Hash算法得到的结果结合其他一些修正参数可以得到Object所对应的PG。2RADOS系统根据根据ClusterMap将PGs分配到相应的OSDs。这组OSDs正是PG中的Objects数据的存储位置。RADOS采用CRUSH算法实现了一种稳定、伪随机的hash算法。CRUSH实现了平衡的和与容量相关的数据分配策略。CRUSH得到的一组OSDs还不是最终的数据存储目标，需要经过初步的filter，因为对于大规模的分布式机群，宕机等原因使得部分节点可能失效，filter就是为过滤这些节点，如果过滤后存储目标不能满足使用则阻塞当前操作。,关于pools,是一个存储对象的逻辑分区概念所有权/访问对象对象副本的数目PG数目CRUSH规则集的使用以上后三项决定ceph最后如何存储数据,计算PG的ID,1.Client输入poolID和对象ID（如pool=liverpool，object-id=john）2.CRUSH获得对象ID并对其hash3.CRUSH计算OSD个数hash取模获得PG的ID（如0 x58）4.CRUSH获得已命名pool的ID（如liverpool=4）5.CRUSH预先考虑到poolID相同的PGID（如4.0 x58）,DeviceState,inoutassignedPGsnotassignedPGsuponlineactiveonline&idle&reachabledownunreachableunreachablefailed¬remapped,peer和set,peer属于同一个PG彼此检查心跳数据同步setActingsetPG内所有osd属于ActingsetUpsetPG内up&in的osd,map传播,所有消息传播都有一个epochclient端：首次进入去找monitor要最新副本存取时找OSD对比epochOSD端：peers之间保持心跳只保证两个OSD之间同步,数据复制,读文件通过一个OSD主OSD写文件通过多个OSD复制Client把对象写进一个确定的PG组中的主OSD主OSD利用CRUSHmap用来确定二级OSDs，复制的对象放入其中。对象存储成功后进行响应client。,数据复制,错误检测和恢复,错误检测：利用心跳上报monitor更新map错误恢复主osd主持恢复工作若主osd挂掉，二级osd选择一个顶上,数据条带化,由于存储设备吞吐量的限制，影响性能和可伸缩性。跨多个存储设备的连续块条带化存储信息，以提高吞吐量和性能Ceph条带化相似于RAID0注意：ceph条带化属于client端，不在RADOS范畴,注意：条带化是独立于对象副本的。由于CRUSH副本对象跨越OSDs，所以条带自动的被复制。,条带化参数,ObjectSize:足够大可以容纳条带单元，必须容纳一