对象存储系统

1、对象存放系统Object-Based Storage System聂铁铮1/66对象存放系统概念2/663/66分布式存放架构分布式存放分为：文件存放、块存放和对象存放客户端元数据服务器数据节点服务器12344/66分布式存放架构-块存放块存放主要是将裸磁盘空间整个映射给主机使用操作系统还需要对挂载裸硬盘进行分区、格式化后，才能使用经典设备：磁盘阵列，硬盘优点：提升容量并行写入性能好使用SAN架构缺点：设备成本高主机之间无法共享数据5/66分布式存放架构-块存放6/66分布式存放架构-块存放7/66分布式存放架构-块存放8/66分布式存放架构-块存放9/66分布式存放架构-块存放10/66分布

2、式存放架构-文件存放文件存放采取NFS或CIFS命令集访问数据，以文件为传输协议，经过TCP/IP实现网络化存放经典设备：FTP、NFS服务器，SamBa11/66分布式存放架构-文件存放12/66分布式文件系统分布式存放架构-文件存放13/66分布式存放架构-文件存放14/66分布式存放架构-文件存放15/66分布式存放架构-文件存放16/66分布式存放架构-对象存放对象存放：目标：为海量非结构化数据提供Key-Value这种经过键值查找数据文件存放模式，提供基于对象访问接口。对象存放（Object-Based Storage, OBS)综合了NAS和SAN优点，同时含有SAN高速直接访问和

3、NAS分布式数据共享等优势，提供了含有高性能、高可靠性、跨平台以及安全数据共享存放体系结构。17/66分布式存放架构-对象存放技术特点访问接口简单，提供REST/SOAP接口协议开销高、对应延迟较文件存放长引入对象元数据描述对象特征应用系统跟存放系统耦合程度涣散支持一次写屡次读18/66缺点：平台稳定性技术复杂性能优越，读写快，利于共享扩展性好，处理非结构化增加成本低廉19/66对象存放组件对象对象存放设备元数据服务器文件系统网络连接20/66对象存放组件-对象对象对象是介于文件和块之间一个抽象，含有唯一ID标识符，提供类似文件访问方法。对象是系统中数据存放基本单位，是一系列有序字节集合，一个

4、对象实际上就是文件数据和一组本身属性信息（Meta Data）组合，这些属性信息能够定义基于文件RAID参数、数据分布和服务质量等对象维护自己属性，简化存放系统管理任务，增加灵活性对象大小能够不一样，分为：根对象、组对象和用户对象。21/66对象存放组件-对象22/66对象存放组件-OSD对象存放设备OSD对象存放设备含有一定智能，它有自己CPU、内存、网络和磁盘系统。OSD同块设备不一样不在于存放介质，而在于二者提供访问接口。OSD主要功效包含数据存放和安全访问。每个对象同传统文件相同，使用同文件类似访问接口，但二者并不相同，每个对象可能包含若干个文件，也可能是文件一部分，且是独立于操作系统

5、。OSD统计了每个对象属性信息，主要是物理视图信息，从而减轻了元数据服务器负担，增强了并行访问性能和可扩展性23/66对象存放组件-OSD对象存放设备OSD数据存放OSD管理对象数据，并将它们放置在标准磁盘系统上，OSD不提供块接口访问方式，Client请求数据时用对象ID、偏移进行数据读写智能分布OSD用其本身CPU和内存优化数据分布，并支持数据预取。因为OSD能够智能地支持对象预取，从而能够优化磁盘性能对象元数据管理OSD管理存放在其上对象元数据，该元数据与传统inode元数据相同，通常包含对象数据块和对象长度24/66对象存放组件-OSD25/66对象存放组件-文件系统文件系统对用户文件

6、操作进行解释，并在元数据服务器和OSD间通信，完成所请求操作使用标准POSIX文件访问接口使用Cache 功效和文件条带功效提升性能维护不一样客户端上Cache一致性26/66对象存放组件-文件系统27/66对象存放组件-元数据服务器元数据服务器为客户端提供元数据，主要是文件逻辑视图，包含文件与目录组织关系文件对应OSD每次操作仅有一次元数据访问，详细数据传输由OSD和客户端直接进行。传统文件系统每次对数据块操作都要获取元数据28/66对象存放组件-元数据服务器特点客户端采取cache缓存数据当多个客户端同时访问一些数据时，MDS提供分布锁机制来确保Cache一致性为客户端提供认证为了增强安全

7、性，MDS为客户端提供认证方式，OSD将依据MDS认证来决定是否为客户端提供服务29/66对象存放模式优势海量数据存放高性能数据存放：节点含有独立数据通路和元数据访问通路，支持OSD并行访问跨平台数据共享：在对象存放系统上布署基于对象分布式文件系统实现不一样平台下设备和数据共享可伸缩性：对象存放模式含有分布式结构特征。30/66对象存放适用场景31/66基于对象存放虚拟文件系统32/66对象存放系统-oNest系统33/66对象存放系统-Amazon S334/66对象存放系统-EMC Atoms35/66分布式存放关键技术元数据管理系统弹性扩展技术存放层级内优化技术针对应用和负载存放优化技术

8、36/66分布式存放关键技术元数据管理元数据管理能够分为集中式和分布式元数据管理架构。集中式元数据管理架构采取单一元数据服务器，实现简单不过存在单点故障等问题。分布式元数据管理架构则将元数据分散在多个结点上进而处理了元数据服务器性能瓶颈等问题并提升了元数据管理架构可扩展性，但实现较为复杂，并引入了元数据一致性问题。无元数据服务器分布式架构，经过在线算法组织数据，不需要专用元数据服务器。不过该架构对数据一致性保障很困难实现较为复杂。文件目录遍历操作效率低下，而且缺乏文件系统全局监控管理功效。37/66分布式存放关键技术系统弹性扩展技术实现存放系统高可扩展性首先要处理两个方面主要问题，包含元数据分

9、配和数据透明迁移。元数据分配主要经过静态子树划分技术实现，后者则侧重数据迁移算法优化。另外，大数据存放体系规模庞大结点失效率高，所以还需要完成一定自适应管理功效。数据透明迁移：系统必须能够依据数据量和计算工作量估算所需要结点个数，并动态地将数据在结点间迁移，以实现负载均衡；同时结点失效时，数据必须能够经过副本等机制进行恢复，不能对上层应用产生影响。38/66分布式存放关键技术存放层级内优化技术构建存放系统时需要基于成本和性能来考虑，所以存放系统通常采取多层不一样性价比存放器件组成存放层次结构。大数据规模大，所以构建高效合理存放层次结构，能够在确保系统性能前提下，降低系统能耗和构建成本，利用数据

10、访问局部性原理能够从两个方面对存放层次结构进行优化。从提升性能角度，能够经过分析应用特征，识别热点数据并对其进行缓存或预取，经过高效缓存预取算法和合理缓存容量配比，以提升访问性能。从降低成本角度，采取信息生命周期管理方法，将访问频率低冷数据迁移到低速廉价存放设备上，能够在小幅牺牲系统整体性能基础上，大幅降低系统构建成本和能耗。39/66分布式存放关键技术针对应用和负载存放优化技术大数据存放系统对上层应用性能关注远远超出对通用性追求。针对应用和负载来优化存放，就是将数据存放与应用耦合。简化或扩展分布式文件系统功效，依据特定应用、特定负载、特定计算模型对文件系统进行定制和深度优化，使应用到达最正确

11、性能。数据划分和负载均衡数据划分处理不一样节点间存放均衡性负载均衡处理不一样节点访问均衡性40/66分布式数据存放系统对比41/66分布式数据存放系统对比42/66分布式对象存放系统产品43/66对象存放系统 CEPHCeph概述Ceph项目最早起源于Sage就读博士期间工作（最早结果于发表），并随即贡献给开源小区。在经过了多年发展之后，当前已得到众多云计算厂商支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像后端存放。Ceph是一个可靠地、自动重均衡、自动恢复分布式存放系统，依据场景划分能够将Ceph分为三大块，分别是对象存放、块设备存放和文件系统服务44/

12、66对象存放系统 CEPHCEPH系统架构45/66对象存放系统 CEPH组件Meta Server Cluster元数据存放在一个存放汲取管理文件系统名称空间管理数据位置，以及何处存放新数据更高层次Posix功效组件Object Storage Cluster存储文件与客户端发生文件IOPosix功效组件Cluster Monitors识别机器故障系统通知46/66对象存放系统 CEPHCEPH系统架构RADOS全称Reliable Autonomic Distributed Object Store47/66对象存放系统 CEPHCEPH系统架构48/66对象存放系统 CEPH49/66C

13、EPH关键技术1-CRUSH基于可扩展哈希受控副本分布策略CRUSH动机：系统必须平衡分布数据和负载(提升资源利用率)，最大化系统性能，并要处理系统扩展和硬件失效。简单HASH分布不能有效处理设备数量改变，造成大量数据迁移CRUSH（Controoled Replication Under Scalable Hashing）能够有效映射数据对象到存放设备上(不需要中心设备)参数是object id或object group id返回一组存放设备(用于保留object副本OSD)50/66CEPH关键技术1-CRUSHCRUSH优点：任何组件都能够独立计算出每个object所在位置(去中心化)。

14、只需要极少元数据(cluster map)，只要当删除添加设备时，这些元数据才需要改变。51/66CEPH关键技术1-CRUSH映射过程Ceph设置有Pool，属性包含1.object副本数 2.Placement Groups数量 3.所使用CRUSH Ruleset（Pool，PG） OSD set映射方式有四个原因决定CRUSH算法OSD MAP：包含当前全部pool状态和OSD状态。CRUSH MAP：包含当前磁盘、服务器、机架层级结构。CRUSH Rules：数据映射策略。52/66CEPH关键技术1-CRUSHOSD Map逻辑树形结构53/66CEPH关键技术1-CRUSH数据写

15、入流程数据写入时，文件被切分成object，object先映射到PG，再由PG映射到OSD set。每个pool有多个PG，每个object经过计算hash值并取模得到它所对应PG。PG再映射到一组OSD（OSD个数由pool副本数决定），第一个OSD是Primary，剩下都是Replicas。54/66CEPH关键技术1-CRUSH分布数据过程计算数据xHash值并将结果和PG数目取余，以得到数据x对应PG编号。经过CRUSH算法将PG映射到一组OSD中。最终把数据x存放到PG对应OSD中。这个过程中包含了两次映射，第一次是数据x到PG映射。PG是抽象存放节点，它不会随着物理节点加入或则离开

16、而增加或降低，所以数据到PG映射是稳定。55/66CEPH关键技术1-CRUSH56/66CEPH关键技术1-CRUSH1 经过哈希算法计算出存放 object PG ID客户端输入 pool ID 和 object ID （比如 pool = “liverpool” and object-id = “john”）ceph 对 object ID 做哈希ceph 对该 hash 值取 PG 总数模，得到 PG 编号 （比如 58）（第2和第3步基本保证了一个 pool 所有 PG 将会被均匀地使用）ceph 对 pool ID 取 hash （比如 “liverpool” = 4）ceph 将

17、 pool ID 和 PG ID 组合在一起（比如 4.58）得到 PG 完整ID。PG-id = hash(pool-id). hash(objet-id) % PG-number57/66CEPH关键技术1-CRUSH2.经过 CRUSH 算法计算出（或者说查找出） object 应该会被保留到 PG 中哪个 OSD 上Ceph client 从 MON 获取最新 cluster map。Ceph client 依据上面第（2）步计算出该 object 将要在 PG ID。Ceph client 再依据 CRUSH 算法计算出 PG 中目标主和次 OSD ID。OSD-ids = CURS

18、H(PG-id, cluster-map, cursh-rules)。58/66CEPH关键技术1-CRUSHCRUSH算法CRUSH算法依据种每个设备权重尽可能概率平均地分配数据。分布算法是由集群可用存放资源以及其逻辑单元map控制。给定一个输入x，CRUSH 算法将输出一个确定有序储存目标向量 R 。当输入x，CRUSH利用多重整数hash函数依据集群map、定位规则、以及x计算出独立完全确定可靠映射关系。59/66CEPH关键技术1-CRUSHBucket类型60/66CEPH关键技术1-CRUSHUniform映射函数依据hash函数c(r,x)=(hash(x) + rp) mod

19、m进行映射，映射时间复杂度是O（1）适用情况a.适合用于全部子节点权重相同情况，而且bucket极少添加删除item，这种情况查找速度应该是最快。因为uniformbucket在选择子节点时是不考虑权重问题，全部随机选择。b.适合用于子节点改变概率小情况。61/66CEPH关键技术1-CRUSHList结构是链表结构，所包含item能够含有任意权重。CRUSH从表头开始查找副本位置，它先得到表头item权重Wh，然后和剩下全部节点权重之和Wr做比较，然后依据hash（x, r, item）得到一个01值v，假如v在0Wh/Wr，则副本在表头item中，并返回itemid，不然继续遍历剩下链表。查找复杂度为O（n），所以只适合用于规