分布式存储对象存储概述ppt.ppt

分布式存储对象存储 CEPH概述 分布式存储对象存储CEPH 2 分布式存储系统 3 1 1 分布式存储历程 DAS 4 用于操作系统和应用程序的本地存储 缺点 1对1 单点数据无法再服务器之间共享 5 1 2 分布式存储历程 SAN 多对1 数据大集中在SAN存储 缺点 性能好横向扩展性受限 不能共享 成本高 6 1 3 分布式存储历程 NAS 实现不同服务器之间传统文件系统数据共享 多对1 数据集中 缺点 多台服务器不能同时访问修改 性能有限横向扩展性受限 成本高 1 4 NAS SAN网络存储方式 7 目前主流的存储方式 8 1 5 分布式存储历程 分布式存储 性能优越 扩展性很好 成本低廉 缺点 平台稳定性需要考虑 技术支持的问题 9 个人理解分布式存储就是多台横向连接的计算机同时运行 共同处理完成同一件client的应用工作请求任务 可灵活的增加 或减少节点 性能优越 扩展性很好 成本低廉 1 6 分布式存储优势 10 对象存储Object BasedStorage 2 1对象存储技术 11 对象存储是综合了NAS和SAN的优点 同时具备了SAN直接高速访问和NAS的数据共享等优势 提供了具有高性能 高可用性 跨平台 以及安全的数据共享的存储体系结构 2 2对象存储解释优势 12 对象存储就是分布式系统 也可理解为依托于分布式存储架构的一个特性 高级功能1 传统的块存储读写快而不利于共享 2 文件存储读写慢但利于共享对象存储则集成二者优点 是一个利于共享 读写快的 云存储 技术 作为一种分布式存储 最重要的一点是能解决对非结构化数据快速增长带来的问题 13 2 3对象存储结构 14 15 2 4对象存储组件 对象 Object 包含了文件数据以及相关的属性信息 可以进行自我管理OSD Object basedStorageDevice 一个智能设备 OSD为存储对象数据的设备 它是一个智能设备 包括处理器 RAM内存 网络接口 存储介质等以及运行在其中的控制软件MDS元数据服务器 MetadataServer 系统提供元数据 Cache一致性等服务 16 2 5 传统存储数据存储过程 传统文件储存过程 17 2 6 对象存储数据储存过程 对象文件储存过程 18 2 7 InodesvsObjects 2 8 对象存储模式用于海量数据存储的优势 19 高性能数据存储 访问节点有独立的数据通路和元数据访问通路 可以对多个OSD进行并行访问跨平台数据共享 由于在对象存储系统上部署基于对象的分布式文件系统比较容易 所有能够实现不同平台下的设备和数据的共享 可伸缩性 对象存储模式具有分布式结构的特性 由于OSD是独立的智能设备 可以通过增加OSD数量 使存储系统的聚合I O带宽 存储容量和处理能力得到提高 这种平衡扩展模式使得存储系统能够具有良好的可伸缩性 2 9 与传统存储的对比 20 21 CEPH概述 3 1 ceph简介 企业级存储产品的需求 3 2 Ceph可提供 3 3 Ceph架构图 24 底层Rados Ceph实现分布式存储的根本 所有存储接口都是基于Rados实现的 Rados本身就是一个对象存储接口 维护了一个集群状态和实现了数据分发的要求 2 基础库librados 对RADOS进行抽象和封装 并向上层提供API 以便直接基于RADOS 而不是整个Ceph 进行应用开发 3 高层应用接口 这一层包括了三个部分 RADOSGW RADOSGateway RBD ReliableBlockDevice 和CephFS CephFileSystem 其作用是在librados库的基础上提供抽象层次更高的上层接口 分别对应对象存储 块存储和文件存储 4 应用层这一层就是不同场景下对于Ceph各个应用接口的各种应用方式 例如基于librados直接开发的对象存储应用 基于RADOSGW开发的对象存储应用 基于RBD实现的云硬盘等等 3 4 传统VSceph 传统 Ceph Monitor 维护集群的成员和状态 clustermap 提供强一致性的决策 MDSmetdata数据服务器 OSD 每一个disk SSD或者RAIDgroup或者其他一个物理存储设备都成为一个OSD 主要负责存储和查找对象 并且负责向该对象的复制节点分发和恢复 3 5 Rados组件 3 6 Ceph使用场景举例 RadosGW RadosGW位于Librados之上 它主要提供RESTful接口并且兼容S3 Swfit的接口 3 7 S3使用案例 30 3 8 性能检测 root cephclient radosbench pcephfs data10write no cleanupMaintaining16concurrentwritesof4194304bytestoobjectsofsize4194304forupto10secondsor0objectsObjectprefix benchmark data cephclient 8322secCuropsstartedfinishedavgMB scurMB slastlat s avglat s 816247231115 4641080 3579580 53742916274258114 6331080 4491630 5390571016301285113 9681080 5515720 543629Totaltimerun 10 595630Totalwritesmade 302Writesize 4194304Objectsize 4194304Bandwidth MB sec 114 009StddevBandwidth 41 2795Maxbandwidth MB sec 228 31 3 9 ceph优势 Ceph是一种为优秀的性能 可靠性和可扩展性而设计的统一的 分布式的存储系统 统一的 意味着C