分布式存储对象存储概述课件

分布式存储对象存储--CEPH概述1精选课件¡分布式存储¡对象存储¡

CEPH2精选课件3精选课件分布式存储系统1.1:分布式存储历程.DAS用于操作系统和应用程序的本地存储。缺点：1对1，单点数据无法再服务器之间共享。4精选课件1.2:分布式存储历程.SAN多对1。数据大集中在SAN存储。缺点：性能好横向扩展性受限。不能共享。成本高5精选课件1.3:分布式存储历程.NAS6精选课件实现不同服务器之间传统文件系统数据共享。多对1。数据集中。缺点：多台服务器不能同时访问修改，性能有限横向扩展性受限。成本高1.4:

NAS.SAN网络存储方式目前主流的存储方式7精选课件1.5:分布式存储历程.分布式存储性能优越。扩展性很好。成本低廉。缺点：平台稳定性需要考虑。技术支持的问题。8精选课件9精选课件个人理解分布式存储就是多台横向连接的计算机同时运行，共同处理完成同一件client的应用工作请求任务。可灵活的增加，或减少节点，性能优越。扩展性很好。成本低廉。1.6:分布式存储优势10精选课件对象存储Object-Based

Storage2.1

对象存储技术对象存储是综合了NAS和SAN的优点，同时具备了

SAN直接高速访问和NAS的数据共享等优势。提供了具有高性能，高可用性，跨平台，以及安全的数据共享的存储体系结构。11精选课件12精选课件2.2

对象存储解释优势对象存储就是分布式系统，也可理解为依托于分布式存储架构的一个特性，高级功能1）传统的块存储读写快而不利于共享，2 ）文件存储读写慢但利于共享对象存储则集成二者优点，是一个利于共享、读写快的“云存储”技术。作为一种分布式存储，最重要的一点是能解决对非结构化数据快速增长带来的问题。2.3

对象存储结构13精选课件14精选课件15精选课件2.4

对象存储组件对象(Object)包含了文件数据以及相关的属性信息，可以进行自我管理OSD（Object-based

Storage

Device)一个智能设备，OSD为存储对象数据的设备，它是一个智能设备，包括处理器、RAM内存、网络接口、存储介质等以及运行在其中的控制软件MDS

元数据服务器(Metadata

Server)系统提供元数据、Cache一致性等服务2.5：传统存储数据存储过程传统文件储存过程。16精选课件2.6：对象存储数据储存过程17精选课件对象文件储存过程。2.7：Inodes

vs

Objects18精选课件2.8：对象存储模式用于海量数据存储的优势：高性能数据存储：访问节点有独立的数据通路和元数据访问通路，可以对多个OSD进行并行访问跨平台数据共享：由于在对象存储系统上部署基于对象的分布式文件系统比较容易，所有能够实现不同平台下的设备和数据的共享。可伸缩性：对象存储模式具有分布式结构的特性。由于OSD是独立的智能设备，可以通过增加OSD数量，使存储系统的聚合I/O带宽、存储容量和处理能力得到提高，这种平衡扩展模式使得存储系统能精选课件

1920精选课件2.9：与传统存储的对比：存储接口存储系统优点缺点块级存储块块存储设备S如:AN,提供高性能的随机I/O和数据吞吐率可扩展性和可管理性较差、价格较高、不能满足成千上万CPU规模的系统文件储存文件块存储设备＋文件系统如:NAS,扩展性好、易于管理、价格便宜开销高、带宽低、延迟大,不利于高性能集群中应用对象存储对象块存储设备＋文件系统＋定位逻辑＋应用程序支持高并行性、可伸缩的数据访问,管理性好、安全性高、适合高性能集群使用处于发展阶段,相应的硬件、软件支持有待进一步完善21精选课件CEPH概述3.1：ceph简介企业级存储产品的需求22精选课件3.2:Ceph可提供：23精选课件3.3:Ceph架构图底层Rados--Ceph实现分布式存储的根本，所有存储接口都是基于

Rados实现的--Rados本身就是一个对象存储接口，维护了一个集群状态和实现了数据分发的要求24精选课件(2)基础库librados--对RADOS进行抽象和封装，并向上层提供API，以便直接基于RADOS（而不是整个Ceph）进行应用开发(3)高层应用接口--这一层包括了三个部分：RADOS

GW（RADOSGateway）、RBD（Reliable

BlockDevice）和Ceph

FS（Ceph

File

System），其作用是在librados库的基础上提供抽象层次更高的上层接口，分别对应对象存储、块存储和文件存储。（4）应用层这一层就是不同场景下对于Ceph各个应用接口的

各种应用方式，例如基于

librados直接开发的对象

存储应用，基于RADOSGW开发的对象存储应用，基于RBD实现的云硬盘等等。25精选课件3.4:传统VS

ceph传统：Ceph:26精选课件3.5:Rados组件--Monitor:维护集群的成员和状态(clustermap)，提供强一致性的决策--MDS

metdata数据服务器--OSD:每一个disk、SSD或者RAID

group或者其他一个物理存储设备都成为一个OSD，主要精选课件负责存储和查找对象，27并且负责向该对象的复3.6：Ceph

使用场景举例---Rados

GWRadosGW位于Librados之上，它主要提供

RESTful接口并且兼容S3、Swfit的接口。28精选课件3.7：S3

使用案例29精选课件3.8：性能检测[root@cephclient

~]#

rados

bench

-p

cephfs_data

10write

-no-cleanupMaintaining

16

concurrent

writes

of

4194304

bytestoobjects

of

size

4194304

for

up

to

10

seconds

or

0

objectsObject

prefix:

benchmark_data_cephclient_8322sec

Cur

ops

started

finished avg

MB/s cur

MB/s

lastlat(s) avg

lat(s)8

16

247

231

115.464

108

0.3579580.537429

16

274

258

114.633

108

0.4491630.53905710

16

301

285

113.968

108

0.5515720.543629

精选课件3031精选课件3.9：ceph

优势：Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式的存储系统。“统一的”意味着Ceph可以同时提供对象存储、