SUSE分布式存储技术解决方案

1、SUSE 分布式存储技术解决方案Breadcrumbs2产品概述技术特点产品路线图使用场景成功案例内容3产品概述SUSE Enteprise Storage一个高度“产品化”的开源存储软件存储池2013年组建Ceph开发团队, 加入Ceph社区Ceph理事会，8大理事会员代码贡献TOP3很多前Inktank 开发人员加大研发投入: 2016年中收购存储管理厂家:openATTIC存储管理工具openATTIC贡献给Ceph社区，作为默认的Ceph管理工具(Ceph dashboard)SUSE 在Ceph社区上的地位 6技术特点SUSE Enterprise Storage 架构客户端(Win

2、dows, Linux, Unix)SUSE Enterprise Storage块设备存储（SAN）Server对象存储（Objects）文件系统（NAS）Storage ServerStorage ServerStorage ServerStorage ServerServerServerStorage ServerStorage Server应用程序共享文件OSDOSDOSDOSDOSDOSD网络协议集群MONRBDiSCSIS3SWIFTNFSCephFS*NFSCIFSMonitorsMONMONSUSE Enterprise Storage核心开发领域统一块、文件和物件结构互连缓存

3、分层容器化分层存储管理备份/归档持续数据保护远程复制易于安装基于GUI的监控和管理易管理性互操作性性能可用性9产品路线图2017201820202021SUSE Enterprise Storagev4v5v6基于Ceph Luminous版本SUSE Linux Enterprise Server 12 SP3易管理性openATTIC 第2阶段Grafana监控仪表板Prometheus事件告警 电子邮件DeepSea (Salt) 第2阶段从Filestore在线升级到BlueStore互操作性NFS GaneshaNFS接入S3部分CIFS Samba*支持CephFS Multi M

4、DS可用性带纠删码的块和文件效率BlueStore后端数据压缩v5基于Ceph Luminus版本SUSE Linux Enterprise Server 12 SP3易管理性国际化适用性增强预定义的简档自主数据平衡器*DeepSea (Salt) 第3阶段互操作性非SUSE RBD和CephFS客户端CIFS/Samba AppArmor安全模块可用性通过N/N-1实现多站点RADOSGW N+1效率BlueStore/RocksDB优化基于Ceph Octopus版本SUSE CaaS Platform 易管理性与Rook + Kubernetes集成Phone home 第2阶段自主PG

5、扩展自愈PG互操作性容器化部署原生Windows客户端驱动程序节点至节点加密一个集群中有多个CephFS实例NFS-Ganesha双活架构RDMA后端*可用性通过S3单向同步到外部云异步文件复制效率SW缓存层对象存储Daemon优化S3对象策略驱动的分层基于Ceph Nautilus版本SUSE Linux Enterprise Server 15 SP1易管理性Ceph仪表板（取代oA）Phone home（指标和错误分析）增强的PG平衡自主PG扩展*CephFS目录配额平滑系统关闭存储机箱磁盘集成互操作性IPv6RGW Elasticsearch同步模块节点至节点加密*一个集群中有多个Ce

6、phFS实例*NFS-Ganesha双活架构*可用性通过S3单向同步到外部云CephFS快照异步文件复制*效率RBD和后台操作的QoSS3对象策略驱动的分层* V5.5V6V7* 前瞻信息，可能随时更改2019v7* 技术预览项SUSE Enterprise Storage 管理安装导入未管理的SUSE Enterprise Storage集群配置在线文件恢复到BlueStore管理部署、配置、分配节点iSCSI目标管理RGW用户、区间、密钥查看、创建、删除CephFSNFS Ganesha网关监控Grafana仪表板CephFS状态诊断OSD健康状态配置将EC转换为复制（反之亦然）管理RBD

7、快照OpenStack集成集群重构流程管理节点冗余阶段1 监控事件通知告警*配置向现有节点部署新OSDCIFS/Samba RGW和CephFS远程复制同步到外部云管理CephFS快照集群拓扑图指导升级流程监控OSD和MDS统计Ceph客户端性能诊断预测性磁盘故障分析故障排除指导OSD修复指导配置iSCSI NFS-Ganesha Phone homeRBD QoS参数后台操作参数 (QoS) RBD远程复制管理基于角色的Ceph仪表板本地化Ceph仪表板Ceph仪表板SSO (SAMLv2)Crush地图查看器RBD快照监控实时性能指标横向扩展Prometheus 监控事件通知告警SNMP捕

8、获命令审计日志 2017201820202021v4v5v6v5V5.5V6V72019v7* 前瞻信息，可能随时更改* 技术预览项12场景和案例场景： 虚拟化和OpenStack私有云SUSE Enterprise Storage 软件痛点： 软件成本仅支持一种虚拟化平台部署有限的扩展能力单一存储访问方式,内部或iscsi方案优势： 支持多种虚拟化平台：Vmware，HyperV，KVM/XEN，OpenStack, Huawei Fusionphere提供多种连接方式：iSCSI，NFS，CIFS，RBD支持多品牌服务器，简化IT基础架构70%的openstack 使用Ceph 作为其存储

9、高级软件功能：克隆，Cache Tiering案例： VsphereHyper-VKVM/OpenStackiSCSINFSiSCSICIFSRBDNFS高速IP 网络 案例：某省移动混合云平台的企业级存储解决方案VMware vSphereVM1VM2VMFSvmdk1vmdk2SUSE 分布式存储SUSE Enterprise StorageiSCSI华为虚拟化Fusionsphere块存储iSCSI同时满足VMWare vSphere和各种虚拟化(KVM/XEN/Hyper-v)对存储的需求云原生存储SUSE Enterprise Storage物理机虚拟机, GPU容器云 Kubere

10、netesHadoop SparkKafka ElasticsearchKibana Hue数据分析Kubeflow PytorchAI LibraryJupyterHub人工智能AI 机器学习ML场景：某银行容器云存储RBDCephFS场景： 文件服务器16NFSv3/4CephFSCIFS/SMB痛点： 多台文件服务器，服务器磁盘没有保护，没有统一的数据保护和备份策略每个文件服务器上都有空间没有被利用，存储利用率不高。方案优势： SES 可以提供TB到PB的扩展。数据整合后，提高了存储的利用率强大的数据保护能力SUSE Enterprise Storage 软件案例：XX汽车公司XX半导体

11、制造公司 XX报业集团案例：某银行替换录音系统NAS场景：视频监控痛点： 成本提高磁盘利用效率，降低磁盘空间消耗容量扩展：高容量以及可伸缩的容量扩展能力性能：大路数并发搞清码流的实时数据读写方案优势： Scale Out 架构，满足容量和性能弹性伸缩纠删码保护方式，提供高可靠性的同时，提供高存储效率软件定义：支持通用硬件，降低采购成本案例： 场景：数据备份云存储痛点支持多种备份接口方案特点案例1, 阵列备份成本高2, 磁带保护环境要求苛刻磁带备份随机恢复速度慢4 磁带介质可靠性差5, 备份性能无法满足业务扩展需要标准接口：NFS，CIFS，RBD，iSCSI云接口： S3， Swift满足备份

12、数据增长的需要适用于100TB- PB备份环境Scale-out 架构，增加节点能够扩展 到数百PB增加硬件后，自动平衡数据的分布满足备份服务级别分布式存储提供超高吞吐量，减少备份窗口备份到磁盘，减少了数据恢复时间降低拥有成本开源软件+ 通用硬件存储集群自我管理、自我修复能力，降低了管理成本XX保险公司 （中国）XX汽车座椅制造（中国）XX医院 （德国）Data Protector 应用服务器备份服务器SUSE 企业存储S3 API生产网络场景：大数据分析数据分析MRSparkHDFSS3 APIRGWMDS计算性能S3 比HDFS 性能相当收益：解决了大数据环境下的快速部署解决了数据迁移复制

13、开销弹性计算和存储各个应用之间统一使用 S3 进行存储数据和管理，方便和其他的系统做数据交互场景：数据高可靠园区高速网络楼宇1楼宇2楼宇2痛点方案特点案例1, 如何实现数据中心维护切换, 数据访问不间断2, 如何保证楼宇灾难,数据访问不间断3, 传统存储复制技术需要切换时间, 如何实现RTO=0, RPO=0数据均衡分布在多三个故障域中， 单故障域发生故障时， 务不中断,无数据丢失，无切换时间：RPO=0, RTO=0 某大学医院(德国)场景：对象存储- 海量小文件存储解决方案WebMobileDesktop应用服务器集群S3 APISUSE Enterprise Storage 软件终端设备

14、对象存储性能池负载均衡设备HTTP/REST痛点： 海量小文件，文件规模达到亿级别，NAS查询性能低存储容量增长迅速，PB级别的存储多种类型终端设备访问(传感器，IOT设备，手机等)方案优势： SES 可以提供TB到PB的扩展,无缝平滑扩展提供S3和URL标准访问方式，满足多种终端设备的访问EC保护方式，提供高可靠性的同时，提供高存储效率支持性能和容量存储池，满足不同业务需求Gartner 排名前10的对象存储厂商对象存储容量池案例： XX保险公司XX汽车研究院案例:某省远程医疗省级管理平台用户需求: 其中影像数据、远程音视频数据采用分布式存储的方式进行数据保存业务影像数据和视频数据的容量为760T，业务影像视频数据是逐年增长，即一年存储容量240T,第二年存储容量490T，第三年存储容量760T.23配置:序号组件范围组件数量a1主机箱(包含典配模型的其他组配件 风扇 上架套件 至少含双端口1GE)典配2-1模型1机箱(包含典配模型的其他组配件 风扇 上架套件 至少含双端口1GE)1 2CPUSilver 4114 （10c 2.2GHz）2 3单条内存单条DDR4-2400 及以上ECC Registered DIMM_32GB12 4单块硬盘960G【Intel S4500或同等级企业级ssd】2 单块硬盘PCI