分布式存储技术PPT学习课件

云环境下的分布式存储技术,内容,2,CONFIDENTIAL,存储形态的变化,3,CONFIDENTIAL,IT基础架构迈向ServerSAN和超融合架构,Source:IDCHyperconvergedSystems2015-2019Forecast,1WikibonServerSANResearchProject2014,EnterpriseServerSANCAGR1:44.2%,60%CAGR,4,CONFIDENTIAL,软件定义的存储ServerSAN计算与存储的融合,5,CONFIDENTIAL,什么是软件定义存储？,软件定义的存储：是将工业标准服务器的存储提供出来并通过软件控制层面实现存储的自动化和池化。它将存储的置备和管理的方法简化到了极致，并利用工业标准服务器的存储大大降低了成本。软件定义的存储产品：是一个将硬件抽象化的解决方案，它使你可以轻松地将所有资源池化并通过一个友好的用户界面（UI）或API来提供给消费者。一个软件定义的存储的解决方案使得你可以在不增加任何工作量的情况下进行纵向扩展（Scale-Up）或横向扩展（Scale-Out）,6,CONFIDENTIAL,软件定义存储是云数据中心的重要组成部分,7,CONFIDENTIAL,软件定义的存储特点,8,目前的方式,软件定义的存储,抽象与池化,以虚拟机为核心的自动化SLA设定,以虚拟机为粒度的数据服务,虚拟化层,虚拟SAN,虚拟存储卷,CONFIDENTIAL,软件定义存储的分布式扩展性,9,纵向扩展添加更多磁盘,IOPS,容量,XXTB,XXXTB,XXPB,横向扩展,添加更多节点,分布式可扩展性：弹性按需伸缩粒度添加单个节点或磁盘无干扰无应用程序停机简单且全自动可预测避免复杂预测以及前期大量投资,CONFIDENTIAL,软件定义存储分类：控制平面+数据平面,控制平面是关键根据不同的工作负载来动态分配存储资源。Hypervisor/OS，或者云管理软件具有优势。,10,CONFIDENTIAL,软件定义存储的分类(存储资源由软件来自动控制，即存储策略驱动),DataPlane(数据平面)1）基于商用的硬件包括了IDC分类中VirtualStorageAppliance（简称VSA）和PhysicalStorageAppliance（简称PSA）两类。ServerSAN/HCI里有：VMwareVSAN或EVO:RAIL、EMCScaleIO、DELLFluidCache、HPStorVirtual、RedHatInktankCeph、MicrosoftStorageSpaces、Nutanix、Maxta、SimpliVity、ScaleComputing、Pivot3等；国内有：华为FusionStorage、华云网际、达沃时代、XSKY(Ceph)、大道云行SSAN、志凌海纳SmartX、BigTera、深信服aSAN；开源的有OpenvStorage（类似Nutanix架构）；在ServerSAN里，非超融合架构（也即不提供计算资源）的有：主要是分布式文件系统，如GPFS、Lustre、Panasas等；其他SDS有：飞康、DataCore、Nexenta、国内的InfoCore(信核)等，还有其他支持SolarisZFS的存储；另外还有开源的FreeNAS、NAS4Free等,11,CONFIDENTIAL,软件定义存储的分类(存储资源由软件来自动控制，也即存储策略驱动),DataPlane(数据平面)（续）2）传统的SAN/NAS（ExternalStorage）支持SPBM(如VirtualVolumes)，或者OpenStackCinder的传统外置磁盘阵列3）Cloud/ObjectStorage做为DataPlane的组成部分，实际上是以后端存储的身份为VM/App提供存储资源的。私有云和公有云之间，能在存储级别，实现存储的备份、归档和容灾。运行在公有云之上的VSA，即可与本地存储建立数据交换。如：NetApp的CloudONTAP、SoftNAS、Zadara等ControlPlane(控制平面)1）VMwareSPBM；2）OpenStackCinder；3）EMCViPR；4）ProphetStor（希智）的Federator；未来几年内，会有越来越多的数据平面(DataPlane)的存储产品，向控制平面开放API，支持存储策略驱动。,12,CONFIDENTIAL,传统共享存储阵列的时代SSD出现之前，CPU发展速度是磁盘的几十万倍,软件定义存储的发展：过去、现在和未来,13,CONFIDENTIAL,SSD和高速网络的出现，改变了存储的游戏规则未来的主流是分布式,分布式存储，数据靠近计算，延时更短！性能更高！,传统外置磁盘阵列一个I/O落到盘上，要经历多个环节，延时在毫秒以上；而SSD内置在服务器里，延时在亚毫秒(也即0.1ms)级别,软件定义存储的现在,14,CONFIDENTIAL,软件定义存储的未来：ServerSAN(软件定义存储中最大组成部分),预计5年左右，ServerSAN(SDS中主要的种类)，将占据整个全球存储市场份额的半壁江山！,2.TheRiseofServerSAN,Jul16,2015Source:/wiki/v/The_Rise_of_Server_SAN,企业级ServerSAN预计达44.2的年复合增长率；2021年企业级ServerSAN将是传统外置磁盘阵列的1.24倍。,15,CONFIDENTIAL,分布式存储VSAN技术介绍,VSAN是：内嵌在vSphere内核的分布式的对象存储,聚合了虚拟化管理程序的极其简单的虚拟机存储,vSphere+VirtualSAN,.,VSAN数据存储,用来取代vSphere后端的传统外置磁盘阵列,17,CONFIDENTIAL,存储策略决定服务级别（包括确定数据如何布局）,从上至下，围绕着业务/虚机为中心,每个虚机甚至每个vmdk在置备时都可配置各自的个性化QoS的属性。用户以策略的形式指定所需设置，然后VSAN会自动决定如何在集群中为每个vmdk分配存储资源，以满足用户的QoS需求,18,CONFIDENTIAL,共享存储,生产集群,冗余交换机,管理集群,传统方式虚拟化资源池环境,存储单点故障风险容量和性能无法同步扩展存储维护配置复杂,传统存储的局限性,NAS,19,2,VSAN相对于传统存储方案的优势,更简单内嵌于vSphere,无需安装虚拟机存储策略驱动，不再需要存储设备上的操作和虚拟化单一界面管理，维护更方便更快速通过SSD缓存加速技术，IO性能大幅提升分布式弹性扩展，节点内垂直扩展，容量和性能线性扩展更可靠分布式存储架构，节点冗余技术，消除存储单点故障风险更高效融合部署，提升资源利用率最短存储路径，虚拟机感知的虚拟化存储池,适合投资保护与未来发展降低外部存储的配置成本互联网存储模式，符合未来数据中心虚拟化的发展方向,虚拟机存储配置方式比较,人工操作VS自动化策略,20,CONFIDENTIAL,物理主机,vSphere,物理主机,vSphere,物理主机,vSphere,VirtualSAN数据存储集群,VirtualSAN-从根本上简化存储,物理主机,物理主机,物理主机,VirtualSAN-利用缓存提升性能,所有虚拟机I/O均指向SSD。写入内容稍后会转储到HDD。如果请求的读取数据块不在缓存中，会将该请求定向到HDD,物理主机,物理主机,物理主机,VirtualSAN-可用性与性能,虚拟机存储对象(主目录、VMDK、增量、交换)可以分布在VSAN集群中的多个主机和磁盘内。虚拟机可以使用复制副本提供可用性，或使用条带提供HDD性能,硬盘,硬盘,SSD,SSD,硬盘,SSD,vSphere,VSAN,264,物理主机,vSphere,物理主机,vSphere,物理主机,vSphere,VM,VirtualSAN数据存储集群,VirtualSAN-恢复能力极强,物理主机,物理主机,物理主机,通过虚拟机的存储策略实现存储自动分配,按照存储策略为虚拟机调配存储资源。策略在创建后便向下发送到VSAN，然后按照策略中的功能实例化虚拟机对象。借助VSAN，单个数据存储现在可以针对各个虚拟机或各个虚拟磁盘强制实施不同的服务质量(QoS)级别。,VSAN数据存储,白银级,黄金级,青铜级,物理主机,物理主机,物理主机,按需定制存储策略,每个对象的磁盘条带数Numberofdiskstripesperobject存储对象的各个副本所跨的HDD数量。用于改善性能，缺省为1，最大12。允许的故障次数Numberoffailurestotolerate定义存储对象能够允许的主机、网络和/或磁盘的故障次数。可用性保障，缺省为1，最大为3。对象空间预留Objectspacereservation应预留的存储对象(包括快照)逻辑大小百分比(厚配置)。闪存读取缓存预留Flashreadcachereservation预留闪存容量，作为存储对象的读取缓存。用于提升性能，缺省为0，最大100%。强制调配Forceprovisioning在数据存储不能满足资源时是否进行调配。,物理主机,物理主机,物理主机,简化存储变更操作，提升效率,传统方式将虚拟机从数据存储迁移走；卸载LUN/卷；创建新的LUN/卷以满足虚拟机对存储需求的变化；如果是块设备，使用VMFS格式化LUN；将虚拟机迁移到新的数据存储。,VSAN编辑或创建新的存储策略；将存储策略应用到虚拟机。,vs.,ScaleUPAddmoreDisks,IOPS,Capacity,40TB,400TB,4.4PB,ScaleOUT,Addmorenodes,弹性按需增减颗粒度单节点或磁盘非破坏性业务不中断,VSAN可以根据性能和容量需求进行线性扩展,28,CONFIDENTIAL,分布式存储SAN6.0性能参数,29,VirtualSAN5.5,VirtualSAN6.0混合,VirtualSAN6.0全闪存,CONFIDENTIAL,分布式存储VSAN其它特性,30,第4代VirtualSAN具有重要的新功能特性,CONFIDENTIAL,特性一和特性二：去重和压缩（提高空间效率）,支持全闪存按照磁盘组的级别，实现近线的去重和压缩叫做“提高空间效率”磁盘组越大，去重比率越高去重和压缩在集群级别激活当数据从缓存层De-staging（刷新）到持久化层时实现去重，在去重后实现压缩去重在缓存写确认后执行固定大小的块去重(4KB数据块)在VSANStretchedCluster和ROBO方式下也支持去重和压缩,31,Beta,esxi-01,esxi-02,esxi-03,vmdk,vmdk,vSphere&VirtualSAN,vmdk,AllFlashOnly,CONFIDENTIAL,特性三纠删码：RAID-5ErasureCoding,“FTT=1”高可用性RAID-53+1(最少4台主机，并非4的倍数，而是4台或更多即可)1.33倍的开销，以往的开销是两倍以往20GB数据消耗40GB空间,现在约为27GB可以实现在vmdk的颗粒度上，在VMwareSPBM（基于存储策略的管理）里设置不支持VSANStretchedCluster,RAID-5,AllFlashOnly,32,CONFIDENTIAL,特性三纠删码：RAID-6ErasureCoding,“FTT=2”的高可用性RAID-64+2(最少6台主机)1.5倍的开销，以往的开销是3倍以往20GB数据消耗60GB空间,现在约为30GB可以实现在vmdk的颗粒度上，在SPBM里设置不支持VSANStretchedCluster,AllFlashOnly,RAID-6,33,CONFIDENTIAL,特性三：存储策略里可按vmdk设置ErasureCoding,34,CONFIDENTIAL,特性四：IOPS限制（QoS）,35,Newin6.2,基于每个虚机或每个vmdk，能以可视化的图形界面来设置