VmwareVsan产品解决方案及主要应用场景.ppt

,1,Vmware Vsan产品/解决方案 主要应用场景,vRealize,NSX,vSAN,Horizon,vSphere,VMware SDDC平台： 业界最稳定、最安全、 支持最广泛应用,2,And Many More .,国内某用户ESX持续运行近8年,vSAN：为虚拟化和云计算而生、支持最广泛应用的超融合软件定义存储解决方案,vSphere + vSAN,vSAN 数据存储,5,vSAN与vSphere的版本号对应关系及其要求,同时支持混合和全闪存,支持vSAN延伸集群(双活),支持数据加密,支持去重/压缩/纠删码,VMware 客户将他们的基础架构托付给 vSAN,vSAN 客户数量,部署的国家/ 地区数量,基于全闪存的关键应用占比,10,000,100,83%,关键应用已成为vSAN主要的客户使用场景,远程区域办公室,灾备,9%,26%,IT运维,38%,私有云,21%,* 关键应用生产环境,虚拟桌面,43%,非关键-生产环境,测试开发,53%,62%,48%,* Sources: VMware Customer survey, July 2015,客户将其超过60%的vSAN作为关键业务应用的存储来使用,vSAN 典型销售场景,8,应用重要性,VM数量,B,A,D,开发测试 管理集群,SDDC/Cloud,VDI,生产应用,C,vSAN 主要使用场景和典型案例,9,A,B,C,D,XX银行 vSAN使用案例,业务的快速增长 传统存储采购周期长，业务难以快速上线 传统存储设备的总体拥有成本过高 传统共享存储体出现问题影响面大 存储服务级别依赖硬件，灵活性差,挑战,简化存储的采购模式 缩短存储供给周期，满足业务快速上线需求 大大降低存储和运维成本 分布式存储体系结构，故障时影响面积更小,内嵌在vSphere内核，高效率 vSphere级别的系统稳定性 管理便捷，很短时间内即可生成数十TB级别的存储空间 非常容易进行纵向扩展或横向扩展 通过存储策略定义应用SLA,Why vSAN,使用情况,客户收益,场景1：vSAN用于包含客户关键业务应用在内的数据中心虚拟化环境,Scale Out,vSphere+vSAN,.,Scale Up,本地磁盘,场景2.vSAN和传统外部存储阵列共存于客户的虚拟化数据中心,12,vSAN,SAN/NAS,本地磁盘,本地磁盘,双向迁移数据,互相备份数据,混合存储架构 企业应用： SAN存储专用于核心DB vSAN承载其他VM及数据 虚拟桌面： vSAN提供性能（OS盘） NAS提供容量（数据盘） 与vSAN可以互备关键数据，以及根据应用生命周期移动数据,APP,DB,VDI,VDP,VCOPS,VR,NSX,vNAS,13,本地磁盘,vSAN,本地磁盘,本地磁盘,SRM+VR,场景.vSAN用于客户的异地灾备数据中心,SAN/NAS,融合架构平台（vSphere+vSAN）,桌面 资源池 vSAN集群1,应用 资源池 vSAN集群2,备份 资源池 vSAN集群3,交付统一的超融合基础架构平台,快 vSAN基于对象存储更“懂”数据的存储，借助SPBM+SSD“主动”加速，性能更快； 桌面离应用更“近”，访问速度更快。 稳 服务器和存储层面均实现HA保护，可用性、可靠性及数据安全性得以保证 省 架构简单，扩展灵活、管理高效，无需外置存储，省心、省力、省钱。,场景. vSAN用于客户的数据中心虚拟化、桌面虚拟化、数据备份和私有云环境,VDP、VR,15,本地磁盘,本地磁盘,本地磁盘,本地磁盘,本地磁盘,本地磁盘,SRM容灾管理 + Replication复制,站点 A（主）,站点 B（备）,vSAN存储,B点生产数据,A点生产数据容灾,B点生产数据容灾,A点生产数据,vSAN存储,场景. vSAN同时用于客户的IT生产站点和容灾站点，并实现互为灾备,16,挑战/需求 原有存储宕机，导致业务中断 希望采用双活存储方案，但是传统存储厂商技术复杂，并且都有不同的限制 传统的存储供应商对于双活存储的报价已经超出预算，并且从长期而言，性能、容量的增长并不持续 传统的双活增加了复杂性，对运维管理人员有很大挑战 解决方案 在标准的x86服务器上部署 vSAN 成效 节约了大量成本：与购买存高端的双活存储阵列相比，vSAN 双活的方案节省了 20% 30% 的成本. 易于对硬件进行升级：通过更换部分组件或者整个节点，一些组件，即可利用最新的服务器和硬件 日常维护费用降低：无需独特的存储管理和双活管理的背景和经验。,“通vSAN，我们可以在需要时随时添加容量或提高性能。” “借助vSAN的双活，即使整个机房发生故障，我们也不用担心会中断我们的运营。”,IT部门经理,XX高铁制造有限公司双活数据中心案例,场景6. vSAN是构建双活数据中心的理想方案,17,关键业务双活保护收益,机房2,Active,要点概览 故障域 Site层面保护（双活存储） Site故障时会自动切换 支持Oracle RAC和Windows MSCS,优势概览 无需（多个）存储网关 标准x86服务器 统一、简便的管理 允许有计划的维护，业务负载随需迁移 零RPO,18,机房一,机房二,双站点数据保存，实现站点级存储双活 架构简单，配置管理简单 无需额外虚拟网关，低成本,双活存储,跨机房的双活架构,vSAN 6.6产品版本和许可方式,以成本和容量优先 支持混合和全闪存,以性能+成本优先 支持混合和全闪存,以构建双活数据中心为优先 支持对存储加密,客户选择vSAN的七大优势,20,灵活性 基于标准的X86服务器，无需依赖特定硬件服务器,vSAN的体系结构,21,vSAN是：内嵌在vSphere内核的分布式的对象存储,聚合了虚拟化管理程序的极其简单的虚拟机存储,vSphere + vSAN,.,vSAN 数据存储,用来取代vSphere后端的传统外置磁盘阵列,软件定义存储之 vSAN存储自动化: 存储管理的革命,23,存储策略真正助力云计算所需的存储服务级别,VMware SPBM - 存储策略决定服务级别（包括确定数据如何布局）,从上至下，围绕着业务/虚机为中心,每个虚机甚至每个vmdk在置备时都可配置各自的个性化QoS的属性。 用户以策略的形式指定所需设置，然后vSAN会自动决定如何在集群中为每个vmdk分配存储资源，以满足用户的QoS需求,vSAN的体系结构 三张图 图1 对象和组件,25,对象,副本,组件,存储策略(如FTT, 条带宽度) 决定未来数据如何放置,两份个副本意味着两份数据， 此时FTT(允许的故障数) =1,vSAN的体系结构 三张图 图2 条带按固定增长,26,当VMDK对象被创建后，其实就已经按照存储策略决定了第一笔数据会写入哪些主机的哪些盘。也就是说，数据的布局就已经固定下来了。 之后新增的数据，仍会遵循同样的部署方式，按照条带分段大小以增量的方式去消费盘上的空间，体现出来的是对象容量在增长。直到组件超过255GB，此时vSAN会新建一个组件。这也是有时我们发现某个副本实际的组件数会比条带宽度大的原因。,条带是按1MB增量进行扩大的,vSAN SSD 性能级别 从vSAN HCL里查询 A 级：每秒 2,500-5,000 次写入 B 级：每秒 5,000-10,000 次写入 C 级：每秒 10,000-20,000 次写入 D 级：每秒 20,000-30,000 次写入 E 级：每秒超过 30,000 次写入 示例 Intel 的 400 GB 910 PCIe 固态磁盘 每秒约 38000 次写入 Toshiba 的 200 GB SAS 固态磁盘 MK2001GRZB 每秒约 16000 次写入,工作负载定义 队列深度：16 个或更少 传输长度：4 KB 操作：写入 模式：100% 随机 延迟：不到 5 毫秒 耐久性 10 次驱动器写入/天 (DWPD)，以及 每个 NAND 模块的传输长度为 8 KB 时最多 3.5 PB 随机写入耐久性，而每个 NAND 模块的传输长度为 4 KB 时最多 2.5 PB,27,vSAN的体系结构 三张图 图3 写性能主要由缓存层SSD决定,*增加磁盘组，对性能增长有帮助；,vSAN的体系结构 术语,混合配置和全闪存配置 磁盘组 (Disk Group) vSAN 数据存储 (vsanDatastore) 对象 (Object) 组件 (Component),28,29,混合,全闪存,每个主机 40K IOPS,每个主机 90K IOPS + 亚毫秒级延迟,缓存层,读写缓存,写入内容会首先进行缓存， 而读取内容会直接进入容量层,容量层 SAS/NL SAS/SATA/直连式 JBOD,容量层 闪存设备 读取内容会直接进入容量层,容量层 (也即持久化层),vSAN,SSD,PCIe,Ultra DIMM,SSD,PCIe,Ultra DIMM,vSAN的两种配置 混合与全闪存,为本磁盘组加速,vSAN 磁盘组 (Disk Group),vSAN 使用磁盘组这一概念将闪存设备和磁盘池化为一个管理构造。 以混合配置为例 磁盘组至少包含 1 个闪存设备和 1 个磁盘。 每台主机最多 5 个磁盘组。 每个磁盘组：1 个 SSD + 1 至 7 个 HDD 闪存设备用于提供性能（读缓存 + 写缓冲区）。 磁盘用于提供存储容量。 不能在没有闪存设备的情况下创建磁盘组。,30,HDD,HDD,HDD,HDD,HDD,vSAN 数据存储 (vsanDatastore),vSAN 是一种以文件系统(vSAN FS)的形式呈现给 vSphere 的对象存储解决方案。 该对象存储装载着集群中主机的存储资源，并将它们呈现为一整个 共享数据存储。 仅限该集群的成员才能访问 vSAN 数据存储。 并非所有主机都需要提供存储，但是建议提供存储。,31,磁盘组,磁盘组,磁盘组,磁盘组,每台主机：最多 5 个磁盘组。每个磁盘组：1 个 SSD + 1 至 7 个 HDD,磁盘组,vSAN 网络,vSAN 网络,vSAN 网络,vSAN 网络,vSAN 网络,HDD,HDD,HDD,HDD,HDD,32,vsanDatastore随磁盘组或盘增加或减少，可在线扩大或缩小,vsanDatastore随主机数增加或减少，可在线扩大或缩小,3个主机扩展为4个主机后的vsanDatastore，从4.86 TB动态地在线地扩大为6.48 TB,33,vSAN 对象 (Object),vSAN 通过名为对象的灵活数据容器的形式管理数据。 虚拟机文件称为对象。 存在四种不同类型的虚拟机对象： 虚拟机主目录(主机命名空间) 虚拟机交换文件 VMDK 快照 Memory（vmem，虚拟机内存文件），vSAN 5.5时，当快照创建时，虚拟机内存以文件形式存放在VM Home里。而在vSAN 6.0时，虚拟机内存在vsanDatastore里实例化为独立的对象 虚拟机对象基于虚拟机存储配置文件中定义的性能和 可用性要求划分为多个组件,34,vSAN 组件 (Component),vSAN 组件是对象区块，这些对象区块跨集群中的多台主机分布，以便容许同时发生多个故障并满足性能要求。 vSAN 利用分布式 RAID 体系结构将数据分发到整个集群中。 组件的分布主要采用两种技术： 镜像 (RAID1) 条带化 (RAID0) 创建多少组件副本将基于对象 策略定义决定。,35,磁盘组,磁盘组,磁盘组,磁盘组,磁盘组,vSAN 网络,vSAN 网络,vSAN 网络,vSAN 网络,vSAN 网络,vSAN 数据存储,副本 1,副本 2,RAID1,HDD,HDD,HDD,HDD,HDD,vmdk的构成：对象和组件,36,对象,副本,组件,存储策略(如FTT, 条带宽度) 决定未来数据如何放置,两份个副本意味着两份数据， 此时FTT(允许的故障数) =1,对象和组件布局,37,vSAN 网络,vSAN 网络,vSAN 网络,vSAN 网络,vSAN 网络,vSAN 存储对象,R1,R0,R0,R0,可用性定义为副本数量,vSAN FS,vSAN FS,vSAN FS,rolo2.vmdk,虚拟机主目录对象格式化为 vSAN FS，以便在此对象上存储虚拟机的配置文件。,性能可能会包括条带宽度,vSAN FS,rolo1.vmdk,rolo.vmx、.log 等,/vmfs/volumes/vsanDatastore/rolo/rolo.vmdk,vSAN的技术细节,虚拟机存储策略,虚拟机存储策略可从 vSphere Web Client 主页屏幕访问。,39,vSAN 的存储功能,vSAN 当前向 vCenter 呈现8个以上的存储功能。,40,1、允许的故障数（FTT）,允许的故障数（FTT） 定义存储对象能容许的主机、磁盘或网络故障的数量。若要容许“n”个故障，则要创建“n+1”个对象副本，并且需要“2n+1”台主机提供存储。,41,vSAN 新增纠删码(n=k+m) ：k是数据块, m是校验块(也即FTT值),vSAN 新特性: 纠删码(Erasure Coding) 纠删码 + FTT=1 - RAID 5,“FTT=1” 高可用性 RAID-5 3+1 (最少4台主机，并非4的倍数，而是4台或更多即可) 1.33倍的开销，以往的开销是两倍 以往20GB数据消耗40GB空间, 现在约为27GB 可以实现在vmdk的颗粒度上，在VMware SPBM（基于存储策略的管理）里设置 不支持vSAN Stretched Cluster,42,RAID-5,All Flash Only,“FTT=2” 的高可用性 RAID-6 4+2 (最少6台主机) 1.5倍的开销，以往的开销是3倍 以往20GB数据消耗60GB空间, 现在约为30GB 可以实现在vmdk的颗粒度上，在SPBM里设置 不支持vSAN Stretched Cluster,43,All Flash Only,RAID-6,vSAN 新特性: 纠删码(Erasure Coding) 纠删码 + FTT=2 - RAID 6,44,2、纠删码 可按vmdk颗粒度的精细级别，在存储策略里设置,纠删码和去重压缩，显著提高空间效率: 14倍！,45,50%,与混合竞争产品相比， 全闪存每 GB 成本减少,2 倍,14 倍,14 倍,存储效率，无折中,* 通过重复数据消除和压缩而实现的改进会因工作负载不同而异。 VDI 完整克隆测试的结果。,3、每个对象的磁盘条带数,每个对象的磁盘条带数 存储对象的每个副本所跨的硬盘数,46,4、IOPS限制（QoS）,47,New in,基于每个虚机或每个vmdk，能以可视化的图形界面来设置IOPS的限制值 一键即可设置 消除noisy neighbor（相邻干扰）的不利影响 可以在vmdk的颗粒度上满足性能的服务等级协议（SLA），在SPBM里设置 在一个集群/存储池，可以为不同虚机/vmdk，提供不同的性能，将原本可能相互影响的负载区分开来 用户在图形界面中，可以看到每个vmdk的IOPS值，并通过颜色(绿色,黄色,红色)判断实际IOPS与IOPS限制值的关系 计算IOPS时，包括vmdk及其快照的读写操作,vSphere + vSAN,vSphere & vSAN,5、Software Checksum（软件校验和）,48,概览 数据的端到端校验，检测并解决静默磁盘错误 软件校验和在集群级别默认是开启的，可以通过存储策略在vmdk级别关闭 在后台执行磁盘扫描（Disk Scrubbing） 如果通过校验和验证发现了错误，则重建数据 基于4K的块大小 采用CRC32算法（CPU开销小） 好处 提供更高的数据完整性 自动检测和解决静默磁盘错误（silent disk errors）,vSAN,vSAN 其他存储功能,6、强制调配 如果选择“Yes”（是），则即使当前可用的资源不符合存储策略中指定的 策略，仍将调配对象。 7、闪存读缓存预留 (%) 预留闪存容量，作为存储对象的读缓存。以对象逻辑大小的百分比形式指定。 8、对象空间预留 (%) 调配虚拟机时要预留（实施厚配置）的存储对象的逻辑大小的百分比。 将对其余存储对象实施精简配置。,49,存储功能的默认值和最大值,50,vSAN I/O流,混合配置和全闪存配置，写IO的详细步骤,写I/O在混合配置和全闪存配置下是一样的。假设： FTT=1（也即两份副本）； 虚机vm运行在主机01上； 主机01是vm的VMDK对象的属主； 该对象有两份副本，分别在主机02和主机03上； 步骤1，虚机vm发起写操作； 步骤2，VMDK对象的属主（也即主机01）触发写操作到虚拟磁盘； 步骤3，主机01克隆写操作，主机02和主机03各自独立地执行； 步骤4，主机02和主机03各自在自己的缓存层（SSD）的log上执行写操作； 步骤5，缓存写完，主机02和主机03分别立刻发确认信息给属主； 步骤6，属主收到了两个主机都完成I/O并确认的消息后； 步骤7，属主将一批已经确认过的写I/O合并，Destage（刷）到容量层的盘；,vSphere,vSAN,H3,H2,H1,写IO的性能，主要取决于缓存层采用什么闪存设备,VMware SSD 性能级别 A 级：每秒 2,500-5,000 次写入 B 级：每秒 5,000-10,000 次写入 C 级：每秒 10,000-20,000 次写入 D 级：每秒 20,000-30,000 次写入 E 级：每秒超过 30,000 次写入 示例 Intel 的 400 GB 910 PCIe 固态磁盘 每秒约 38000 次写入 Toshiba 的 200 GB SAS 固态磁盘 MK2001GRZB 每秒约 16000 次写入,工作负载定义 队列深度：16 个或更少 传输长度：4 KB 操作：写入 模式：100% 随机 延迟：不到 5 毫秒 耐久性 10 次驱动器写入/天 (DWPD)，以及 每个 NAND 模块的传输长度为 8 KB 时最多 3.5 PB 随机写入耐久性，而每个 NAND 模块的传输长度为 4 KB 时最多 2.5