VMWarevSAN性能测试最佳实践课件

1、VMWare vSAN 性能测试最佳实践第1页，共20页。VSAN方案设计要点一定要选择和VSAN适配的硬件（HCL）特别注意对controller的挑选，queue Depth，内置caching等特性要注意屏蔽，支持的配置模式（passthru或raid0，或都支持），严格遵守HCL企业级SSD和HDD节点配置：最少3节点推荐始终追加一节点，以始终保持最佳的可用性计算方式：（2n+1）+1, n is failures to tolerant.磁盘组1 DG: 1 SSD + n MDs1 host: 1 DG up to 5 DGs正确替换故障磁盘或SSDSSD:HDD 10%网络需求至

2、少1gb且专用，10gb推荐(可共享)共享使用10gb网络时，可利用NIOC确保VSAN traffic VDS许可通过VSAN license可激活支持NIC teaming，但用途是HA, 不是load balancingMulticast是必须项. MTU/Jumbo frames都要一致第2页，共20页。配置VSAN要点至少四台物理服务器，配置尽可能完全够相同，包括CPU/Memory/Disk至少有一块网卡用作VSAN网络，网络带宽务必千兆或以上（百兆不行）所有参与VSAN构建的磁盘，在安装ESXi之前，必须初始化如果是PassThrough的SAS卡，确保所有SSD/HDD磁盘在R

3、AID界面初始化；如果是做RAID0的RAID卡，所有单盘做RAID0，并且Fast Init初始化，不能使用未经初始化的磁盘！启用VSAN之前，务必确定SSD、HDD的数目。如果是通过RAID卡做的RAID0，SSD磁盘可能无法自动识别，需要手动在Web Client界面上标记为SSD。注意定位磁盘时使用VSAN Disk Group界面的定位磁盘按钮。第3页，共20页。性能测试的一些建议用默认的存储策略前15到20分钟时间是热盘，真正数据从后面开始算用全读和7读3写的负载每个主机布1-5个VM，磁盘在几百兆到1T都可以。确保万兆网络连接和multicast打开可以打开observer检测实

4、时vsan性能然后可以考虑用存储策略为变量，调整ftt或条带宽度测试上述相同负载，然后看差异。另外，9节点的话，可以多做做负向/故障测试，用不同的ftt，看同步数据时的性能是否退化和完成时间第4页，共20页。运维排错工具vSphere Web Client 图形化管理ESXCLI per host view of vsanRVC cluster wide view of VSANVSAN Observer 深度的性能监控和排错Health Service (New!) - 针对VSAN的自动化检查工具In-product检查、Phone home集成、自动化Support bundle提交硬件

5、vendor的第三方工具Roadmap within 2015:VROPS和VSAN集成中心化监控、容量规划、相关性分析第三方监控（通过SNMP trap和MIB）Health Service V2， Performance Service第5页，共20页。如何使用VSAN Observer监控VSAN状态运行vsan.observer . -run-webserver force开启状态监控：第6页，共20页。如何使用VSAN Observer监控VSAN状态访问http:/vCenter IP:8010 ，打开VSAN observer界面第7页，共20页。建议：直接部署或升级到VSAN

6、6.2（最新版本）部署和运维管理，多参考产品文档和设计指南6.2的文档内容会大幅增强！推荐客户安装和日常多使用health service包含HCL、网络等众多常见检查项方便GSS排错和RCA通读VSAN 6.2 technical walkthrough的每一页Vault的VSAN主页有下载链接积累国内案例和解决方案第8页，共20页。资源6.0 product guideLink available once GA.Design & Sizing guide （updated for 6.x)/files/pdf/products/vsan/VSAN_Design_and_Sizing_Gu

7、ide.pdfTroubleshooting guide (updated for 6.x)/files/pdf/products/vsan/VSAN-Troubleshooting-Reference-Manual.pdf Online sizing tool & TCO计算器:/vsan/SI/SIEV Network design guide/files/pdf/products/vsan/VMware-Virtual-SAN-Network-Design-Guide.pdfEssential Virtual SAN （中文版）第9页，共20页。常见排错场景Network misconf

8、iguration detectedManual checklistHealth serviceEnforce network requirements including multicast setting, mtu/jumbo frames, partition, vlan/subnet, vmknet etc are met. No need of using tcpdump!VM is non-compliant/inaccessible/orphanedNon-compliant mean:has tolerated 1, no more 1 once. Inaccessible m

9、ean: beyond tolerance failures I can protect. Cant access vmdk. More than 50% components gone.Orphaned: VSAN lose track of a VM. Deletion of object is async. Automatic remediation vs. manual remediationEnough resource vs. lack of resource(adding host/disks)Object still available for both casesAuto m

10、ode will fix/replace mirrors automatically, manual mode will wait for resource to do it automatically.Rsync dashboard from RVC and UI now (new feature)VM provisioning failedCannot complete file creation operation from VM create taskFTT cant be met (FTT says 2 but only 3 hosts available)Disk space is

11、 sufficientDummy create VM to test it: cretae vm per host and report problemRVC: VM-create Health service: proactive test of dummy vm creation. 第10页，共20页。性能监控：VSAN Observer查看标红线的图表. Latency (ms) Threshold =30msIOPSBandwidth (kb/s) Congestion1: no congestion, 255: too full congestionThreshold = 75RC

12、hit rate （针对Hybrid）100%: read from read cache, below 100: sometimes from MD insteadEvictionsHow many times Flush data from cache to capacity tier due to write request or rc contentionToo frequent is not a good sign. Roadmap：VROPS、Performance Service in H2 2015第11页，共20页。VMware View 体系架构参考Thin ClientD

13、esktopLocalModeVMWAREVIEW MANAGERVMWAREVIEWCOMPOSER集中桌面池链接克隆桌面平台层VMware vSphereFor Desktops管理层VMware View Manager,VMware View Composer,User ExperiencePCoIP, Print,Multi-Monitor Display,Multimedia,USB Redirection,Local Mode基准系统镜像第12页，共20页。VSAN，简单易用、易管理第13页，共20页。虚拟机按照策略使用VSAN第14页，共20页。VSAN Failover的几种

14、典型场景15CONFIDENTIAL类型故障描述影响其他HDD 磁盘离线机械磁盘显示离线，如果在60分钟内重新插上。则认为该磁盘仅仅是离线，而不是故障。对数据和VSAN无影响。如果RAID卡是直通模式，无需干预；如果是RAID 0模式，则需要在操作系统层面操作Foreign分区导入。磁盘上线后，会同步状态。HDD 磁盘故障机械磁盘离线，如果在60分钟内没有重新上线，则VSAN认为该磁盘故障或缺失。有影响。磁盘缺失后60分钟，出触发数据迁移，VSAN群集会把存放在该磁盘上的数据，根据故障原则在其他磁盘重建。移除 HDD磁盘对于正常运行的VSAN Cluster，选择其中一块HDD磁盘，选择移除磁

15、盘。有影响。VSAN群集会把存放在该磁盘上的数据，根据故障原则在其他磁盘上立即重建。SSD磁盘故障SSD被拔掉或故障有影响。故障SSD所在的Disk Group失效不工作，所有IO只能操作其他Disk Group第15页，共20页。磁盘离线CONFIDENTIAL16vSphereVirtual SANH3H2H1virtual disk仲裁数据D0数据D0副本H2其中一块磁盘掉线。虚拟机正常工作，使用H1上的数据；60分钟内，H2磁盘上线，则数据不会发生重构。第16页，共20页。磁盘故障virtual diskvSphereVirtual SANH3H2H1owner“Re-created”

16、 replicaSSD/HDD/Controller (on H2) inaccessibleH2其中一块磁盘掉线。虚拟机正常工作，使用H1上的数据；60分钟H2磁盘还没有回来，则数据会在本机其他磁盘或第三台机器上磁盘重构。如果VSAN集群主机的磁盘数比较多，则H2损坏一块磁盘后，其上的数据会在其他多块磁盘上重构，多IO并行处理，数据重构时间会很快，瓶颈取决于带宽。第17页，共20页。按计划移除HDD磁盘CONFIDENTIAL18选择移除特定磁盘，可选清除数据或把数据迁移到其他服务器第18页，共20页。VSAN实际业务场景指标19三台主机，组成计算和VSAN存储集群，制备200个Windows 7 桌面性能指标如下：制备时间VSAN集群性能主机VSAN 带宽消耗CPU利用率（平均）IOPS吞吐量(MB/s)延迟(ms)平均（MB/s)最大(MB/s)32分钟* 从克隆第1个桌面到第200个完成自定义并可访问所需的时间总和。462870.421.64主机15016210.1%主机25523914.1%主机36219413.6%桌面详细配置：Windows 7 64bit，2CPU，4GB Memory，C盘 60GB，D盘 6GB第19页，共20页。磁盘