FusionStorage基于VMware的性能最佳实践

1、前 言 DOCPROPERTY Product&Project Name FusionStorage DOCPROPERTY DocumentName 基于VMware的性能最佳实践 FusionStorage DOCPROPERTY DocumentName 基于VMware的性能最佳实践 STYLEREF Contents 目 录 DOCPROPERTY Product&Project Name FusionStorage DOCPROPERTY DocumentName 基于VMware的性能最佳实践FusionStorage基于VMware的性能最佳实践目录目 录 TOC h z t

2、标题 1,1,标题 2,2,标题 3,3,标题 7,1,标题 8,2,标题 9,3,Heading1 No Number,1 HYPERLINK l _Toc523591771 前 言 PAGEREF _Toc523591771 h iii HYPERLINK l _Toc523591772 1 概述 PAGEREF _Toc523591772 h 1 HYPERLINK l _Toc523591773 2 华为FusionStorage分布式存储 PAGEREF _Toc523591773 h 3 HYPERLINK l _Toc523591774 3 VMware存储功能介绍 PAGERE

3、F _Toc523591774 h 5 HYPERLINK l _Toc523591775 4 FusionStorage性能最佳配置 PAGEREF _Toc523591775 h 8 HYPERLINK l _Toc523591776 5 VMware平台性能最佳配置 PAGEREF _Toc523591776 h 12 HYPERLINK l _Toc523591777 6 存储IO性能测试及分析 PAGEREF _Toc523591777 h 17 HYPERLINK l _Toc523591778 7 总结 PAGEREF _Toc523591778 h 20 HYPERLINK l

4、 _Toc523591779 8 文档引用 PAGEREF _Toc523591779 h 21前 言概述本最佳实践主要描述了在VMware+FusionStorage场景下，通过介绍VMware接入FusionStorage场景的最佳组网及配置，从而充分发挥FusionStorage的性能。 符号约定符号说明表示有高度潜在危险，如果不能避免，会导致人员死亡或严重伤害。表示有中度或低度潜在危险，如果不能避免，可能导致人员轻微或中等伤害。表示有潜在风险，如果忽视这些文本，可能导致设备损坏、数据丢失、设备性能降低或不可预知的结果。表示能帮助您解决某个问题或节省您的时间。表示是正文的附加信息，是对正

5、文的强调和补充。 STYLEREF 1 n * MERGEFORMAT 1 STYLEREF 1 概述 DOCPROPERTY Product&Project Name FusionStorage DOCPROPERTY DocumentName 基于VMware的性能最佳实践FusionStorage基于VMware的性能最佳实践 STYLEREF 1 n * MERGEFORMAT 8 STYLEREF 1 文档引用概述本最佳实践描述了基于VMware平台下FusionStorage性能调优及测试结果。通过参考该最佳实践，可以快速完成VMware+FusionStorage场景下的存储性能

6、调优。内容简介本文详细地描述了基于VMware虚拟化的FusionStorage性能调优及测试结果。首先文档对华为FusionStorage原理进行了概述；其次对于VMware虚拟化平台的存储功能进行描述；然后通过一个实验室测试数据展示VMware+FusionStorage的存储性能，最后进行总结。本文基于如下软件组件版本进行说明：FusionStorage R3C02SPC300 Agent Suse11.3FusionStorage R3C02SPC300 ManagerFusionStorage R3C02SPC300 PortalFusionStorage R3C02SPC300 P

7、ortalPlugInFusionStorage R3C02SPC300 scriptsFusionStorage R3C02SPC300 suse 11.3VMware ESXi 5.5u2VMware vCenter Server 5.5u2写作目的本文提供了基于VMware的FusionStorage的性能调优及结果，为其它VMware+FusionStorage的项目的性能调优及测试提供借鉴。术语表术语表术语英文全称描述CVMControl Virtual Machine控制虚拟机 STYLEREF 7 n * MERGEFORMAT 错误！文档中没有指定样式的文字。 STYLEREF

8、 7 错误！文档中没有指定样式的文字。 DOCPROPERTY Product&Project Name FusionStorage DOCPROPERTY DocumentName 基于VMware的性能最佳实践华为FusionStorage分布式存储概述华为FusionStorage是一个分布式存储软件，在通用x86服务器上部署该软件把所有服务器的本地硬盘组织成一个虚拟存储资源池，提供块存储功能。FusionStorage分布式存储软件系统具有如下特点：领先的分布式架构。FusionStorage存储软件采用全分布式的架构：分布式管理集群，分布式哈希数据路由算法，分布式无状态机头、分布式智

9、能Cache等，这种架构使得整个存储系统没有单点故障。 高性能和高可靠性。FusionStorage存储软件在所有磁盘中实现负载的均衡，数据打散存放，不会出现热点，高效的路由算法和分布式Cache技术保证了高性能。FusionStorage支持多个数据副本，每个副本分配在不同服务器/不同磁盘上，单个硬件设备的故障不影响业务。同时FusionStorage的强一致性复制技术确保各个数据副本的一致性。并行快速故障重建。数据分片在资源池内打散，硬盘故障后，可在全资源池范围内自动并行重建，重建效率高。易扩展和超大容量。FusionStorage的分布式无状态机头可横向扩展，存储与计算同步平滑扩容，支持

10、非烟囱式超大容量扩展。计算存储深度融合。FusionStorage存储软件部署在挂载本地硬盘的服务器上，把各服务器的本地硬盘组织成一个虚拟的资源池，替代外置的存储设备，支持计算和存储设备的高度融合。FusionStorage性能优势FusionStorage通过创新的架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的类SAN存储池设备，提供比SAN设备更高的IO，把性能发挥到了极致。FusionStorage支持使用SSD替代HDD作为高速存储设备，支持使用Infiniband网络替代GE/10GE网络提供更高的带宽，为对性能要求极高的大数据量实时处理场景提供完美的支持。分布式机头F

11、usionStorage采用无状态的分布式软件机头，机头部署在各个服务器上，无集中式机头的性能瓶颈。单个服务器上的软件机头只占用较少的CPU资源，提供比集中式机头更高的IOPS。分布式缓存FusionStorage实现了计算和存储的融合，缓存和带宽都均匀分布到各个服务器节点上。FusionStorage集群内各服务器节点的硬盘使用独立的I/O带宽，不存在独立存储系统中大量磁盘共享计算设备和存储设备之间有限带宽的问题。FusionStorage支持将服务器部分内存用作读缓存，NVDIMM和SSD卡用作写缓存，数据缓存均匀分布到各个节点上，所有服务器的缓存总容量远大于采用外置独立存储的方案。即使采

12、用大容量低成本的SATA硬盘，FusionStorage仍然可以发挥很高的IO性能，整体性能提升13倍，同时提供更大的有效容量。FusionStorage支持PCIe SSD用作数据缓存，除具备通常的写缓存外，增加热点数据统计和缓存功能，加上其大容量的优势，进一步提升了系统性能。FusionStorage 计算和存储融合全局负载均衡FusionStorage的实现机制保证了上层应用对数据的IO操作均匀分布在不同服务器的不同硬盘上，不会出现局部的热点，实现全局负载均衡。第一，系统自动将数据块打散存储在不同服务器的不同硬盘上，冷热不均的数据会均匀分布在不同的服务器上，不会出现集中的热点。第二，数据

13、分片分配算法保证了主用副本和备用副本在不同服务器和不同硬盘上的均匀分布，换句话说，每块硬盘上的主用副本和备副本数量是均匀的。第三，扩容节点或者故障减容节点时，数据恢复重建算法保证了重建后系统中各节点负载的均衡性。VMware存储功能介绍VMware VMFSVMFS（Virtual Machine File System） 是一种针对虚拟机进行了优化的高性能集群文件系统。 常规文件系统在给定时间只允许一台服务器读写同一文件，VMFS 利用共享存储允许多个 vSphere 主机并行读写同一个存储，是实现VMware集群和动态资源管理的基础。通过将整个虚拟机状态存储在一个中心位置，简化了虚拟机的调

14、配和管理。创建可用于测试、备份和恢复操作的虚拟机数据时间点副本。支持基于虚拟化的独特功能，例如，将正在运行的虚拟机从一台物理服务器实时迁移到另一台服务器、自动在另一台物理服务器上重启发生故障的虚拟机以及跨不同物理服务器建立虚拟机集群。向正在运行的虚拟机添加虚拟磁盘空间，以增加可用资源或者供备份之用。利用分布式日志在服务器发生故障时更快、更可靠地恢复虚拟机提供极高的性能和可扩展性，使用 VMFS 以集中、共享的方式存储虚拟机可提高管理虚拟化 IT 环境时的控制力、灵活性和性能。在一个中心位置存储和访问整个虚拟机状态。使用有利于虚拟磁盘 I/O 的大数据块容量。 对于小文件和目录使用子数据块分配器

15、。支持容量最高可达 64 TB 的单个卷。甚至可以在虚拟机中运行数据最密集的生产应用，如数据库、ERP 和 CRM。VMFS 在卷、设备、对象和缓冲区缓存方面的性能增强可使客户受益。VMFS的架构，如下图展示了VMFS架构，存储系统的LUN被格式化为VMFS文件系统， ESXi主机共享存储空间，每个ESXi Server上运行两个VM，每个VM均有一个虚拟硬盘文件（VMDK），存放在VMFS自动生成的某个目录里（一般以VM名称命名目录）。VMFS为每一个VMDK加锁，保证其不同时被两个VM打开。 FusionStorageLUNVMFSESXiVMDK1VMDK2VMDK3VMDK4VM1VM

16、2ESXiVM1VM2VMFS-3和VMFS-5对比如下：VMFS-3 VMFS-5支持最大容量磁盘卷2TB支持最大容量磁盘卷64TBMBR(master boot record)分区类型使用GPT(GUID partition table)块大小是1,2,4，8MB块大小统一为1MB，支持256GB 的超大文件最小sub-block 大小是64KBSub-block 大小位8KB，小文件占用更小的空间最大文件数量30720每个volume 支持100000 个文件最大VMDK 文件大小是2TB最大VMDK 文件大小是2TB支持最大LUN 的数量是256 个支持最大LUN 的数量是256 个使

17、用SCSI 预留机制对整个LUN 加锁通过VAAI 的hardware-assistedlocking 降低磁盘访问冲突VMware RDMVMware RDM（Raw Device Mapping）为虚拟机提供的一种直接访问存储的方式，RDM虚拟盘实际上为VMFS卷上的一个地址映射文件，可以理解为符号链接，VM对RDM盘的读写操作均被映射到LUN上。 VMware SCSI适配器VMware 提供 BUS/LSI Parallel/LSI SAS等虚拟SCSI控制器都是为了操作系统的兼容性。vSphere 创建虚拟机时现在可以选择以下 SCSI 控制器类型之一：BusLogic 并行LSI

18、Logic SASLSI 逻辑并行VMware 准虚拟VMware虚拟磁盘置备策略厚置备延迟置零以默认的厚格式创建虚拟磁盘。在创建虚拟磁盘时分配该磁盘所需的空间。创建过程中不会清除物理设备上保留的数据，但以后首次从虚拟机写入时则会按需置零。虚拟机不会从物理设备读取失效数据。厚置备置零一种厚虚拟磁盘类型，可支持群集功能，如 Fault Tolerance。在创建时为虚拟磁盘分配所需的空间。与厚置备延迟置零格式相反，创建虚拟磁盘时，会将物理设备上保留的数据置零。创建这种格式的虚拟磁盘所需的时间可能会比创建其他类型的磁盘长。精简配置使用此格式可节省存储空间。对于精简磁盘，可以根据输入的虚拟磁盘大小值

19、置备磁盘所需的数据存储空间。但是，精简磁盘开始时很小，只使用与初始操作所需的大小完全相同的存储空间。如果精简磁盘以后需要更多空间，它可以增长到其最大容量，并占据为其置备的整个数据存储空间。精简置备是创建虚拟磁盘的最快方法，因为它创建的磁盘仅具有标题信息。它不会分配存储块或将其置零。初次访问存储块时，才分配存储块并将其置零。注意 如果虚拟磁盘支持群集解决方案（如 Fault Tolerance），请勿将磁盘设置为精简格式。可以手动填充精简磁盘，以便其占据整个置备空间。如果物理存储空间已用尽，且无法扩展精简置备的磁盘，则虚拟机将不可用。FusionStorage性能最佳配置概述本节介绍主要从组网、

20、网络及硬件配置几个方面描述在VMware+FusionStorage场景时，FusionStorage的最佳配置。FusionStorage存储的性能调优及在各种硬件组合配置下的性能规律不在本文档中描述。VMware接入FusionStorage存储的安装过程不在本文档中描述。组网选择FusionStorage支持分离部署方案，分离部署方案的存储节点部署在物理服务器上，CVM部署在ESXi主机上，通过分离部署可以更好的发挥FusionStorage的性能，部署逻辑图如下：后续所有配置及介绍都是基于分离部署方案前提下进行介绍说明。硬件配置Cache类型Fusionstorage支持SSD Cac

21、he+HDD的组网配置，建议使用SSD PCIE卡作为Cache类型，不同的SSD卡发挥的性能规格不一样，选择原则如下：Cache容量与主存容量的比例不低于1:10；Cache介质的性能越高越好；容量越大越好；具体情况请根据性价比进行选择；项目ES3000 PCIE SSD卡规格容量400GB800GB1.2TB2.4TB总线接口PCIe 2.0 x8PCIe 2.0 x8PCIe 2.0 x8PCIe 2.0 x8最大读带宽1.1 GB/s2.2 GB/s3.2 GB/s3.2 GB/s读IOPS (稳定值，4KB，100%随机)280,000570,000760,000760,000最小读

22、延时49 s49 s49 s49 s最大写带宽650 MB/s1.2 GB/s1.8 GB/s2.8 GB/s写IOPS (稳定值，4KB，100%随机)60,000120,000180,000240,000最小写延时8 s8 s8 s8 s混合IOPS (稳定值，4KB，R/W:7/3)110,000 (R/W: 80,000/30,000)260,000 (R/W: 180,000/80,000)400,000 (R/W: 280,000/120,000)430,000 (R/W: 300,000/130,000)CPU选型存储节点的CPU建议参考配置为E5-2620 V2，然后参考如下：

23、基于性价比考虑，分离部署方案的存储节点的CPU配置1路即可满足性能要求；POC项目建议配置核数及主频更高的CPU，例如E5-2680 V2；不建议选择E5-2609V1/V2（原则是总核数大于等于12，并且单核SPEC值越高越好）；计算节点（ESXi）建议配置CPU核数及主频越高越好；具体RH2288H服务器下E5-2600 V2系列CPU的信息如下，供参考：类型SPEC 总核数CPU路数每路CPU核数Huawei RH2288 V2 (Intel Xeon E5-2620 v2)4341226Huawei RH2288 V2 (Intel Xeon E5-2630 V2)5131226Hua

24、wei RH2288 V2 (Intel Xeon E5-2640 v2)5401628Huawei RH2288 V2 (Intel Xeon E5-2650 v2)6871628Huawei RH2288 V2 (Intel Xeon E5-2660 V2)74820210Huawei RH2288 V2 (Intel Xeon E5-2670 v2)81620210Huawei RH2288 V2 (Intel Xeon E5-2680 V2)85820210Huawei RH2288 V2 (Intel Xeon E5-2690 v2)90020210Huawei RH2288 V2

25、(Intel Xeon E5-2697 v2)97224212单核SPEC= SPEC/总核数SPEC性能值可以参考： HYPERLINK / /CPU价格查询官网： HYPERLINK /safecheck/index?url=x+Z5mMbGPAvWM9tiU3iIAJ19bBqeqGz9d6L1oNtulrVXA0s2Xrunl6mxpsSTpJODtZbv9oeu/Eh5MEENdI9RAtc1QsNK0pQS9AXkaF+qW9UwVAzIiCQ2YU4e0VrLLlwDxiKTdAEroJCbCjXpVbbvTmXhHlLL2mXex6jeKkZxZylCpVkSUaJyP4n0Z

26、03HX5TKus5kk2Z6rh5ma9VsMvkZR7wxjBB80+vNP/n1mEVeabiq+zBgjyYjUrEEZrsmQMUTSq9yU58hHrnAeOWPdkyNulVyYM9XQbglDdCVu6Yz01UwPGbuJnYGNA= t _blank /search/advanced/?s=t&FamilyText=Intel%C2%AE%20Xeon%C2%AE%20Processor%20E5%20Family&LithographyValueMin=22主存类型建议优先选择性价比较高的SAS盘，如果以容量为主，再考虑大容量的SATA盘；内存建议选择主流发货的RDIMM

27、即可，当前16GB RDIMM为主流发货。最低要求存储节点配置4根内存，内存的最佳插法请参考硬件提供的建议。每个内存通道的内存不能满插，请保留每个通道的第三个槽位，否则内存可能存在降频的情况；网络类型存储平面至少不低于10GE的网络带宽；BIOS配置通过在BIOS中设置一些高级选项，可以有效提升虚拟化平台性能。下面表格给出常见性能相关的BIOS配置项的配置建议。不同的硬件之间BIOS配置会有些区别。BIOS配置项配置值配置项说明NUMA SupportEnabledNUMA特性开关选项Hardware PrefetcherEnabled硬件预取选项（CPU先行提取下一段指令以提高系统效能）Ad

28、jacent Cache Line PrefetchEnabled预读取邻近的缓存数据.Intel(R) HT TechnologyEnabledIntel超线程技术开关选项Intel(R) virtualization TechEnabledIntel虚拟化技术开关选项Intel(R) Speedstep techEnabledIntel SpeedStep技术，打开可支持超频运行Intel(R) TurboMode techEnabledIntel涡轮加速模式开关用选项Intel(R) C-STATE techDisabledIntel C-State省电功能开关选项Intel VT-dE

29、nabledIntel VT-d技术支持设备直通VT SupportEnabledIntel VT技术存储网络规划可靠性设计设计FusionStorage网络时，要保证链路冗余、交换机冗余，避免单点故障。带宽设计设计FusionStorage网络，应根据应用系统的带宽需求进行配置，并给ESXi集群配置足够多的物理通道，保证前端链路不成为性能瓶颈。由于FusionStorage是一个分布式系统，存储节点间的网络带宽要求也很高，因此当存储节点需要跨柜部署时，跨交换机之间的网络带宽也需要保证不能成为性能瓶颈；负载均衡设计设计FusionStorage网络，应保证链路负载均衡，推荐做法是存储网络配置为

30、负载均衡模式，从而保证传输通道的负载均衡，以达到性能最佳，交换机配置端口聚合，其中负载均衡模式选择默认值src-dst-ip，参考如下图： VMware平台性能最佳配置VMware iSCSIiSCSI init参数配置通过实验室验证，VMware下iSCSI init端的参数默认配置参数下性能已达到最优，建议按照默认值即可，无需修改。参数参数功能描述推荐配置头摘要增加数据完整性。启用头摘要后，系统会对每个 iSCSI 协议数据单元(PDU) 的头部计算校验和，并使用 CRC32C 算法进行验证。默认值数据摘要增加数据完整性。启用数据摘要后，系统会对每个 PDU 的数据部分计算校验和，并使用

31、CRC32C 算法进行验证。注意 使用 Intel Nehalem 处理器的系统会清除软件 iSCSI 的 iSCSI 摘要计算，因此可以减少对性能的影响。默认值最大未完成 R2T 数定义在收到确认 PDU 前可转换的 R2T（即将传输）PDU默认值初次突发长度S指定在执行单个 SCSI 命令期间 iSCSI 启动器可以发送到目标的未经请求的数据的最大数量，以字节为单位。默认值最大突发长度传入数据或请求的传出数据 iSCSI 序列中的最大 SCSI 数据负载，以字节为单位。默认值最大接收数据段长度在 iSCSI PDU 中可以接收的最大数据段长度，以字节为单位。默认值会话恢复超时指定执行会话恢

32、复的时间限制（秒）。如果该超时时间超过限值，则iSCSI 启动器将终止会话。默认值无操作时间间隔指定在从 iSCSI 启动器发送到 iSCSI 目标的 NOP-Out 请求之间的时间间隔（秒）。NOP-Out 请求充当验证 iSCSI 启动器和 iSCSI 目标之间的连接是否处于活动状态的 ping 机制。默认值无操作超时指定主机收到 NOP-In 消息之前的时间限制（秒）。该消息由 iSCSI目标发出，以响应 NOP-Out 请求。无操作超时时间超过限值时，启动器将终止当前会话并启动新的会话。默认值ARP 重定向允许存储系统将 iSCSI 流量从一个端口动态移动到另一个端口。ARP对执行基于

33、阵列的故障切换的存储系统是必需的。默认值延迟的 ACK允许系统对接收的数据包进行延迟确认。默认值（勾选）网络配置调优网络规划ESX i主机上有针对每个网络端口的流控设置，建议关闭iSCSI及存储平面的流控功能，将存储设备的性能发挥到最大；推荐在CVM中将存储平面和iSCSI平面分配不同的网卡及端口组，减少互相的影响；如果条件允许，建议存储平面与业务管理平面的物理网络隔离，存储平面使用独立的物理网口，并且建议配置2*10GE，策略选择 src-ip的负载均衡模式，从而可以获取更高的性能；配置网络巨帧由于网络巨型帧需要端到端的支持，建议在新组建的网络环境或存储与业务隔离互不干扰的场景下，通过配置巨

34、型帧来提供网络收发包的性能，从而提高FusionStorage的存储性能。经过实验室验证，VMware+FusionStorage配置MTU为9000后，性能可以获得5%10%的提升，特别在大块IO处理时可以获得更好的性能；由于巨型帧的需要端到端的支持，请检查网络链路中的所有环境包括网卡、交换机都支持，并且配置默认MTU为9000；ESXi主机侧需要配置vSwitch、iSCSI链路，以及存储节点及CVM中存储平面及iSCSI平面的MTU值。iSCSI多路径由于ESXi主机上，CVM的iSCSI链路只通过一个10GE网卡进行通信，单个节点的带宽很容易成为瓶颈，可以通过在一个ESXi主机上部署两

35、个CVM，然后再ESXi的iSCSI适配器上配置多路径，多路径使用轮询方式，从而可以提升单节点读写的带宽性能。经过实验室验证，通过配置多路径后，单节点带宽可以提升30%左右；但在小块随机场景下IOPS下降10%左右，具体请根据实际业务场景进行选择配置。IO队列深度调优ESXi主机上每个LUN都有单独的队列深度，当只有1个虚拟卷时，队列深度为128，当有2个或以上的虚拟卷时，队列深度为32（默认值）；建议每个ESXi主机上每个LUN部署多个虚拟机的场景下调整FusionStorage的LUN的队列深度调整为128，vSphere 5.5修改方法如下：1）Open an SSH session t

36、o the host. For more information;2）To check the current value for a device,run the command:esxcli storage core device list -d naa.xxx3）To modify the current value for a device,run the commandesxcli storage core device set -d naa.xxx -O 128每个SCSI控制器也有I/O队列深度限制，如果给一个VM创建多个虚拟硬盘，使用多个SCSI控制器，可以有效提升单个虚拟机的

37、性能；VMFS和RDMVMFS使得存储管理变得很方便，VMFS具有清晰的目录层次和友好的命名方式，并且可以方便地进行存储空间的扩容。VMFS允许多个虚拟机共享存储空间，提升了资源的利用率。通过VMFS，用户可以创建较少的大容量LUN，分配给很多虚拟机使用，而使用RDM的话，需要创建数据众多的小容量LUN，带来更多管理上的开销和容量配置的不便。VMFSVMFS-5对比VMFS-3：实验室验证对比存储IO性能，两者性能无差异，但VMware官方网站提到VMFS-5提高了可扩展性和性能，因此建议在VMFS-5支持的环境上使用VMFS-5； VMFS配置建议：VMFS卷最大可以支持到64TB，由于Fu

38、sionStorage是分布式存储系统，系统压力均匀分布在各个存储节点上，从存储平面上看64T的LUN与2T的LUN性能一致，因此建议根据实际业务情况进行创建LUN的大小。 建议在创建VMFS卷时使用默认配置，并且使用LUN的所有空间，不建议一个LUN创建两个VMFS卷。 独占卷还是共享卷：一个VMFS卷分配给多少个虚拟机使用，不同应用的虚拟机该如何分配VMFS卷，可能是ESXi配置人员最关心的问题。我们应从多个方面考虑，到底是使用多个虚拟机共享一个大的VMFS卷还是每个虚拟机独自拥有较小的VMFS卷，下表列出了两种方式的优劣，配置时应平衡管理成本、性能、可扩展性等因素，选择合适的方式。 独占

39、方式 共享方式 优势 响应时间快 适合高IO负载应用 方便管理 资源利用率高 便于精简配置 劣势 资源利用率较低 产生信息孤岛 管理成本较高 产生资源竞争 性能互相影响 会影响整体的性能 从应用的角度看为了达到最优性能，建议参考如下配置：创建独立的LUN存放所有VM启动盘，分离易产生Swap I/O的VM；将应用数据与用于数据恢复的日志、备份存放到不同的VMFS卷；对性能与响应时间要求高的应用，单独使用一个或多个VMFS卷；对性能与响应时间要求不高的应用，可共享VMFS卷；RDMVMFS和RDM两种方式在性能上没有太大差异。因此，除非上层应用有特别要求必须使用RDM模式才使用，否则优先选择VM

40、FS模式； 虚拟磁盘配置SCSI控制器VMware文档PVSCSI Storage Performance中描述了PVSCSI的性能优势，下图为PVSCSI与LSI硬件模拟两种方式下测试FC存储的CPIO对比，测试模型为随机IO，可以看到，不同块大小下，PVSCSI控制器对CPU的消耗相比LSI控制器降低了10%-30%。LSI Logic并行SCSI控制器不适合IO负载过高的业务，但它的兼容性最好，低负载业务的IO响应时间最小，适合绝大多数的OS虚拟盘使用。SCSI控制器选择建议： 1. 用作OS的虚拟硬盘使用”LSI Logic并行”控制器 2. 低IO负载VM使用“LSI Logic并行

41、”或者“LSI Logic SAS”控制器 3. 高IO负载VM使用PVSCSI控制器说明：PVSCSI支持的OS类型请参考VMware的官方网站说明； HYPERLINK /selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1010398 /selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1010398虚拟磁盘置备策略VMware+FusionStorage场景下，磁盘类型建议选择厚置备置零模式，以达

42、到存储IO性能最优；另外需要注意以下事项：1、选择厚置备置零模式后，磁盘有效数据等于磁盘的容量，在做虚拟机卷迁移或者卷拷贝等操作时，有效数据量请参考磁盘容量进行计算；2、厚置备延迟置零模式下初始写性能较差，在不考虑初始写的场景下，也可以选择厚置备延迟置零；存储IO性能测试及分析概述本节主要讲述在VMware+FusionStorage场景下，通过前面的配置和调优，进行存储IO性能测试，并分析测试结果。硬件组网及配置组网：配置：服务器类型配置说明RH2288HV2_01ESXi01600G SAS*2；48G内存；2*Intel(R) Xeon(R) CPU E5-2680，SSD 800G计算

43、节点RH2288 H V2 _02ESXi02600G SAS*2；48G内存；2*Intel(R) Xeon(R) CPU E5-2680，SSD 800G计算节点RH2288 H V2 _03ESXi03600G SAS*2；48G内存；2*Intel(R) Xeon(R) CPU E5-2680，SSD 800G计算节点RH2288 H V2_04ESXi04600G SAS*2；48G内存；2*Intel(R) Xeon(R) CPU E5-2680，SSD 800G计算节点RH2288 H V2 _05存储节点2T SATA*12；48G内存；1*Intel(R) Xeon(R) C

44、PU E5-2620 V2，SSD 800G存储节点RH2288 H V2 _06存储节点2T SATA*12；48G内存；1*Intel(R) Xeon(R) CPU E5-2620 V2，SSD 800G存储节点RH2288 H V2 _07存储节点2T SATA*12；48G内存；1*Intel(R) Xeon(R) CPU E5-2620 V2，SSD 800G存储节点RH2288 H V2 _08存储节点2T SATA*12；48G内存；1*Intel(R) Xeon(R) CPU E5-2620 V2，SSD 800G存储节点VMware+FusionStorage配置类别配置说明FusionStorage每个服务器配置：Cache：1*800G PCIE卡；主存：12*2T SATA盘；副本数：3副本网络：2*10GE，负荷分担网络配置负荷分担，模式为src-dst-ip（默认值）VMware网络：2*10GE，负荷分担；MTU：9000LUN队列深度：128LUN大小：10T其他：VMFS5，使用PVS