VMware Virtual SAN Vsan 设计和优化指南

1、VirtualVirtuaSlASNA设N计6.和0 设优化计和指南优化指南VMware 存 储 与 可 用性 文档 / 1VMware Virtual SAN 6.0设计和优化指南Cormac Hogan存储与可用性业务部门VMw are版本 1.0.5/2015 年 4 月Virtual SAN 6.0 设计和优化指南目录简介5Health Services5Virtual SAN Ready Node6VMware EVO:RAIL6Virtual SAN 设计概览7严格遵守“兼容性指南 (VCG)”7硬件、驱动程序和固件7使用受支持的 vSphere 软件版本7平衡配置8Virtual

2、 SAN 群集的生命周期8根据容量、维护和可用性要求优化调整9设计概览注意事项摘要9混合配置和全闪存配置的区别10全闪存配置注意事项10Virtual SAN 限制11所需的 ESXi 主机最少数量11允许的 ESXi 主机最大数量11允许的虚拟机最大数量11受 vSphere HA 保护的虚拟机最大数量12磁盘、磁盘组和闪存设备最大数量12组件最大值13虚拟机存储策略最大值13VMDK 最大大小14设计限制注意事项摘要14网络设计注意事项15网络互连 - 1Gb/10Gb15全闪存带宽要求15使用 NIC 成组实现冗余15MTU 和巨型帧注意事项16多播注意事项16通过 Network I/

3、O Control 实现网络 QoS16网络设计注意事项摘要17Virtual SAN 网络设计指南17存储设计注意事项18磁盘组18缓存优化调整概览18Virtual SAN 中的闪存设备18读取缓存的用途19写入缓存的用途19PCIe 闪存设备与固态驱动器 (SSD) 的比较19闪存持久性注意事项20使用全闪存配置时的闪存容量优化调整21使用混合配置时的闪存缓存优化调整21实际示例 - 混合配置22使用全闪存配置时的闪存缓存优化调整23实际示例 - 全闪存配置23纵向扩展容量，确保充足的缓存24磁盘24VMware 存储与可用性文档 / 70Virtual SAN 6.0 设计和优化指南磁

4、盘性能 - NL SAS、SAS 或 SATA25磁盘容量 - NL-SAS、SAS 或 SATA25磁盘性能 - RPM26磁盘数量在混合配置中至关重要26使用不同的磁盘型号/类型提供容量26我需要多少容量？27我应当预留多少空间裕量？28格式化开销注意事项28快照缓存优化调整注意事项29选择存储 I/O 控制器29多个控制器和 SAS 扩展器29多控制器与单控制器比较30存储控制器队列深度30RAID-0 与直通比较30存储控制器缓存注意事项31高级控制器功能31磁盘组设计31将磁盘组用作存储故障域31多磁盘组和 3 节点群集32磁盘驱动器容量较小时的注意事项32VMDK 非常大时的注意事

5、项32磁盘更换/升级所需容量设计33磁盘更换/升级人机工程学33设计时要避免耗尽容量34存储设计注意事项摘要34虚拟机存储策略设计注意事项35对象与组件35见证组件与副本36虚拟机快照注意事项36从 UI 查看对象布局37策略设计方案38每对象/条带宽度的磁盘条带数38条带宽度 - 优化调整注意事项38闪存读取缓存预留38闪存读取缓存预留 - 优化调整注意事项39闪存读取缓存预留配置示例39允许故障数40允许故障数优化调整注意事项40强制置备40对象空间预留41策略设计注意事项摘要43虚拟机命名空间和交换注意事项43虚拟机主页命名空间43虚拟机交换44为快照创建的增量磁盘45快照内存45动态更

6、改虚拟机存储策略45使用无法实施的策略进行置备46使用默认策略进行置备46主机设计注意事项47CPU 注意事项47Virtual SAN 6.0 设计和优化指南内存注意事项47主机存储要求47引导设备注意事项48纯计算主机注意事项48维护模式注意事项49刀片系统注意事项49外部存储机箱注意事项50处理器电源管理注意事项50群集设计注意事项513 节点配置51vSphere HA 注意事项51故障域52确定工作负载是否适合 Virtual SAN55使用 vscsiStats 对 Virtual SAN 优化调整55使用 View Planner 对 Virtual SAN 优化调整58VMwa

7、re Infrastructure Planner - VIP58设计与优化调整示例59容量优化调整示例 I59CPU 配置60内存配置60存储配置61组件数62容量优化调整示例 II62CPU 配置64内存配置64存储配置 - 方案 164存储配置 - 方案 265组件数67服务器选择68总结69更多信息70VMware 兼容性指南70vSphere 社区页面70重要博客70现有文档链接70VMware 支持70延伸阅读70Virtual SAN 6.0 设计和优化指南简介VMware Virtual SAN 是一个软件定义的存储平台，它聚合了虚拟化管理程序， 并与 VMware vSphe

8、re 全面集成。Virtual SAN 将 vSphere 群集中各主机的本地 连接磁盘聚合起来，创建了一个分布式共享存储解决方案。在创建和部署虚拟机的 过程中，Virtual SAN 可在 VMware vCenter 中快速置备存储。Virtual SAN 是第 一个专为 vSphere 环境设计的策略驱动型存储产品，可以简化存储置备和管理工 作。使用虚拟机级别存储策略时，Virtual SAN 会自动将要求与基础存储资源加以 动态匹配。通过 Virtual SAN，许多手动执行的存储任务可以实现自动化，从而提 供一种更高效、更经济的运维模式。Virtual SAN 6.0 提供两种不同的

9、配置方案：混合配置（利用基于闪存的设备和磁盘） 和全闪存配置。混合配置使用基于服务器的闪存设备提供缓存层，以获得最佳性能， 同时使用磁盘提供容量和持久数据存储。如此配置可以提供企业级性能和弹性存储 平台。全闪存配置使用闪存提供缓存层和容量层。挑选主机型号、存储控制器以及闪存设备和磁盘时有众多方案可供选择。因此，为 Virtual SAN 设计挑选硬件组件时，严格遵守“VMware 兼容性指南 (VCG)”极其 重要。本文旨在帮助管理员正确设计 Virtual SAN 群集并优化调整，解答有关主机数量、 闪存设备数量、磁盘数量的常见问题，并回答详细配置问题，帮助您成功部署 Virtual SAN

10、。Health ServicesVirtual SAN 6.0 附带 Health Services 插件。此功能可以检查 Virtual SAN 方方面 面的运行状况，并洞察许多潜在问题的根源。部署 Virtual SAN 时，建议同时部署 Virtual SAN Health Services。检测到问题后，Health Services 会突出显示问题， 并引导管理员参照相应的 VMware 知识库文章解决问题。请参考Virtual SAN Health Services 指南，了解关于如何获得 Health Services 组件、如何安装组件以及如何使用此功能验证 Virtual S

11、AN 部署和解决常见 Virtual SAN 问题的更多信息。Virtual SAN 6.0 设计和优化指南Virtual SAN Ready NodeVirtual SAN 群集有两种构建方式：使用认证组件自行构建 从 Virtual SAN Ready Node 列表中选择Virtual SAN Ready Node 是经过验证的服务器配置，其中的硬件设备均针对 Virtual SAN 部署进行了测试和认证，属于服务器 OEM 和 VMware 共同推荐的产品。 Virtual SAN Ready Node 是理想的超融合构建块，适用于寻求自动化和需要自定义 硬件与软件配置的大型数据中心环

12、境。Virtual SAN Ready Node 文档会提供标准化配置示例，包括支持的虚拟机数量以 及预计可提供的 4K IOPS 数量。关于 Virtual SAN Ready Node 的更多详细信息， 请访问：VMware EVO:RAIL客户还可以选择 VMware EVO:RAIL。EVO:RAIL 将 VMware 计算、网络和存储 资源合并成一个超融合基础架构设备，从而打造一个由我们的合作伙伴提供的简单、 易于部署的一体化解决方案。EVO:RAIL 软件可以完全加载到合作伙伴的硬件设备 中，并附带 VMware Virtual SAN。关于 EVO:RAIL 的更多详细信息，请访

13、问：Virtual SAN 6.0 设计和优化指南Virtual SAN 设计概览在介绍 Virtual SAN 设计和优化调整的具体细节之前，我们先概要说明一些注意 事项。严格遵守“兼容性指南 (VCG)”严格遵守适用于 Virtual SAN 的 vSphere 兼容性指南 (VCG) 非常重要。我们对大量 支持请求进行分析后发现，相关问题归根结底是因为没有遵守这些非常具体的建议 所导致的。此在线工具定期更新，确保客户始终可以从 VMware 获得最新指导。始 终要确认用于 Virtual SAN 部署的硬件组件是否受 VMware 支持。硬件、驱动程序和固件VCG 针对存储 I/O 控制

14、器、固态驱动器 (SSD)、PCIe 闪存卡和磁盘驱动器的硬件 型号提供了非常具体的建议。它还说明了哪些驱动程序已使用 Virtual SAN 进行了 充分测试，而且在许多情况下，它会说明所需的最低固件级别。确保硬件组件拥有 这些固件级别，以及确保设计中的 ESXi 主机上安装的任何相关驱动程序拥有受支 持的最新驱动程序版本。使用受支持的 vSphere 软件版本尽管 VMware 支持使用 vSphere 6.0 和 vSphere 5.5 的各种版本（U2 和 U1）运 行 Virtual SAN，但我们始终建议运行最新版本的 vSphere 软件（无论在 ESXi 还 是在 vCente

15、r Server 上都是如此）。尤其是，vSphere 5.5U2b 包括许多针对 Virtual SAN 的改进功能。VMware 不支持将 Virtual SAN 的 BETA 版升级到 GA 版。在这种情况下，需要全新 部署 Virtual SAN，即全新部署 vSphere 5.5U1、5.5U2 等。如果正在使用 Virtual SAN 的 Beta 版，而且现在希望使用该产品的 GA 版，请不要尝试从 5.5 升级到 5.5U1 或 5.5U2。VMware 会不断修复客户遇到的问题，因此，通过使用最新版本的软件，客户能够 避免遇到已经修复的问题。Virtual SAN 6.0 设

16、计和优化指南平衡配置作为一项最佳做法，VMware 建议在所有群集成员之间，部署具有类似或相同配置（包括类似或相同的存储配置）的 ESXi 主机。这将确保在磁盘和主机群集之间平 衡虚拟机存储组件。在同一 vSphere 群集中，尽管不贡献存储的主机依然能够利用 Virtual SAN 数据存储，但是，如果遇到问题，则可能需要开展额外的支持工作。因此，VMware 建议采用平衡配置。最佳做法：为 Virtual SAN 群集使用具有类似配置和大小的 ESXi 主机。Virtual SAN 群集的生命周期Virtual SAN 为客户提供的存储解决方案既可通过为 ESXi 主机添加全新或更大的磁

17、盘轻松实现纵向扩展，也可通过向群集添加全新主机轻松实现横向扩展。这使得客 户能够在一开始时使用非常小的环境，然后随着时间的推移，通过添加新主机和更 多磁盘，轻松实现扩展。然而，无论是使用混合解决方案还是全闪存解决方案，扩展时都需要为工作负载提 供足够的缓存及容量，这一点十分重要。本指南会深入讨论这一注意事项。具体而 言，在设计时应当考虑选择拥有附加磁盘插槽，可提供附加容量，以及便于将附加 设备安装到这些插槽中的主机。为 Virtual SAN 选择硬件时，始终要记住，无论是混合配置还是全闪存配置，添加 容量通常都比向缓存层添加更大的闪存设备容易得多。添加额外容量可能会非常简单，也就是在维护现有

18、容量的同时，插入新的磁盘驱动 器或闪存容量设备。然而，更新闪存缓存层时，除非添加全新的磁盘组，否则就需 要使用新闪存设备替代以前的闪存设备。这是因为每个磁盘组只有一个闪存设备。 如果在添加额外闪存的同时添加额外容量，那么纵向扩展 Virtual SAN 十分轻松。 如果不添加新容量，只添加额外闪存缓存，就会涉及到开展较为复杂的维护任务， 并可能需要从更新、更大的闪存缓存设备要加入的目标磁盘组撤出所有数据。如果 设计 Virtual SAN 时考虑未来缓存增长需求，换句话说，初始设计包含的闪存缓存 超过实际需求，则可以避免该问题。最佳做法：设计时考虑未来增长需求Virtual SAN 6.0 设

19、计和优化指南根据容量、维护和可用性要求优化调整Virtual SAN 所需的最低配置为 3 个 ESXi 主机。然而，这个最小的环境面临着许 多重要限制。在 Virtual SAN 中，如果发生故障，系统会尝试在剩余群集上重新构 建故障设备或主机的任何虚拟机组件。在 3 节点群集中，如果一个节点发生故障， 则无处可以重新构建故障组件。将主机置于维护模式时也是如此。维护模式中有一 个选项可以从主机撤出所有数据。然而，这仅在群集中有 4 个或更多节点并且有充 足的备用容量时可行。此外还要考虑容量层大小。因为部署在 Virtual SAN 上的虚拟机由策略驱动，而且 其中一个策略设置 (Number

20、OfFailuresToTolerate) 将创建虚拟机数据的镜像副本， 所以需要考虑允许一个或更多故障时需要多少容量。稍后将更加详细地讨论该设计 注意事项。设计方案：4 节点或更多节点配置可以比 3 节点配置提供更多的可用性选项。 确保有充足的存储容量满足可用性要求，并允许在故障之后重新构建组件。设计概览注意事项摘要查阅“VMware 兼容性指南 (VCG)”，确保设计中使用的所有硬件都受支持查阅 VCG，确保设计中使用的所有软件、驱动程序和固件版本都受支持确保在执行新部署时使用最新级别的 vSphere 修补程序/更新，并考虑将现 有部署更新到最新修补程序版本，以解决已修复的已知问题设计时

21、考虑可用性要求。设计时考虑使用三个以上主机和额外容量，使群集 在发生故障时能够自动修复设计时考虑增长要求。初始部署时，考虑让群集中的容量能够满足未来虚拟 机部署要求，且具有足够的闪存缓存支持未来容量增长要求Virtual SAN 6.0 设计和优化指南混合配置和全闪存配置的区别在 Virtual SAN 6.0 中，VMware 引入了对全闪存 Virtual SAN 配置的支持。全闪存 版本与混合版本之间存在一些明显区别。本节将简单介绍这些区别。与混合配置相比，使用全闪存 Virtual SAN 配置时，无论工作负载如何，它都可以 带来更好、高度可预测的统一性能。混合群集和全闪存群集都建议将

22、“10% 的已占用容量”用于缓存层；然而，缓存 在每个配置中的使用方式不同。在混合群集中（容量层使用磁盘，缓存层使用闪存），缓存算法会尝试最大限度提 高读写性能。可用缓存中有 70% 分配用于存储频繁读取的磁盘块，从而最大限度减少对速度缓慢的磁盘的访问。可用缓存中有 30% 分配用于执行写入操作。如果 可行，系统会合并多个写操作，并按顺序写入，从而再次最大限度提高磁盘性能。全闪存群集有两种闪存：既快速又耐用的写入缓存和容量更大、更经济高效的容量 闪存。在此配置中，100% 的缓存都分配给写入操作，因为容量闪存提供的读取性 能绰绰有余。大量写入操作保存在缓存中，仅在需要时写入容量层，从而延长容量

23、 闪存层的寿命。最佳做法：确保有足够的闪存缓存满足设计要求。建议将 10% 的已占用容量分配 给缓存全闪存配置注意事项全闪存仅在 Virtual SAN 6.0 中可用它要求使用 10Gb 网络；不支持 1Gb NIC全闪存节点的最大数量为 64 个闪存设备同时用于缓存和容量使用全闪存配置时，不会预留闪存读取缓存需要标记闪存设备，使其能够用于容量 这将在Virtual SAN 管理员指 南中介绍现在，持久性成为缓存层和容量层的重要考虑事项。Virtual SAN 6.0 设计和优化指南Virtual SAN 限制设计 Virtual SAN 群集时，必须考虑 Virtual SAN 限制。所需

24、的 ESXi 主机最少数量Virtual SAN 群集中至少要有 3 个 ESXi 主机。5.5 和 6.0 版本都是如此。尽管 Virtual SAN 完全支持 3 节点配置，但它们的行为方式不同于有着 4 节点或更多节 点的配置。具体而言，发生故障时，Virtual SAN 无法在群集中的其他主机上重新 构建组件来允许另一次故障。同样，在 3 节点配置下，Virtual SAN 不能在维护期 间从节点迁移所有数据。设计方案：4 节点群集可以提供更高的灵活性。如果可行，请考虑至少使用 4 个节 点设计群集。允许的 ESXi 主机最大数量对于混合配置，在版本 6.0 中，支持每 Virtual

25、 SAN 群集最多使用 64 个 ESXi 主机。 对于 Virtual SAN 5.5，支持每 Virtual SAN 群集最多使用 32 个 ESXi 主机。要运行 64 个节点，必须设定某些高级设置。请参考 VMware 知识库文章 2110081。允许的虚拟机最大数量在版本 6.0 中，Virtual SAN 6.0 最多支持每 ESXi 主机使用 200 个虚拟机，每群集最 多使用 6,400 个虚拟机。在版本 5.5 中，每 ESXi 主机最多使用 100 个虚拟机，因此 在 32 主机 Virtual SAN 群集中，最多支持 3,200 个虚拟机。当然，可用计算资源也 会限制实

26、际可部署的虚拟机数量。本指南稍后讲述设计和优化调整示例时，将详细 讨论此注意事项。设计方案：如果设计目标是部署一定数量的虚拟机，请确保群集中有足够的 ESXi主机支持设计。Virtual SAN 6.0 设计和优化指南受 vSphere HA 保护的虚拟机最大数量在 vSphere 5.5 中，vSphere HA 在同一数据存储上最多可以保护 2,048 个虚拟机。 由于 Virtual SAN 只有一个数据存储，这意味着vSphere HA 最多可以为每个 Virtual SAN 群集保护 2,048 个虚拟机。因此，在启用 vSphere HA 的 Virtual SAN 群集中， 如果

27、虚拟机超过 2,048 个，vSphere HA 将无法保护所有这些虚拟机。此限制在 vSphere 6.0 中已解除，vSphere HA 现在可以保护部署在群集上的所有虚拟机， 最多可达 6,400 个。最佳做法：在 Virtual SAN 群集上启用 vSphere HA，以提供最高级别的可用性。磁盘、磁盘组和闪存设备最大数量磁盘组是通过将本地连接存储设备聚合起来创建的管理构造。在混合配置中，磁盘 组是单个基于闪存的设备与多个磁盘设备的组合，前者提供缓存和性能，后者提供 容量。在混合配置上创建磁盘组要求指派单个基于闪存的设备和一个或多个磁盘。在全闪存配置中，磁盘组是具有两种用途的闪存设备

28、的组合。首先，单个基于闪存 的设备用于提供缓存和性能，其次，多个额外闪存设备用于提供容量。这里需要执 行一个额外步骤，也就是将用于容量层的闪存设备特别标记为容量闪存设备。在全 闪存配置上创建磁盘组时，要求指派单个基于闪存的设备用于缓存（1 级设备）， 并指派一个或多个额外闪存设备用于容量层。注意：Virtual SAN 不支持在同一群集中混合使用全闪存磁盘组和混合磁盘组。混 合使用不同类型磁盘组会导致性能不稳定。加入 Virtual SAN 群集的 ESXi 主机上最多有 5 个磁盘组（闪存缓存设备 + 容量设 备）。闪存缓存设备可以是 PCIe 闪存设备或固态磁盘 (SSD)。容量设备可以是

29、混 合配置中的磁盘或全闪存配置中的闪存设备。闪存缓存设备专门用于单个磁盘组： 不能与其他磁盘组共享，也不能共享用于其他用途。在混合配置中，每磁盘组最多有 7 个磁盘用于容量层，每磁盘组最多有 1 个闪存设 备用于缓存层。在全闪存配置中，每磁盘组最多有 7 个闪存设备用于闪存容量层，每磁盘组最多有1 个闪存设备用于缓存层。根据这些最大值进行推断可知，每 ESXi 主机总共有 35 个设备用于容量层，每主 机最多有 5 个设备（PCIe 或 SSD）用于缓存层。Virtual SAN 6.0 设计和优化指南组件最大值部署在 Virtual SAN 上的虚拟机由一组对象组成。例如，VMDK 是对象，

30、快照是对 象，虚拟机交换空间是对象，虚拟机主页命名空间（.vmx 文件、日志文件等内容 的存储位置）也是对象。每个对象都由一套组件构成，这些组件由虚拟机存储策略 中的功能决定。例如，如果使用允许一次故障的策略部署虚拟机，那么对象将由两 个副本组件构成。如果策略包含条带宽度，对象将在容量层中跨多个设备进行条带 化。每个条带都是对象的一个组件。稍后，本指南将更加详细地讨论对象和组件的 概念，但总而言之，在 Virtual SAN 5.5 中，每 ESXi 主机最多有 3,000 个组件，在 Virtual SAN 6.0（采用磁盘上格式 v2）中，上限为每主机 9,000 个组件。从 5.5 升

31、级到 6.0 时，磁盘上格式也需要从 v1 升级到 v2，以获得最多 9,000 个组件的支持。Virtual SAN 管理员指南介绍了升级过程。虚拟机存储策略最大值每对象的最大条带宽度为 12。默认情况下，最小条带宽度为 1。然而，如果不在策 略中设置任何条带宽度要求，Virtual SAN 可以决定对象可能需要跨多个磁盘进行 条带化。虽然具体原因会因情况而异，但通常是因为管理员请求创建的 VMDK 太 大，不适合放在单一物理驱动器上。此外，还应当注意，Virtual SAN 上的最大组 件大小为 255GB。对于超过 255GB 的对象，Virtual SAN 会自动将它们拆分为多 个组件

32、。因此，如果管理员部署 2TB VMDK，则可能会在同一 RAID-0 条带配置中 看到 8 个或更多组件构成 VMDK 对象。设计方案：确保容量层中有充足的物理设备满足所需的条带宽度要求。 对象可以允许的最大故障数为 3。默认情况下，系统使用 NumberOfFailuresToTolerate为 1 的设置部署虚拟机。此策略设置决定了部署在Virtual SAN 上的对象拷贝/副本数。要允许“n”个故障，群集中需要有“2n + 1”个主机。如果设计方案包括故障域，那 么群集中需要有“2n + 1”个故障域，才能在 Virtual SAN 群集中允许“n”个故障。设计方案：确保群集中有充足的

33、主机（和故障域）满足所需的NumberOfFailuresToTolerate 要求。Virtual SAN 6.0 设计和优化指南另一个策略设置是 FlashReadCacheReservation，但它仅适用于混合配置。全闪 存配置上没有读取缓存。FlashReadCacheReservation 的最大值为 100%，意味着 将根据虚拟机 VMDK 大小预留匹配的缓存。与 FlashReadCacheReservation 相关 的设计注意事项将在虚拟机存储策略设计部分详细讨论。同时适用于混合配置和全闪存配置的 ObjectSpaceReservation 的最大值为 100%， 意味着

34、虚拟机的 VMDK 将按“厚置备”方式部署。与 ObjectSpaceReservation 相 关的设计注意事项将在虚拟机存储策略设计部分详细讨论。VMDK 最大大小在 Virtual SAN 6.0 中，支持的最大 VMDK 大小为 62TB。在 Virtual SAN 5.5 中， 最大 VMDK 大小限制为 2TB。正如在上一部分提到的，在 Virtual SAN 6.0 中，对象大小为 255GB 时即会进行条 带化。如果管理员部署的对象为 62 TB，将创建大约 500 个组件（假设默认策略为 NumberOfFailuresToTolerate = 1）。在 Virtual SA

35、N 上创建非常大的 VMDK 时， 需要考虑组件最大数量。设计限制注意事项摘要考虑在 Virtual SAN 群集上启用 vSphere HA，以提供最高级别的可用性。 在版本 6.0 中，vSphere HA 最多可以保护 6,400 个虚拟机。考虑允许故障时所需的主机（和故障域）数量。考虑实施条带宽度时容量层中所需的设备数量。部署非常大的虚拟机时，考虑组件数量。许多客户不太可能要求每主机部署多个 62TB VMDK。实际上，在 Virtual SAN 6.0 中，应该不需要担心组件数量。请记住，默认情况下，VMDK（甚至是 62TB VMDK）最初将采用精简置备， 因此，客户应当为未来容量

36、增长做好准备。Virtual SAN 6.0 设计和优化指南网络设计注意事项网络互连 1Gb/10GbVMware 支持将 1Gb 和 10Gb 网络接口卡 (NIC) 用于混合配置下的 Virtual SAN 网 络流量。如果使用 1Gb NIC，VMware 要求将此 NIC 专门用于 Virtual SAN 流量。 如果使用 10Gb NIC，此 NIC 可以与其他类型网络流量共享。尽管 VMware 成功在 1Gb 链路上运行了较小的混合 Virtual SAN 部署，但最佳做 法是使用 10Gb 链路。10Gb 链路不需要专门用于 Virtual SAN 流量；它们可以与 其他类型网

37、络流量共享，例如 vMotion。如果在多个类型流量之间共享 10Gb NIC， 则建议使用 Network I/O Control 阻止一种类型流量占用所有带宽。对于全闪存配置，由于网络流量有可能增加，VMware 建议仅将 10Gb NIC 用于Virtual SAN 网络流量。此 NIC 依然可以与其他类型流量共享。需要考虑 ESXi 主机之间有多少复制和通信流量（这直接关系到群集中的虚拟机数 量），每虚拟机有多少副本，以及虚拟机中运行的应用程序的 I/O 强度如何。全闪存带宽要求Virtual SAN 全闪存配置仅支持 10Gb 网络互连。原因之一是，全闪存配置提供的 更高性能可能会在

38、主机之间占用更多网络带宽，以获得更高的吞吐量。此外，即便 不是为了获得更高吞吐量，部署全闪存配置也可完美实现可预测的低延迟。 1Gb 网络连接不支持全闪存 Virtual SAN 配置。在版本 5.5 和 6.0 中，1Gb 网络连接继续支持混合配置。使用 NIC 成组实现冗余将接口成组聚合在一起时，Virtual SAN 网络流量不能跨多个网络接口进行负载平 衡。虽然可能会实现部分负载平衡，但 NIC 成组更应该被看作是提供一种使 Virtual SAN 流量网络“高度可用”的方式。如果一个适配器发生故障，另一个适 配器将接管通信。Virtual SAN 6.0 设计和优化指南MTU 和巨型

39、帧注意事项Virtual SAN 支持巨型帧。VMware 测试发现，使用巨型帧可以降低 CPU 利用率，增加吞吐量，然而，这两 项优势仅处于最低水平，因为 vShpere 已经使用 TCP 分段卸载 (TSO) 和大型接收 卸载 (LRO) 带来了类似的优势。在网络基础架构中已启用巨型帧的数据中心里，建议将巨型帧用于 Virtual SAN 部 署。否则，不建议使用巨型帧，因为在整个网络基础架构中配置巨型帧的操作成本 远远超出了有限的 CPU 和性能优势。设计注意事项：如果增益在很大程度上可以忽略不计时，请考虑在 Virtual SAN 环 境中引入巨型帧是否值得冒操作风险。多播注意事项多播

40、是 Virtual SAN 的网络要求。多播可用于发现参与群集的 ESXi 主机以及跟踪 群集中的变化。请务必确保在参与 Virtual SAN 群集的所有节点之间允许多播流量。多播性能也非常重要，因此，应当确保使用高质量的企业级交换机。如果将低端交 换机用于 Virtual SAN，应当明确测试交换机的多播性能，因为单播性能不能反映 多播性能。通过 Network I/O Control 实现网络 QoS服务质量 (QoS) 可以使用 Network I/O Control (NIOC) 实施。这将允许向 Virtual SAN 流量分配专用数量的网络带宽。使用共享机制时，通过使用 NIOC

41、，可以确保 没有其他流量影响 Virtual SAN 网络，反之亦然。然而，NIOC 要求使用 Distributed Switch (VDS)，而且此功能在标准交换机 (VSS) 上不可用。对于面向 Virtual SAN 的每个 vSphere 版本，VMware 都会在该版本中 提供 VDS。这意味着，无论部署哪个版本，都可以配置 NIOC。然而，Virtual SAN 同时支持 VDS 和 VSS。Virtual SAN 6.0 设计和优化指南网络设计注意事项摘要混合配置支持 1Gb 和 10Gb 网络全闪存配置要求使用 10Gb 网络为实现可用性/冗余，请考虑使用 NIC 成组考虑引

42、入巨型帧是否值得必须配置多播并且确保在所有主机之间可以使用 考虑使用具备 NIOC 的 VDS，在 Virtual SAN 流量上提供 QoSVirtual SAN 网络设计指南VMware Virtual SAN 网络设计指南介绍了设计方案、最佳做法和配置详情， 包括：vSphere 成组注意事项 - IP 哈希算法和其他成组算法的比较物理拓扑注意事项 叶脊（Spine/Leaf）拓扑与接入/汇聚/核心拓扑在 大型 Virtual SAN 群集中的影响面向高可用性的 Virtual SAN 网络设计 - 实现高度可用的 Virtual SAN 网络 的设计注意事项负载平衡注意事项 - 如何通

43、过多个物理上行链路，为 Virtual SAN 流量和 其他类型流量获得聚合带宽Virtual SAN 与其他类型流量 - 同时使用 Virtual SAN 和其他类型流量时， 使用 Network IO Control 的详细架构示例和测试结果本指南的延伸阅读部分提供了该指南的链接，强烈建议打开链接阅读该指南。Virtual SAN 6.0 设计和优化指南存储设计注意事项为 Virtual SAN 正确优化存储大小之前，需要先了解一些关键的 Virtual SAN 概念。 这对 Virtual SAN 的总体存储设计很有帮助。磁盘组磁盘组可看作是 Virtual SAN 上的存储容器；它们包

44、含一个闪存缓存设备和最多七 个容量设备（磁盘或在全闪存配置中用作容量层的闪存设备）。简单地讲，磁盘组 会指派一个缓存设备，为既定容量设备提供缓存。这会在一定程度上决定性能，因 为缓存容量比基于磁盘组配置。如果所需的缓存容量比非常高，可能要求每主机使用多个闪存设备。在这种情况下， 必须创建多个磁盘组来满足要求，因为每磁盘组受仅限一个闪存设备的配置限制。 不过，使用多个磁盘组和小型闪存设备有很多优势。它们通常可以提供更多的 IOPS，也可以减小故障域。缓存容量比越高，可供虚拟机提升性能的缓存就越多。但是，这会带来附加成本。 设计方案：单个大磁盘组配置或多个小磁盘组配置。缓存优化调整概览客户应当根据

45、虚拟机的活动工作集，确定 Virtual SAN 中的缓存大小要求。理想情 况下，缓存大小应当足以容纳工作负载中重复使用的块。我们将其称作活动工作集。 然而，获得工作负载的活动工作集并不容易，因为典型的工作负载会随时间而变， 这会导致工作集和关联的缓存要求也会发生变化。作为一个指导原则，VMware 建议 Virtual SAN 配置中闪存缓存至少是已占用容量 的 10%。此建议适用于混合和全闪存 Virtual SAN 配置。Virtual SAN 中的闪存设备在 Virtual SAN 混合配置中，闪存设备有两个用途：读取缓存和写入缓冲区。 在全闪存配置中，一个指定的闪存设备用于缓存，其他

46、闪存设备用于容量层。 两种配置都可以显著提高运行在 Virtual SAN 上的虚拟机的性能。Virtual SAN 6.0 设计和优化指南读取缓存的用途读取缓存仅适用于混合配置，它用来保存最近读取的磁盘块集合。这可以在缓存命 中时降低 I/O 读取延迟，也就是说，磁盘块可以从缓存获取，而不是从磁盘获取。对于既定的虚拟机数据块，Virtual SAN 始终从同一副本/镜像读取。然而，当有多 个副本（以允许故障）时，Virtual SAN 可以在副本拷贝之间平均分布数据块缓存。如果从第一个副本读取的块不在缓存中，则引用目录服务，查找块是否在群集中另 一个镜像（在另一个主机上）的缓存中。如果在那里

47、找到块，则从那里检索数据。 如果块不在另一个主机的缓存中，则表明读取缓存未命中。在这种情况下，系统直 接从磁盘检索数据。写入缓存的用途混合配置和全闪存配置上的写入缓存可用作非易失性写入缓冲区。这将大大提高混 合配置和全闪存配置的性能，还能延长全闪存配置中的闪存容量设备的寿命。向闪存写入时，Virtual SAN 可确保在群集中的其他地方写入数据副本。部署到 Virtual SAN 的所有虚拟机都有默认可用性策略设置，确保至少有一个附加虚拟机 数据副本可用。这包括确保将写入内容写入到群集的多个写入缓存中。写入操作由客户机操作系统中运行的应用程序发起后，写入内容将复制到包含存储 对象的副本拷贝的主

48、机上的写入缓存。这意味着在发生主机故障时，我们还有缓存内数据副本，从而不会丢失数据；虚拟 机可以重复使用复制的缓存副本以及复制的容量数据。PCIe 闪存设备与固态驱动器 (SSD) 的比较决定选择 PCIe 闪存设备而放弃固态磁盘时，有许多注意事项。注意事项分为三类： 成本、性能和容量。大部分固态磁盘使用 SATA 接口。即便在闪存速度越来越快的情况下，SSD 依然遵 循 SATA 的 6Gb/s 标准。相比之下，PCIe 或 Peripheral Component Interconnect Express 是一种用于主板扩展的物理互连。它可以为 PCIe 3.x 设备提供 16 个数据 传

49、输通道，每个方向上的每通道速度约为 1Gb/s。这将为使用所有 16 个通道的 PCIe 设备提供大约 32Gb/s 的总带宽。Virtual SAN 6.0 设计和优化指南另一个有用的性能注意事项是，使用 PC Ie 缓存设备可以减少存储控制器上的负载。 人们发现，这通常会改善性能。这条反馈来自许多闪存供应商，他们使用 PCIe 闪 存设备在 Virtual SAN 上做过性能测试。这种性能提升是有代价的。通常，PCIe 闪存设备的成本比固态磁盘更高。 写入持久性是另一个重要的注意事项；持久性越高，成本也越高。最后是容量注意事项。尽管固态磁盘会继续变大，但查阅 VCG 了解受支持的 Virt

50、ual SAN 闪存设备可以发现，在该指南编写时，最大的 SSD 为 2,000 GB，而 最大的 PCIe 闪存设备为 4,800 GB。优化调整大小时，确保有足够的 1 级闪存缓存与容量比（无论容量层是磁盘还是闪 存都是如此）。同样，成本也是一个重要的考虑因素。设计注意事项：考虑工作负载是需要 PCIe 性能，还是 SSD 提供的性能已足够。 考虑设计应当采用一个大磁盘组和一个大闪存设备，还是多个磁盘组和多个小闪存 设备。后者可以减小故障域，同时也可以提高性能，但成本可能更高。闪存持久性注意事项随着全闪存配置在容量层中引入了闪存设备，现在重要的是针对容量闪存层和缓存 闪存层的持久性进行优化

51、。在混合配置中，只有缓存闪存层需要考虑闪存持久性。在 Virtual SAN 6.0 中，持久性等级已更新，使用在供应商的驱动器保修期内写入 的 TB 量 (TBW) 表示。此前，此规格为每日完整驱动器写入次数 (DWPD)。通过引用 TBW 规格，VMware 允许供应商灵活使用完整 DWPD 规格较低但容量 更大的驱动器。例如，从持久性角度来讲，规格为 10 次完整 DWPD 的 200GB 驱动器与规格为 5 次完整 DWPD 的 400GB 驱动器相当。如果 VMware 要求 Virtual SAN 闪存设备具 有 10 次 DWPD，则会将具有 5 次 DWPD 的 400GB 驱

52、动器排除出 Virtual SAN 认 证范围。例如，将规格更改为每日 2 TBW 后，200GB 驱动器和 400GB 驱驱动器都将符合 认证资格 - 每日 2 TBW 相当于 400GB 驱动器的 5 次 DWPD 以及 200GB 驱动器 的 10 次 DWPD。对于运行高工作负载的 VSAN 全闪存配置，闪存缓存设备规格为每日 4 TBW。这相 当于 5 年内写入 7300 TB 数据。当然，在容量层上使用的闪存设备的持久性也可以此为参考，但是，这些设备往往 不需要与用作缓存层的闪存设备具备相同级别的持久性。Virtual SAN 6.0 设计和优化指南使用全闪存配置时的闪存容量优化调

53、整混合配置中与容量层优化调整有关的所有注意事项也适用于全闪存 Virtual SAN 配 置。例如，我们需要考虑虚拟机数量、VMDK 大小、并发拍摄的快照数量，当然还 包括根据虚拟机存储策略中的 NumberOfFailuresToTolerate 要求创建的副本拷贝 数量。采用全闪存配置时，读取请求不再由缓存层响应，而是由容量层响应。通过移除全 闪存配置中的读取缓存，缓存层上的 IOPS 数量大大减少，持久性显著增加。这意 味着，持久性和性能现在成为全闪存配置中容量层的注意事项。然而，在全闪存配置中，使用高持久性闪存缓存设备也可以延长闪存容量层的寿命。 如果在虚拟机中运行的应用程序的工作集大

54、多可以放入闪存写入缓存，闪存容量层 上的写入操作次数将减少。注意：在 Virtual SAN 6.0 中，如果用于全闪存配置中缓存层的闪存设备小于 600GB，闪存设备将 100% 用于缓存。然而，如果闪存缓存设备大于 600GB， 设备中只有 600GB 用于缓存。此要求适用于每个磁盘组。设计注意事项：对于全闪存配置，为缓存层选择设备时，请确保将闪存持久性纳入 考虑范畴。持久性数据包含在 VCG 中。设计注意事项：调整全闪存配置中磁盘组大小时，考虑为每个磁盘组使用不大于600GB 的闪存设备，以实现最佳优化。使用混合配置时的闪存缓存优化调整Virtual SAN 闪存容量优化调整的一般性建议是，闪存容量应为预计占用存储容量 的 10%，然后再考虑 NumberOfFailuresToTolerate。例如，用户计划置备 1,000 个虚拟机，每个虚拟机有 100GB 精简置备的逻辑地址空间。然而，他们预计一段 时间内，每虚拟机占用的存储容量平均为 20GB。计量要求值预计虚拟机空间使用情况20GB预计虚拟机数1,000预计空间占用总量20GB x 1,000 = 20,000GB = 20TB目标闪存容量百分比10%所需的总闪存容量20TB x .10 = 2TB因此，复制前的预计占用存储总量为 1,000 x 20GB = 20TB。如果虚拟机的可用性 系数定义为支持 N