vmware vsan 售后最佳实践 第六部vsan扩容手册 v1 1

1、VMware vSAN 售后最佳实践第六部：vSAN 扩容册VMware GSS-China vSAN Team 2018-032版本控制期版本号修改适范围备注2018021.0Chang Wang5.5 6.0 6.1 6.2 6.5 6.6草稿2018031.1Chang Wang5.5 6.0 6.1 6.2 6.5 6.6前：4概述：5第部分：vSAN扩容评估7第部分：备份相关配置9第三部分：vSAN扩容前检查10第四部分：vSAN纵向扩容-添加容量层磁盘到现有磁盘组13第五部分：vSAN纵向扩容-添加新的磁盘组20第六部分：vSAN横向扩容-添加vSAN节点24第七部分：其他硬件扩容

2、29第部分：vSAN扩容后检查32参考档：333前：随着运越来越多的关键业务，例如Oracle RAC，SQL server， vSAN的使规模会越来越。当当前规模法满客户的需求时就需要对vSAN进扩容。作为vSAN本的特点之，vSAN可以很灵活的扩容操作，包括横向扩容（增加节点）和纵向扩容（增加磁盘组或者 增加磁盘）。整个扩容过程中不会影响当前正在运的业务，也不需要安排维护窗。GSS-China vSAN团队撰写了这篇档，列举了客户环境中常见的扩容场景，希望可以帮助客户更效更安全的完成vSAN扩容作。有任何关于该系列档的问题，欢迎发送邮件联系我们：ask4vsanchinavmware.co

3、m4概述：在进vSAN扩容前我们先了解下不同的扩容类别，主要包括以下种： 横向扩容 - 增加vSAN节点：增加计算资源和存储资源 纵向扩容 - 增加磁盘/磁盘组：增加存储资源 其他硬件扩容 增加主机的内存、增加新的卡等，以提主机性能。vSAN扩容流程分为以下5个步骤：1. vSAN扩容评估 - 确定扩容类型2. 备份相关配置 - 包括vCenter和ESXi53.4.5.vSAN扩容前检查 - 扩容前检查vSAN的健康状态实施vSAN扩容 - 进vSAN扩容vSAN扩容后检查 - 扩容后检查vSAN的健康状态本档会按照这5个步骤进详细的解释。6第部分：vSAN扩容评估关于vSAN 硬件相关的要

4、求，可以参考VMware vSAN硬件参考册。/resources/compatibility/vsan_profile.html在扩容之前，我们需要先了解vSAN持的最配置要求，这样才可以进正确的规划。步骤：了解vSAN持的配置要求，包括：主机配置磁盘/磁盘组配置络配置具体如下：主机配置：磁盘/磁盘组配置： 每台主机最多5个磁盘组 每个磁盘组最多1块缓存层磁盘和最多7块容量层磁盘 缓存层磁盘容量和容量层磁盘总容量的例推荐为10%以上（混合模式和全闪模式全 部适 ）/virtualblocks/2017/0

5、1/18/designing-vsan-disk-groups-cache-ratio-revisited/需要注意的是，在符合VMware兼容性的条件下，尽管我们持vSAN集群内有不同的型号主机，以及不同的磁盘/磁盘组配置，例如数量、容量等差异，但是这些差异有可能会影响VM的性能，vSAN中对象存放位置以及数据重建时需要的空间和耗时，所以建议尽可能所有的机硬件配置相同。主7vSAN 5.5vSAN 6.x vSAN 6.x $ 633 ( ROBO7/)3 ( ROBO7/)-vSAN3 4 1!),5.!9,(& : 60 7/ 4 $ 6326464%845.64 KB#2110081

6、35. 2 $ 6100/ESXi $200/ESXi $200/ESXi $3200/vSAN7/6400/vSAN7/6400/vSAN7/vSphere HA , 2 $ 6204864006400vSAN 6.0 !9*# 0 +vSphere HA 9 , +络配置：在vSAN混合配置中，VMware持为vSAN络流量使1 Gb、10 Gb、25 Gb、40 Gb和100 Gb的卡(NIC)。如果使1 Gb卡，VMware要求此卡专于vSAN流量。如果使10 Gb或更带宽的卡，与其他络流量类型共享这些卡。尽管VMware已在1Gb上成功运较的混合vSAN部署，但最佳实践是使10 Gb

7、链路。仅10Gb或更的连接持vSAN全闪存配置。其中个原因是，通过全闪存配置提升的性能可能消耗主机之间的更多络带宽，以获得更的吞吐量。在两种配置中，10Gb链路都不需要专，可以与vMotion等其他络流量类型共享它们。如 果10 Gb卡在多种流量类型之间共享，则极建议使Network IO Control防种流量类型占全部带宽。步骤：明确扩容标根据vSAN持的配置要求以及客户实际需求后，我们就可以明确得出vSAN的扩容标。步骤三：得到最终的扩容，例如：8 vSAN 第部分：备份相关配置虽然vSAN扩容不像vSAN升级那样复杂，但是我们仍然建议在扩容vSAN之前进备份相关的配置，其中包括vCen

8、ter和ESXi主机。具体法可以参考下的KB，这不赘述。 For vCenter 6.x Backup and restore options. Please review VMware KB 2149237 for guidance. For vCenter versions prior to 6.x. Please review VMware KB 2119754 for guidance. ESXi configurations can be backed up via command line. Please review vSphere Documentation Backing U

9、p Configuration Information with vicfg-cfgbackupfor guidance. ESXi systems can also be reverted to a previous image if a host was updated. Please review VMware KB 1033604 for guidance.9第三部分：vSAN扩容前检查在vSAN扩容前，需要确认当前vSAN健康的状态。我们建议先解决当前vSAN存在问题，再进vSAN扩容。需要检查以下项： 当前的运环境中，vSAN、ESXi和vSphere符合兼容列表。 没有络分区发。

10、 所有的vSAN磁盘是健康的。 所有的对象都是可以访问的。没有数据进同步。如果遇到任何问题，您可以创建VMware的SR，我们的程师会协助您起解决。我们以实验环境为例，检查下的内容：1.当前vSAN集群包括4个节点，没有发络分区。2.每台主机有1个磁盘组，磁盘格式版本为V5。所有磁盘状态健康，没有络分区。103.当前vSAN使率偏4.vSAN健康检查没有报错，没有数据同步。5.没有不可访问的对象1112第四部分：vSAN纵向扩容-添加容量层磁盘到现有磁盘组增加容量层磁盘是最常见的扩容操之。正如我们之前了解到的，每个vSAN节点主机最多持5个磁盘组，每个磁盘组最多持1个缓存层SSD和7个容量层磁

11、盘。当客户环境中的磁盘组中容量磁盘没有达到最限制时，我们就可以通过增加容量层磁盘的式给vSAN增加间。具体法如下：空1. 先我们需要确保新增加的磁盘符合VMware兼容列表的要求，包括磁盘型号以及固件（有可能需要通过主机的硬件管理界可以查到磁盘的固件信息）。1) VMware Compatibility Guide站。/resources/compatibility/search.php这个站包含VMware所有产品的兼容性要求，例如软件兼容性和硬件兼容性。VMware有专门的团队会对和VMware产品相关的软件硬件进测试和验证，例如HBA卡的 型号、

12、驱动和固件；vCenter使的外置数据库的类型和版本等。除此以外，VMware产品 之间也有兼容关系，新版本的软件会带来新的功能，所以些版本软件并不能与新版本起使，例如版本的vCenter法管理新版本的ESXi。兼容性检查对于户来说常重要，只有使符合VMware兼容性要求的软件和硬件才会让户的业务运在最稳定的环 境中。VMware技术持部门对不符合VMware兼容性要求的环境法提供技术持服务。2)登陆vSAN兼容性检查页133) 确认磁盘符合兼容要求，确保下列信息全部符合。142.确保vSAN集群中添加磁盘模式为“动”选择集群-配置-vSAN3.确保主机可以正常识别的新加的磁盘。由于vSAN对

13、Raid控制卡使模式要求不样，包括直通模式或者Raid式，所以 需要根据Raid卡的使模式对磁盘进设置（直通模式或者Raid模式），需要注意的 是，如果是Raid模式的话，有可能需要通过Raid控制器的管理界（有可能需要重启主机）或者管理软件来进配置。对磁盘的模式进正确的设置后，需要在主机上进重新扫描，确保主机正确的 识别到新插的硬件（需要联系硬件商确定主机是否持热插拔设备，必要时候需 要重启主机）。154.某些特殊场景下，尤其是磁盘使Raid模式，主机有可能法正确的识别到新插磁盘的类型-SSD或者HDD，这时候需要的对磁盘进标注。5.在vSAN配置界下的磁盘管理，选择标主机的磁盘组，然后在下

14、选择添加磁盘。6.选择新加的磁盘。167.如果第5步没有出现新加磁盘的话，需要做以下检查：1)确认主机已经正确识别新插的磁盘选择主机-配置-存储设备，确认这显新插的磁盘。2)清除磁盘分区选择新插的磁盘-所有操作-清除分区173) 再次执第5步。8.点击完成后，确认磁盘已经成功加磁盘组。9.添加磁盘后，如果vSAN中原有磁盘使量没有超过80%，则vSAN不会开始进数据平衡的操作。我们可以通过vSAN健康检查中“磁盘平衡”来触发数据平衡的操作。在后 续的运中vSAN会根据实际情况把数据存放在新加的磁盘中，确保所有的磁盘使率致相同。1819第五部分：vSAN纵向扩容-添加新的磁盘组当vSAN节点主机

15、还有够的空余槽位并且没有达到最磁盘组限制时，我们可以通过添加新的磁盘组的式对vSAN容量进扩容。需要保证有块作为缓存层的SSD以及最少1块最 多7块于容量层的磁盘来增加新的磁盘组。1.先我们需要确保新增加的所有磁盘符合VMware兼容列表的要求，包括磁盘型号以及 固件。如何在VMware站上检查硬件是否符合兼容性要求请参考第四部分的介绍。注意：有些SSD只能做全闪模式下的容量磁盘，不能作为全闪模式或混合模式下的层SSD。例如：缓存2.确保vSAN集群中添加磁盘模式为“动”选择集群-配置-vSAN3.确保主机可以正常识别的新加的磁盘。由于vSAN对Raid控制卡使模式要求不样，包括直通模式或者R

16、aid式，所以需要根据Raid卡的使模式对磁盘进设置（直通模式或者Raid模式），需要注意的是，如果是Raid模式的话，有可能需要通过Raid控制器的管理界（有可能需要重启主机）或者管理软件来进配置。20对磁盘的模式进正确的设置后，需要在主机上进重新扫描，确保主机正确的 识别到新插的硬件（需要联系硬件商确定主机是否持热插拔设备，必要时候需 要重启主机）。4.某些特殊场景下，尤其是磁盘使Raid模式，主机有可能法正确的识别到新插磁盘的类型-SSD或者HDD，这时候需要的对磁盘进标注。5.在vSAN配置界下的磁盘管理，选择标主机，然后再选择添加磁盘组。6.选择正确的缓存层磁盘和容量层磁盘。如果没有

17、显可磁盘的话，请参考第四部分进进步检查。217.确认主机已经正常添加了新的磁盘组。8.添加磁盘组后，如果vSAN中原有磁盘使量没有超过80%，则vSAN不会开始进数 据平衡的操作。我们可以通过vSAN健康检查中“磁盘平衡”来触发数据平衡的操作。在后续的运中vSAN会根据实际情况把数据存放在新加的磁盘中，确保所有的盘使率致相同。磁229.某些场景下有可能会出现新建磁盘组的磁盘格式与现有磁盘组格式不样的问题，主要原因包括：(1)(2)(3)(4)vSAN集群中有部分主机升级。vSAN集群中节点版本不致。所有的vSAN节点已经升级，但是没有升级磁盘格式版本。每台主机重建磁盘组，没有使正确的法升级vS

18、AN磁盘格式版本。这时候需要通过修改参数的式调整创建的磁盘组格式版本，具体法请参考VMware vSAN售后最佳实践 第五部：vSAN升级册23第六部分：vSAN横向扩容-添加vSAN节点增加新的ESXi主机到现有集群不仅可以增加vSAN集群的存储资源（磁盘），同时也可以增加vSAN集群的计算资源（CPU和内存），当然，如果新的主机没有磁盘组的话，我们也只作为计算资源加到现有vSAN集群。增加新节点的过程主要包括：持1.检查新增ESXi主机的状态。我们建议和原vSAN集群中的主机使相同型号以及ESXi的 版本，确保主机BIOS、卡驱动固件符合ESXi的兼容性要求。除此以外，还需要确保Raid控

19、制器的硬件驱动固件以及所有磁盘的硬件固件都符合vSAN兼容性要求。2.把新增ESXi主机注册到vCenter中，但是先不要加到vSAN集群。3.需要对新增主机进相关的络配置，包括配置vSAN端、vMotion端。4.配置后状态如下：5.确保vSAN集群中添加磁盘模式为“动”246.把新增主机拖到vSAN集群中：7.等添加任务完成后，检查当前vSAN集群中已经包含了新的主机。25或者命令下执esxcli vsan cluster get8. 这时在vSAN磁盘管理界可以看到新增的主机，但是没有磁盘组。269. 选择新增的主机，创建新的磁盘组。10. 选择缓存层磁盘和容量层磁盘。如果没有显可磁盘的

20、话，请参考第四部分进进步检查。11. 创建完成后，检查磁盘组状态以及磁盘格式版本。2712. 添加主机后，如果vSAN中原有磁盘使量没有超过80%，则vSAN不会开始进数据平衡的操作。我们可以通过vSAN健康检查中“磁盘平衡”来触发数据平衡的操作。在后 续的运中vSAN会根据实际情况把数据存放在新加的磁盘中，确保所有的磁盘使率致相同。如果开启的DRS，VM会动迁移到新增主机上，使得所有主机负载相 同。如果没有开启DRS，则需要迁移VM到新增主机。28第七部分：其他硬件扩容常见的硬件扩容包括增加新的Raid控制器、内存扩容或者更换vSAN使的卡。更换硬件的部分多数属于硬件范围，需要联系硬件商来进

21、操作。VMware 提供了个vSAN硬件参考册：/resources/compatibility/vsan_profile.html以下说明下需要注意的地。 进维护模式的式上提到的新增硬件以及扩容都需要停机操作，对于vSAN，我们建议主机在关机前进维护模式。进维护模式的式包括三种：o “迁移全部数据”：时较长，适于长时间的主机维护，超过1时。o “保证数据可访问性”：适于短时间主机维护，如主机升级补丁后重启，不超 过1时。o “不迁移数据”：时最短，主机直接进维护模式。般于关闭所有vSAN节点或者特殊情况下关闭/重启主机（建议执前检查所有对象的状 态，

22、避免影响VM运）。我们建议在把主机进入维护模式之前先检查vSAN健康状态，确保没有同步的数据，也没有不可访问的对象，因为这些都可能导致主机无法进入到维护模 式，尤其是针对“迁移全部数据”和“确保数据可访问性” 请根据情况选择适当的式进维护模式。29 新增Raid 控制器每个Raid控制器对与其连接的磁盘数量有限制，有些场景下我们需要给主机增加新的Raid控制器来满增加磁盘/磁盘组的需求。在安装Raid控制器之前我们需要确保已经检查了Raid的硬件和使式符合vSANHCL的要求，并且安装后确保使VMware 要求的驱动和固件版本。后续添加磁盘组的法请参照第五部分的描述。注意：为了达到性能最佳以及

23、Raid 卡故障时影响范围最，我们要求每个Raid卡对应个磁盘组。/resources/compatibility/vsan_profile.html内存扩容：般情况下，内存扩容属于计划性停机。我们需要把标主机进维护模式（根据实际情况选择数据迁移的式，默认为“保证数据可访问性”）后再关机。扩容内存的 具体操作需要硬件商程师或者按照官更换册进，为了减少停机时间，建议提前 了解清楚扩容内存需要使的槽位。更换vSAN端使的物理卡：个很常见的场景是客户需要更换vSAN所使的卡，例如从1Gb卡更换到10Gb卡。由于涉及到硬件更换，vSAN配置以及络连接等多，如果条件允许的话，我们建议客户安全的关闭vSAN功能，关闭vSAN集群中所有的节点，然后进30卡更换，所有主机启动后检查vSAN络配置，最后开启vSAN功能。当然，我们也持在线进操作，如果需要保证业务运的连续，我们可以在线进更换vSAN端的操作，那么整个操作流程就会复杂很多。其中包括：(1)把台vSAN主机进维护模式，关机，安装上10Gb卡。