VMware虚拟化规划设计说明书.pdf

准备方: PSO VMWARE 2012 年 8 月 XXXX VMware 虚拟化虚拟化规划设计规划设计 适用方： XXXXXXXX 银行银行 2009 VMware, Inc. All rights reserved. Page 2 of 33 修订历史 下面是本文档的修订历史： 日期 版本 作者 审校者 详细信息 2012 年 08 月 28 日 1.0 2010 VMware, Inc. 保留所有权利。受若干项美国专利保护，专利号是 6,397,242、6,496,847、 6,704,925、6,711,672、6,725,289、6,735,601、6,785,886、6,789,156、6,795,966、6,880,022、 6,944,699、6,961,806、6,961,941、7,069,413、7,082,598、7,089,377、7,111,086、7,111,145、 7,117,481、7,149,843、7,155,558、7,222,221、7,260,815、7,260,820、7,269,683、7,275,136、 7,277,998、7,277,999、7,278,030、7,281,102 和 7,290,253，以及多项正在申请的专利。 2012 VMware, Inc. All rights reserved. Page 3 of 33 VMware、VMware“箱状”徽标和设计、Virtual SMP 及 vMotion 都是 VMware, Inc. 在美国和/或其他法 律辖区的注册商标或商标。此处提到的所有其他标志和名称分别是其各自公司的商标。 VMware, Inc 3401 Hillview Ave Palo Alto, CA 94304 北京办公室 北京市海淀区科学院南路 2 号融科资讯中心 C 座 8 层 邮编：100190 电话：+86-10-5993-4310 或 5993-4306 上海办公室 上海市徐汇区淮海中路 333 号瑞安广场 15 楼 1501 室 邮编：200031 电话：+86-21-6103-1234 广州办公室 广州市天河北路 233 号中信广场 7401 室 邮编：510613 电话：+86-20-3877-1938 2012 VMware, Inc. All rights reserved. Page 4 of 33 目录 修订历史 2 目录 4 1. 概要 6 2. 虚拟化架构设计 . 6 3. 节点命名规则： 12 4. vCenter Server 规划 . 13 4.1 系统配置 . 13 4.2 vCenter 版本 14 4.3 vCenter 数据库 . 14 4.4 ODBC 配置 . 14 5. ESXi 主机 规划 15 5.1 系统配置 . 15 5.2 ESXi 版本 . 16 5.3 ESXi 命名方式 . 17 6. 集群规划 . 17 6.1 集群规划 . 17 6.2 集群配置 . 17 6.3 集群命名方式 . 18 2012 VMware, Inc. All rights reserved. Page 5 of 33 7. 网络规划 . 19 7.1 网络规划 . 19 7.2 网络命名方式 . 22 7.3 时钟同步 . 22 8. 存储规划 . 23 8.1 虚拟存储使用设计 . 23 8.2 存储链路的高可用 . 25 8.3 存储设备及兼容性要求 . 26 8.4 存储多路径访问 27 8.5 存储容量的划分 28 8.6 数据存储命名方式 . 28 9. 备份及恢复 29 9.1 主机及虚拟机备份恢复 . 29 9.2 业务数据备份和恢复 30 附录 A 硬件平台 BIOS 设置 31 附录 B 网络端口需求 . 32 2012 VMware, Inc. All rights reserved. Page 6 of 33 1. 概要 为适应 XXXX 银行快速增长的 IT 需求，提高信息化设备的利用率，最大限度地减少 资源浪费，增强系统运行维护的灵活性和可靠性。对于业务系统中的部分服务器进行虚拟 化，通过 VMware vSpher5 虚拟化平台结合 Intel 新一代 x86 E7 硬件架构，为业务提供 一个易于扩展、便于管理、高可用、安全、随需而动的业务应用基础资源支撑平台。 结合 XXXX 银行需求及当前资源现状，VMware 专业服务团队实施人员展开本次规 划与架构设计工作。架构设计中参考了各项业务需求、约束和建议，结合并汲取了 VMware 虚拟化架构实施的最佳做法，对 VMware vSphere 虚拟化基础架构、网络规划、 存储规划、ESX 服 务器和 vCenter 管理服务器的配置等等方面，进行了深入地分析和探 讨，作为下一步虚拟化项目部署建设方面的参考。 2. 虚拟化架构设计 XXXX 银行选用 IBM 机架式服务器用于 VMware vSphere 虚拟化平台的部署。 根据当前服务器需求，本期项目共部署 ESXi 主机 6 台，分为 3 组，根据不同的业务用途 划分为不同的组：生产业务、测试/开发和 OA 环境。采用 vSphere 5.0 update 1 的虚 拟化基础架构环境，3 组服务器，每组 2 台 ESXi 主机组成一个 VMware HA/DRS 群集， 所有 ESXi 宿主机上所承载的虚拟机通过生产网络对外服务；ESXi 服务器通过管理网络与 vCenter Server 进行通信，通过 vCenter Server 实现 ESXi 宿主机统一管理工作，其中 OA 环境通过由一个 vCenter 管理，配置一个 OA_cluster；生产业务和测试/开发环境由 一个 vCenter 管理，配置 2 个集群，分别为：chamc_cluster 和 Product_cluster。所有 主机通过 HBA 卡连接光纤交换机访问 EMC SAN 存储。 虚拟化示意图： 2012 VMware, Inc. All rights reserved. Page 7 of 33 2012 VMware, Inc. All rights reserved. Page 8 of 33 实际环境设计图： OA 环境： 2012 VMware, Inc. All rights reserved. Page 9 of 33 esxi2esxi1 Storage1 光纤 网线 OA数据中心基础架构拓扑图 VM-shengchan- s1 VM-shengchan- s2 Oa s1 s2 VM-oa-s1VM-oa-s2 Oa Oa 管理 管理 Oa Oa vCener servser 管理 OA集群 2012 VMware, Inc. All rights reserved. Page 10 of 33 生产和开发/测试环境： 2012 VMware, Inc. All rights reserved. Page 11 of 33 esxi4 esxi3esxi2 esxi1 Storage1Storage2 光纤 网线 生产数据中心基础架构拓扑图 VM-shengchan-s1 VM-shengchan-s2 生产 s2 s1 s3 s4 级联 级联 开发 vCener servser 生产集群 开发集群 2012 VMware, Inc. All rights reserved. Page 12 of 33 3. 节点命名规则： 数据中心主机名命名规则： 由 8 位字符组成：如 HXAP1000 一、 头两位字母表示服务器所属单位，规则如下： 1. 总部数据中心服务器：HQ 2. XX 行服务器： XX 3. YY 行服务器： YY 4. ZZ 行服务器： ZZ 5. AA 行服务器： AA 6. BB 行服务器： BB 二、 三四位字母表示服务器功能 1. 应用服务器：AP 2. 数据服务器：DB 3. 虚拟化主机：VM 4. 测试服务器：TS 5. WEB 服务器：WB 6. 监控服务器：OP 7. 备份服务器：BK 8. 工作站：WS（Workstations） 2012 VMware, Inc. All rights reserved. Page 13 of 33 9. 打印机：PR（Printers） 10. 域控制器：DC（Domain Controllers ） 11. 邮件服务器：MX（Mail Servers） 三、 第 5,6,位 应用表示编号（总行统一规划） 四、 第 7,8 位 表示分区编号。 4. vCenter Server 规划 4.1 系统配置 vCenter 服务器为所有虚拟机的管理中心，日常配置和维护都是通过 vCenter 服务器 进行。在本次项目中，vCenterServer 安装在物理服务器中。 vCenter 服务器配置 属性 规格 供应商/型号 IBM X3650 M3 CPU Intel Xeon 5690 内存 8G MEM 2012 VMware, Inc. All rights reserved. Page 14 of 33 网卡 1GbE*2 磁盘 300G OS Windows Server 2003R2 64bit 4.2 vCenter 版本 vCenter Server 5.0 build-804276 4.3 vCenter 数据库 vCenter 的数据库和 vCenter 安装在同一台服务器上，这增强了可移动性和灵活性， 同时降低了安全的复杂性。vCenter 可以使用内置的 MS SQL Server Express 数据库， 但是考虑到以后的扩展性，需要使用单独的数据库。vCenter 可以使用 MS SQL Server、 ORACLE、DB2 数据库。 项目 配置 数据库版本 SQL Server2008 数据库名称 vcdb 认证模式 mix 用户名称 vcdba 空间估算 10G 4.4 ODBC 配置 采用 64bit ODBC 连接 2012 VMware, Inc. All rights reserved. Page 15 of 33 项目 配置 ODBC 类型 System DSN 数据源 SQL Server10.0 Client 名称 vcenterdb 用户 vcdba 5. ESXi 主机 规划 5.1 系统配置 ESXi 物理服务器配置 节点名称 功能描 述 设备型号 资源配置 （CPU/内存/ 内置硬盘/网卡 /HBA） 操作系 统 备注 HXAPVC00 VC X3650M3 2C/4G/2*300G /2*千兆 Windows 2003 开 发、 生产 环境 HXAPVC01 VC X3650M3 2C/4G/2*300G /2*千兆 Windows 2003 OA HXAPVC02 VC X3650M3 2C/4G/2*300G /2*千兆 Windows 2003 HXVM0100 系统服务 器 X3850X5 4C/32G/2*300G/6 *千兆/4*万兆 /2*8GB ESX5 生产环境 HXVM0200 系统服务X3850X5 4C/32G/2*300G/6*ESX5 生产环境 2012 VMware, Inc. All rights reserved. Page 16 of 33 器 千兆/4*万兆 /2*8GB HXVM3100 系统服务 器 X3850X5 2C/32G/2*300G/6* 千兆/4*万兆 /2*8GB ESX5 测试环境 HXVM3200 系统服务 器 X3850X5 2C/32G/2*300G/6* 千兆/4*万兆 /2*8GB ESX5 测试环境 HXVM5100 系统服务 器 X3850X5 2C/32G/2*300G/6* 千兆/4*万兆 /2*8GB ESX5 开发环境 HXVM5200 系统服务 器 X3850X5 2C/32G/2*300G/6* 千兆/4*万兆 /2*8GB ESX5 开发环境 5.2 ESXi 版本 属性 配置 ESXi 版本 vSphere ESXi 5 U1-build-623860 根据当前兼容性检查，目前 IBM X3850 X5 在 VMWARE 在 ESX5.0 U1 列表上，列 表如下图 2012 VMware, Inc. All rights reserved. Page 17 of 33 5.3 ESXi 命名方式 ESXi 名称：ibm01-ibm06 6. 集群规划 6.1 集群规划 集群分为 3 组，每组使用 2 台 IBM X3850 X5 机架式服务器组成 HA/DRS 集群。 HA 保证了在一台主机出现故障的时候，会自动将该主机上的虚拟机在其他运行正常的主 机上启动。 6.2 集群配置 属性 配置 HA 主机监控状态 启用主机监控 接入控制 禁止 虚拟机重新启动优先级 中 主机隔离响应 开机 虚拟机监控 否 DRS 自动化级别 半自动 迁移阈值 中等 2012 VMware, Inc. All rights reserved. Page 18 of 33 启用单个虚拟机自动化级别 启动 电源管理 关闭 EVC VMware EVC 禁用 HA 属性 配置 主机监控状态 启用主机监控 接入控制 禁止 虚拟机重新启动优先级 中 主机隔离响应 开机 虚拟机监控 否 数据存储心跳 开启 数据存储 默认 目前虚拟机较少，虚拟机资源充足，HA 接入控制为“关闭”。如果后续虚拟机数量增 多，需要考虑在 HA 中保留一部分资源用于 HA 切换，需要根据主机上虚拟机的资源使用 状况来确定保留资源的比例，确保出现 HA 切换后，所有的虚拟机都能正常运行。 在 vSphere5 中 HA 还需要存储心跳，进一步保障故障切换的准确性。存储心跳需要至 少 2 个 datastore，以保证存储心跳的冗余，因此至少需要划分 2 个 LUN 给 ESXi 主机。 6.3 集群命名方式 集群名称：cluster01 2012 VMware, Inc. All rights reserved. Page 19 of 33 7. 网络规划 7.1 网络规划 虚拟化网络架构采用标准虚拟交换机，管理网络、VMotion 网络使用同一网络，生 产使用另外一个网络。 每台 ESXi 主机配有 6 个 1Gb 网卡、4 个 10GbE，由于目前硬件配置原因，10GbE 网卡目前暂时没有启用，后续如果出现网络瓶颈，需要启用 10GbE 网卡，提高网络吞吐 量和性能。 其中 2 片 1Gb 网卡绑定（NIC Teaming）在标准虚拟交换机 中，为管理网络网络、 vMotion 提供服务。 其中 4 片 1Gb 网卡绑定（NIC Teaming）在另一个虚拟交换机 中，为虚拟机业务 网络提供服务。虚拟机业务网络同时使用这 4 片网卡，这 4 片网卡都处于活动状态， 虚 拟机的业务流量按照预设的负载均衡规则，在这 4 片网卡上进行转发。 在网口的选择上，在同一个绑定中的网卡，尽量分布在不同的网卡上。 所有绑定的网卡分别连接到不同的物理交换机上，以保证网络的冗余。如果需要在逻 辑上对网络进行隔离，可以在物理交换机上划分 VLAN，同时在虚拟机交换机端口组上配 置相应的 VLAN ID。如果使用 VLAN，主机各个上联端口模式配置为 TRUNK 模式，确 保虚拟机 VLAN 数据能通过。 网络设计还考虑了以下基本原则： 1) 物理交换机和网卡均冗余配置； 2) ESXi 管理地址和 vMotion 地址不要设置在同一网段 3) 虚拟交换机上配置负载均衡策略和故障切换策略； 4) 在与 ESX 服务器主机相连的端口上禁止 STP 2012 VMware, Inc. All rights reserved. Page 20 of 33 5) 禁用 Etherchannel 协商 6) Trunk 协商仅保存 4 秒 7) 在与 ESX 服务器主机相连的端口的 portfast trunk 功能需要打开 7.1.1 网络连接分配 （详细参见VMware 参数配置表格的（端口组划分）子表） 物理网卡 功能 vmnic0 管理网络 vMotion vmnic1 vmnic2 生产网络 vmnic3 vmnic6 vmnic7 注意：vmnic2、vmnic3 在同一块网卡上，vmnic6、vmnic7 在同一块网卡，因此如果 后续需要将网卡分开的话，最好是 vmnic2、vmnic6 绑定，vmnic3、vmnic7 绑定。确 保同一绑定中的网口分布在不同的网卡上。 vSwitch0： 2012 VMware, Inc. All rights reserved. Page 21 of 33 vSwitch1： 7.1.2 虚拟交换机配置 属性 配置 负载均衡 基于源端口 ID 的路由 网络故障切换检测 仅链路状态 通知交换机 是 故障恢复 是 7.1.3 vSwitch 安全设置 属性 配置 杂乱模式 拒绝 2012 VMware, Inc. All rights reserved. Page 22 of 33 MAC 地址更改 拒绝 伪信号 拒绝 7.1.4 ESXi 主机 IP 地址 参见VMware 参数配置表格的（ESXI 存储、ip 网络）子表 7.2 网络命名方式 虚拟机交换机/分布式交换机：使用系统的默认名称 管理端口：Managerment Network vMotion 端口：vMotion 虚拟机端口组：Product_VLANx 7.3 时钟同步 ESX/ESXi Server 主机和所有的虚拟机，配置成与 NTP 时钟同步服务器进行时钟同步。 在虚拟机的 VMware Tools 中禁止虚拟机自动与 ESX/ESXi 进行时钟同步的功能。 2012 VMware, Inc. All rights reserved. Page 23 of 33 NTP SERVER 时钟同步服务器时钟同步服务器 VM vCenter Server和和ESX/ESXi 主机和虚拟机与主机和虚拟机与NTP Server保持保持 时间同步时间同步 1. 对于对于ESX/ESXi SERVER 使用使用NTP 2. 对于对于Windows Guest SO 使用使用W32Time 3. Linux及及Solaris使用使用NTP vCenter ServerESXi01ESXi04 . 8. 存储规划 8.1 虚拟存储使用设计 本次项目使用光纤存储作为虚拟化平台的集中存储平台。vSphere 5.0 可以使用 VMware VMFS5.0 和 RDM 模式磁盘。 VMFS5 虚拟机文件系统是一种高性能的群集文件系统，允许多个 ESX Server 安装 同时访问同一虚拟机存储。支持通过 VMware VirtualCenter、VMware VMotion 技 术和 VMware HA 提供的基于虚拟化的分布式基础结构服务。由于 VMware 的虚拟架构 系统中的虚拟机实际上是被封装成了一个档案文件和若干相关环境配置文件，通过将这些 文件放在 SAN 存储阵列上的 VMFS 文件系统中，可以让不同服务器上的虚拟机都可以访 问到该文件，从而消除了单点故障。同时 VMware 还支持 RDM 方式访问 LUN，虚拟机 通过一个 vmdk 映射文件直接访问 LUN。 下图展示了虚拟机 VMFS 和 RDM 模式的存取与访问方式. 2012 VMware, Inc. All rights reserved. Page 24 of 33 本次项目中，所有的存储都是用 VMFS5 格式，简化存储的管理。 存储规格及型号 2012 VMware, Inc. All rights reserved. Page 25 of 33 属性 配置 型号 EMC VNX5100 类型 Active/Active 配置 双控制器 12GB Cache 8*SAS 15K 600G 端口速率 2/4/8Gb FC 8.2 存储链路的高可用 ESXi 通过 HBA 卡使用 SAN 光纤网络访问存储。每台 ESXi 刀片服务器有 2 块 HBA 卡，分别连到两个不同的光纤交换机。在这种拓扑结构下，单个光纤交换机或单个 HBA 失效时，ESXi 服务器会自动的选择可用的光纤路径访问存储的数据。 2012 VMware, Inc. All rights reserved. Page 26 of 33 8.3 存储设备及兼容性要求 vSphere 平台对于系列存储的兼容性要求如下： 2012 VMware, Inc. All rights reserved. Page 27 of 33 8.4 存储多路径访问 ESX/ESXi 支持多路径，以维持 ESX/ESXi 主机和其存储器之间的持续连接。通过多 路径技术，用户可以使用多个物理路径在主机和外部存储设备之间传输数据。如果 SAN 网络中的任一网元（如适配器、交换机或线缆）发生故障，则 ESX/ESXi 可以切换到另一 物理路径。这种避免使用故障组件的路径切换过程称为路径故障切换。 除路径故障切换外，多路径还提供负载平衡。负载平衡是在多个物理路径中分配 I/O 负载的过程。负载平衡可以减少或消除潜在的瓶颈。 多路径策略 说明 最近使用 (VMW_PSP_MRU) 选择 ESX/ESXi 主机最近用于访问指定设备的路径。 如果此路径不可用，则主机 会切换到替代路径并在该新 路径可用时继续使用它。 MRU 是主动-被动阵列的默认路径策略。 固定 (VMW_PSP_FIXED) 使用指定首选路径（如果已配置）。否则，它将使 用在系统引导时间发现的第一个工作路径。如果主机不 能使用首选路径，则它会选择随机替代可用路径。一旦 首选路径可用，主机便会恢复到首选路径。 “固定”是主动-主动阵列的默 认路径策略。 循环 (VMW_PSP_RR) 使用路径选择算法轮流选择所有可用的活动路径， 并在路径之间启用负载平衡。 针对于 EMC VNX5100 系列的存储，在使用 vSphere 内置的多路径时使用 VMW_PSP_FIXED 的多路径策略。 2012 VMware, Inc. All rights reserved. Page 28 of 33 8.5 存储容量的划分 共享存储 LUN 容量规划方案如下： LUN 容量 = Z (X + Y) 1.15 Z = 每 LUN 上虚拟机数量 Y = 虚拟磁盘文件容量 X = 内存大小 按照 VMware 最佳实践，一般情况下，每个 VMFS 文件系统只对应一个 LUN。 RAID 组 LUN 大小 1 500G 2 同一群集内的 ESXi 主机应该看到相同的 LUN 存储。出于性能上的考虑，目前虚拟 机的磁盘都是采用厚置备模式。出于磁盘 IO 性能方面的考虑，最好控制每个 LUN 上虚 拟机在 16 个以下，还需要关注 LUN 的使用情况以及虚拟机快照，避免磁盘空间耗尽。 8.6 数据存储命名方式 本地存储命名：local+主机名 如：Local_ibm01 共享存储命名：集群名+存储型号+LUN 号码 2012 VMware, Inc. All rights reserved. Page 29 of 33 如：cluster01-VNX5100_1-LUN01 9. 备份及恢复 在虚拟化环境中，可以通过 VMware Data Recovery 对虚拟机进行备份和恢复。 VMware Data Recovery 支持快速备份到磁盘，而且更重要的是，它支持快速和完全的 恢复，从而能够预防虚拟环境中的数据丢失。 基于磁盘的备份和恢复，可实现快速的虚拟机恢复 根据需要恢复单个文件或整个映像 保留虚拟机的多个时间点副本 使用内置重复数据消除技术来节省大量磁盘空间 9.1 主机及虚拟机备份恢复 在日常的运维中，可能会出现各种故障，导致系统或应用出现故障。当出现不可恢复 的故障（比如硬件损坏、软件数据损坏等）时，就需要通过备份数据来进行恢复。在虚拟 化环境中备份和恢复和物理环境有一些差异。虚拟环境中主要涉及主机和虚拟机的备份。 9.1.1 主机备份恢复 在 vCenter 中可以通过 HOST Profile 来对主机的配置来进行备份和恢复。对于主机 上的 ESXi 可以不用进行备份，如果主机上的 ESXi 出现系统损坏后，vSphere HA 会将其 上运行的虚拟机迁移到其他正常运行的主机上。对于损坏的 ESXi 主机，可以通过简单的 重新安装 ESXi 来进行恢复，整个 ESXi 安装时间很短。 9.1.2 虚拟机备份恢复 可以通过 Data Recovery 对虚拟机进行整体备份、恢复。Data Recovery 定时将虚 拟机备份到存储上。 2012 VMware, Inc. All rights reserved. Page 30 of 33 注意：采用 Data Recovery 备份需要给 Data Recovery Appliance 虚拟机分配存 储空间，最大支持 1T，如果采用 CIFS 的 NAS，最多支持 500G。通过 Data Recovery 本身无法支持将数据直接备份到磁带或带库。 9.2 业务数据备份和恢复 业务数据的备份可以使用传统的备份方式来进行备份，在每个虚拟机中安装备份 agent，通过备份软件来备份。通过这种方式来备份，需要注意备份的时间安排，不要集 中在同一时间窗口备份，否则 ESXi 主机压力过大，会影响其上的所有虚拟机。 如果备份软件支持 vSphere VAAI 接口，那么将可以直接备份 vmdk 文件，减轻主机 的压力，TSM 从 Version6.3 开始可以支持 ESXi5 虚拟环境下的备份。 2012 VMware, Inc. All rights reserved. Page 31 of 33 附录附录 A 硬件平台硬件平台 BIOS 设置设置 为了 vSphere 虚拟化平台的顺利、高效地运行，BIOS 推荐按照下述设置。 The latest version of the BIOS available for your system is running. BIOS is set to enable all populated sockets and all cores in each socket. “Turbo Mode” is enabled if your processors support it. Hyperthreading is enabled in the BIOS. Some NUMA-capable systems provide an option to disable NUMA by enabling node interleaving. In most cases, the best performance is achieved by disabling node interleaving Hardware-assisted virtualization features (VT-x, AMD-V, EPT, RVI) are enabled in the BIOS. Disable C1E halt state in the BIOS. (See note following regarding performance considerations versus power considerations.) Disable any other power-saving mode in the BIOS. (See note following regarding performance considerations versus power considerations.) Disable unneeded devices, such as serial and USB ports, from the BIOS 注意：注意： vSphere 支持 CPU 的节能技术特性，比如：Enhanced Intel SpeedStep 、Enhanced AMD PowerNow!。这些技术特性能有效节省电源，但是也可能会降低整个虚拟化平台的性能。 因此如果对于性能有特别要求的话，可以将这些节能选项关闭。 具体 BIOS 设置会随不同的硬件平台会有一些差异. 更改 BIOS 设置需要重新启动主机 2012 VMware, Inc. All rights reserved. Page 32 of 33 附录附录 B 网络端口需求网络端口需求 ESXi 主机端口需求主机端口需求 描述描述 端口端口 协议协议 流向流向 vSphere Client to ESX/ESXi host 443, 902, 903 TCP Incoming VM Console to ESX/ESXi host 903 TCP Incoming ESX/ESXi host and vCenter Heartbeat 902 UDP Incoming/ Outgoing ESX/ES