虚拟化解决方案详细介绍

1 虚拟化解决方案详细介绍 2016 年年 10 月月 2 目目 录录 1概述概述5 1 1 项目背景项目背景 5 1 2 现状分析现状分析 5 2VMware 解决方案规划设计解决方案规划设计 9 2 1 计算资源规划计算资源规划 9 2 2 存储资源规划存储资源规划 13 2 3 网络资源规划网络资源规划 18 2 4 可用性规划可用性规划 22 2 5 管理与监控规划管理与监控规划 24 3vSphere 体系架构体系架构 28 3 1 基于基于 vSphere 的虚拟数据中心基础架构的虚拟数据中心基础架构 28 3 2 ESXi 体系结构体系结构 29 3 2 1 ESXi 架构和组件架构和组件 29 3 2 2 VMkernel 30 3 2 3 虚拟机监视器虚拟机监视器 VMM 31 3 2 4 虚拟机虚拟机 31 3 3 资源分配方式资源分配方式 34 3 3 1 主机 集群 资源池主机 集群 资源池 34 3 3 2 份额 限制 预留份额 限制 预留 35 4计算功能特性计算功能特性 37 4 1 虚拟机计算性能虚拟机计算性能 37 4 1 1 CPU 虚拟化虚拟化 37 4 1 2 内存虚拟化内存虚拟化 40 4 2 虚拟机性能虚拟机性能 43 4 3 关键应用虚拟化关键应用虚拟化 44 4 4 虚拟机迁移虚拟机迁移 45 4 4 1 vMotion 简介简介 45 4 4 2 实现原理与工作机制实现原理与工作机制 49 4 5 向大数据扩展向大数据扩展 50 4 6 CPU 和内存的热添加和磁盘的热扩展和内存的热添加和磁盘的热扩展 51 3 4 6 1 功能描述功能描述 51 4 6 2 工作原理工作原理 52 4 7 分布式资源调度分布式资源调度 DRS 52 4 7 1 功能描述功能描述 52 4 7 2 工作原理工作原理 53 4 8 分布式电源管理分布式电源管理 DPM 54 4 8 1 功能描述功能描述 54 4 8 2 工作原理工作原理 54 4 9 NVIDIA GRID vGPU 55 5网络和安全功能特性网络和安全功能特性 57 5 1 vSphere 标准交换机 标准交换机 VSS 58 5 1 1 VSS 概念概念 58 5 1 2 VSS 架构和网络特性架构和网络特性 58 5 2 vSphere 分布式交换机 分布式交换机 VDS 59 5 2 1 VDS 概念概念 59 5 2 2 VDS 架构架构 59 5 2 3 功能摘要功能摘要 60 5 2 4 详细技术信息详细技术信息 62 5 3 网络网络 I O 控制控制 NIOC 62 5 3 1 功能摘要功能摘要 62 5 3 2 详细技术信息详细技术信息 64 5 4 无代理终端安全防护无代理终端安全防护 64 5 4 1 概览概览 65 5 4 2 主要优势主要优势 66 5 4 3 vShield Endpoint 工作原理工作原理 68 5 4 4 vShield Endpoint 主要功能特性主要功能特性 68 6存储功能特性存储功能特性 71 6 1 虚拟化环境的存储虚拟化环境的存储 71 6 2 vSphere 存储体系结构存储体系结构 73 6 3 Storage Distributed Resources Scheduler DRS 74 6 3 1 功能概览功能概览 74 6 3 2 详细技术信息详细技术信息 74 6 4 基于存储策略的管理基于存储策略的管理 75 6 5 Storage vMotion 77 6 5 1 功能概览功能概览 77 6 5 2 详细技术信息详细技术信息 79 4 6 6 存储存储 I O 控制控制 80 6 6 1 功能概览功能概览 80 6 6 2 详细技术信息详细技术信息 81 6 7 Virtual Machine File System VMFS 82 6 7 1 功能概览功能概览 82 6 7 2 详细技术信息详细技术信息 84 6 8 Storage Thin Provisioning 84 6 8 1 功能概览功能概览 84 6 8 2 详细技术信息详细技术信息 85 6 9 存储存储 API 86 6 10Virtual Volumes 88 6 11vSphere Flash Read Cache 90 6 11 1VMware FRC 介绍介绍 90 6 11 2VMware 特性与优势特性与优势 90 6 11 3vFRC 详细技术信息详细技术信息 90 7可用性功能可用性功能 94 7 1 VMware High Availability 94 7 1 1 概览概览 94 7 1 2 HA 详细技术信息详细技术信息 96 7 2 VMware Fault Tolerance 98 7 2 1 概览概览 98 7 2 2 FT 详细技术信息详细技术信息 100 7 3 VMware Data Protection 101 7 3 1 功能特性功能特性 102 7 3 2 VDP 详细技术信息详细技术信息 103 7 4 vStorage APIs for Data Protection 105 7 4 1 概览概览 105 7 4 2 VADP 的主要优势的主要优势 105 7 5 vSphere Replication 106 7 5 1 概览概览 106 7 5 2 VR 详细技术信息详细技术信息 107 8管理和自动化管理和自动化 114 8 1 集中式控制和主动式管理集中式控制和主动式管理 114 8 1 1 vCenter Server 体系结构和组件体系结构和组件 114 8 1 2 功能概览功能概览 117 8 2 自动化管理与调配自动化管理与调配 118 5 8 2 1 内容库内容库 118 8 2 2 Auto Deploy 120 8 2 3 主机配置文件主机配置文件 121 8 2 4 Update Manager 121 9方案优势总结方案优势总结 123 10配置清单及说明配置清单及说明 125 10 1硬件配置需求硬件配置需求 125 10 2虚拟化软件配置需求虚拟化软件配置需求 125 11缩略语解释缩略语解释 126 6 1概述 1 1项目背景项目背景 不断增长的业务对 IT 部门的要求越来越高 所以数据中心需要更为快速的提供所 需要的能力 如果不断购买新的服务器 又会增加采购成本和运作成本 而且还会带 来更多供电和冷却的开支 同时 目前的服务器还没有得到充分的利用 通常情况下 企业的服务器工作负载只利用了 5 这导致了大量的硬件 空间以及电力的浪费 同 时由于应用程序兼容性的问题 IT 人员只能通过在不同场所的不同服务器中分别运行 应用的方式 将应用程序隔离起来 而这又会导致服务器数量的增长 购置新的服务 器是一项漫长的过程 这使得 IT 部门更加难以应对业务快速成长和不断变动的需求 例如 对于新业务系统平台的供应和拆除需求 往往就需要消耗大量宝贵的资源和时 间 从 IT 管理员的角度来看 推动虚拟化技术发展的主要动力是基础架构设施的迅猛 增长 而硬件部署模式又进一步加剧了基础架构的复杂程度 应用越来越多 也越来 越复杂 因此就变得更加难以管理 更新和维护 用户希望能采用各种桌面设备 笔 记本电脑 家用 PC 和移动设备来进行工作 服务器价格急剧下降 服务器散乱现象 仍然存在 随着图形和多媒体的发展 数据也变得越来越丰富 文件的平均大小也在 不断上升 要求不间断的在线存储 纵观整个数据中心 技术不断增多 分布也越来 越广 另外 业界和法律法规也在不断要求企业加强 IT 管理控制 在这种环境下 虚拟化技术就体现了整合的优势 应用在 IT 的不同层面 从逻辑 层将物理层抽象出来意味着逻辑组件会得到更一致的管理 从安全监督来看 虚拟化技术提升了 X86 服务器的可靠性 可用性 从基础架构 层面获得了原先单机系统无法想象的功能 大大提高了业务连续性的级别 降低了故 障率 减少了系统宕机的时间 从服务器的角度来看 虚拟化技术让每台设备都能托管多套操作系统 最大化了 利用率 降低了服务器数量 从存储的角度来看 虚拟化技术可网络化 整合磁盘设备 并让多个服务器共享 磁盘设备 从而提高了利用率 从应用的角度来看 虚拟化技术将应用计算从用户设备中分离出来 并在数据中 心对应用及相关数据进行整合 通过集中化技术改善了管理和系统的安全性 XXX 客户作为国内大型企业 信息化建设不断发展 目前信息化网络以信息中心 为运营维护单位 覆盖出单 收付等多套业务系统 服务器资源庞大 出于经济效益 和管理安全性考虑 针对基础架构的虚拟化整合已势在必行 1 2现状分析现状分析 XXX 客户数据中心目前以 X86 服务器为主 运行着人力资源 市场计费 生产经 营 资产管理 网络管理 邮件 安全等业务系统 具体的服务器配置如下所示 该 表涵盖了主要业务系统的服务器配置 7 系统系统型号型号配置配置 视频服务器 PowerEdge 2950Xeon E5410 2 4GB 下载服务器 PowerEdge 2950Xeon E5110 2 2GB 生产经营管理系统 PowerEdge 2950Xeon E5410 2 4GB 固定资产管理系统 PowerEdge 2950Xeon E5410 2 4GB 移动站业务管理系统 PowerEdge 2950Xeon E5410 2 2GB 网管系统 PowerEdge 2950Xeon E5410 2 2GB 财务系统 PowerEdge 2950Xeon E5410 2 2GB 防病毒系统 PowerEdge 2950Xeon E5410 2 2GB 邮件系统 PowerEdge 2950Xeon E5410 2 2GB 安全评估系统 PowerEdge 2850Xeon 2 8G 2 2GB 人力资源系统 PowerEdge 2850Xeon 2 8G 2 2GB 任务管理系统 PowerEdge 2650Xeon 2 8G 2 2GB 库存管理系统 PowerEdge 1750Xeon 2 4G 2 1GB 身份认证系统 PowerEdge 750P4 2 8G 1GB 表 XXX 客户数据中心服务器 上述服务器中 除了视频服务器和下载服务器外 其它服务器的负载都非常小 远没有达到充分利用的状态 虽然视频服务器和下载服务器的负载相对较高 但是也 没有充分发挥硬件平台的资源效率 另外还有一些运行边缘业务的服务器 由于设备老旧以及所在位置等原因 本次 尚未统计在内 在存储阵列方面 XXX 客户数据中心的主要存储设备及其相应系统的容量与使用 率情况如下所示 IBM DS4700 阵列上 网管系统可使用的总容量为 1400G 现已使用了 800G 使用率为 57 邮件系统可使用的总容量为 1950G 现统计分析系 统已使用了 900G 使用率为 67 人力资源系统可使用的容量已全部分配 完毕 IBM FastT600 阵列上 库存管理系统可使用的总容量为 1340G 现已使用 了 1340G 使用率为 100 身份认证系统可使用的总容量为 340G 现已 使用了 170G 使用率为 50 8 IBM DS5020 阵列上 视频服务器可使用的总容量为 1540G 现已使用了 1530G 使用率为 97 防病毒系统可使用的总容量为 270G 现已使用了 206G 使用率为 76 EMC CX3 40 阵列上 财务系统可用总容量为 941G 现已使用了 325G 使用率为 32 移动站业务管理系统可用总容量为 800G 现已使用了 270G 使用率为 34 安全评估系统可用总容量为 600G 现已使用了 305G 使用率为 51 EMC CX500 阵列上 任务管理系统可用总容量为 120G 现已使用了 95G 使用率为 79 固定资产管理系统可用总容量为 300G 现已使用了 280G 使用率为 94 EMC CX4 480 阵列上 下载服务器可用总容量为 2000G 现已使用了 2000G 使用率为 100 生产经营管理系统可用总容量为 980G 现已使 用了 800G 使用率为 82 上述存储设备及其相应系统的容量与使用率情况如下表所示 阵列名称阵列名称使用系统使用系统可用空间可用空间已用空间已用空间使用率使用率 IBM DS4700 网管系统1400G 800G57 邮件系统1950G 900G67 人力资源系统400G 400G100 IBM FastT600 库存管理系统1340G 1340G100 身份认证系统340G 170G50 IBM DS5020 视频服务器1540G 1530G97 防病毒系统270G 206G76 EMC CX3 40 财务系统941G 325 32 移动站业务管理系统800G 270G34 安全评估系统600G 305G51 EMC CX500 任务管理系统120G 95G79 固定资产管理系统300G 280G94 EMC CX4 480 下载服务器2000G 2000G100 生产经营管理系统980G 800G82 表 XXX 客户数据中心存储阵列 9 可见 目前 XXX 客户的磁盘阵列划分孤立 分散 造成了磁盘阵列的浪费以及数 据的高风险性 而且十分不易于维护 随着之后系统和数据量的不断增加 这一现象 将会持续加剧 通过对 XXX 客户服务器和存储现状的分析 目前 IT 基础架构有以下几个问题亟 待解决 服务器的利用率低 现在机房内运行的大部分机器的利用率都非常低 由于 一台服务器只能有一个操作系统 受系统和软件开发平台的限制 CPU 内 存 硬盘空间的资源利用率都很低 大量的系统资源被闲置 可管理性差 首先是可用性低 几乎每个应用服务器都是单机 如果某台服 务器出现故障 相对应的业务也将中断 其次是当硬件需要维护 升级或出 现硬件故障时 上层业务系统均会出现较长时间的中断 影响业务的连续性 其中包括一些重要业务系统 一旦中断服务影响很大 未来数据中心搬迁时 会更加麻烦 兼容性差 系统和应用迁移到其他服务器 需要和旧系统兼容的系统 新的 软件包括操作系统和应用软件无法运行在老的硬件平台 而老的代码有时候 也很难移植到新的硬件平台上 例如 由于各种资源数据库不同公司分别开 发 需要的运行的软硬平台很多时候不能保证兼容 为节省时间 物力和保 持系统部署的顺利 只能用增加服务器单独部署的方法来解决 服务器和存储购置成本高 维护成本递增 也不得不考虑 随着应用的不断 增加 服务器数量也跟着增加 每年要支出高额购置费用不说 还有部分服 务器已经过保修期 部件逐渐进入老化期 维护 维修预算费用也逐年增加 对业务需求无法做到及时响应 灵活性差 当有新的应用需要部署时 需要 重新部署服务器 存储系统 并需要对网络系统进行调整以适应新的 IT 应 用的需求 目前为每套生产系统 在开发测试中心均要保留一套开发测试环境 造成了 资源很大的浪费 VMware 的服务器虚拟化解决方案可以很好地解决上面这些问题 下面的章节将从 方案的整体规划设计 体系结构 计算 网络与安全 存储 可用性 管理与自动化 等方面对该方案进行全面地分析与介绍 10 2VMware 解决方案规划设计 虚拟化技术的引入大大减少了需要维护和管理的设备 如服务器 交换机 机架 网线 UPS 空调等 原先设备可以根据制度进行折旧报废 或者利旧更新 使得 IT 管理人员有了更多的选择 虚拟化可以提高资源利用率 降低硬件采购成本 更加节 能和节省空间 让整个数据中心更加灵活 下图是实施了 VMware 虚拟化方案之后的 IT 整体架构 光光纤纤通通道道 存存储储阵阵列列 iSCSI 存存储储阵阵列列 NAS 存存储储阵阵列列 vCenter Server vSphere Client 终终端端 服服务务 光光纤纤通通道道 交交换换机机 光光纤纤 IP 网网络络 VMware vSphere 5 5 VMVMVMVMVM 服服务务器器组组 1服服务务器器组组 2服服务务器器组组 3 Web 浏浏览览器器 图 数据中心整体架构图 服务器虚拟化后 我们搭建了虚拟化集群 并统一进行管理 原有的服务器设备 仍然可以正常运行 并且与虚拟化服务器融合在一起 随着虚拟化的不断应用 可以不断动态地增加虚拟化集群的规模 搭建更健康的 IT 体系架构 客户端方面 延续了原先的访问模式 对于虚拟服务器的数据交互等操 作 等同于原先传统物理服务器的的访问模式 不会对业务系统造成任何不利影响 本章节接下来的部分 将从计算 存储 网络 可用性 管理与监控五个方面对 XXX 客户的数据中心进行全面高效的规划设计 2 1计算资源规划计算资源规划 虚拟机上运行着为各个用户和整个业务线提供支持的应用与服务 其中有很多都 是关键业务应用 因此 用户必须正确设计 调配和管理虚拟机 以确保这些应用与 服务能够高效运行 VMware ESXi 主机是数据中心的基本计算构造块 这些主机资源聚合起来可构建 高可用动态资源池环境 作为数据中心各应用的整体计算资源 11 本小节将根据 XXX 客户的生产环境 对计算资源进行整体规划 包括物理服务器 虚拟机等资源 指导原则与最佳实践指导原则与最佳实践 除非确实需要多个虚拟 CPU vCPU 否则默认配置一个 使用尽可能少的 虚拟 CPU 操作系统必须支持对称多处理 SMP 功能 应用必须是多线程 的 才能受益于多个虚拟 CPU 虚拟 CPU 的数量不得超过主机上物理 CPU 核心 或超线程 的数量 不要规划使用主机的所有 CPU 或内存资源 在设计中保留一些可用资源 要实现虚拟机内存性能最优化 关键是在物理 RAM 中保留虚拟机的活动内 存 应避免过量分配活动内存 始终将透明页共享保持启用状态 始终加载 VMware Tools 并启用内存释放 资源池 CPU 和内存份额设置不能用于配置虚拟机优先级 资源池可用于为 虚拟机分配专用 CPU 和内存资源 在工作负载极易变化的环境中配置 vSphere DPM 以降低能耗和散热成本 部署一个系统磁盘和一个单独的应用数据磁盘 如果系统磁盘和数据磁盘需 要相同的 I O 特征 RAID 级别 存储带宽和延迟 应将它们一起放置在 一个数据存储中 应用要求应作为向虚拟机分配资源的主要指标 使用默认设置部署虚拟机 明确采用其他配置的情况除外 像保护物理机一样保护虚拟机的安全 确保为虚拟基础架构中的每个虚拟机 启用了防病毒 反间谍软件 入侵检测和防火墙 确保随时更新所有的安全 保护措施 应用合适的最新补丁 要将虚拟机软件和应用保持在最新状态 应使用补丁程序管理工具 或者安装和配置 Update Manager 为避免管理连接问题 应向每个 ESXi 主机分配静态 IP 地址和主机名 为 便于管理 应为 DNS 配置每个 ESXi 主机的主机名和 IP 地址 确保数据中心有足够的电源和散热容量以避免服务中断 无论选择了哪个硬件平台 都应设计一致的平台配置 特别是在 VMware 集群中 一致性包括 CPU 类型 内存容量和内存插槽分配 网卡和主机总 线适配器类型 以及 PCI 插槽分配 使用一个或多个启用了 vSphere HA 和 DRS 的集群 以增加可用性和可扩 展性 使用横向扩展还是纵向扩展集群由集群用途 基础架构规模 vSphere 限制 以及资金和运营成本等因素确定 计算资源规划计算资源规划 基于上述指导原则与最佳实践 结合 XXX 客户数据中心的实际情况 我们对计算 资源进行如下的规划设计 12 我们使用容量规划工具对 XXX 客户数据中心里的 1000 款不同的应用进行了采样评 测 以获取这些应用对 CPU 和内存的需求情况 具体的分析结果如下所示 项目项目数值数值 每个系统的平均 CPU 需求量2 平均 CPU 主频 MHz 2800MHz 每个系统的平均正常化 CPU 主频 MHz 5663MHz 每个系统的平均 CPU 使用率6 5 368 01MHz 每个系统的平均 CPU 峰值使用率9 509 67MHz 1000 台虚拟机的峰值 CPU 总需求量509 670MHz 表 CPU 资源需求 项目项目数值数值 每个系统的平均内存需求量1024MB 平均内存使用率62 634 88MB 平均内存峰值使用率70 716 80MB 无内存共享时 1000 台虚拟机的内存峰值需求量716 800MB 虚拟化后的内存共享预期收益率50 内存共享后 1000 台虚拟机的内存峰值总需求量358 400MB 表 内存资源需求 我们建议如下的 ESXi 主机 CPU 与内存配置 项目项目数值数值 每台主机的 CPU 数4 每颗 CPU 的核心数4 每个 CPU 核心的主频 MHz 2 400 每颗 CPU 的总主频 MHz 9 600 13 项目项目数值数值 每台主机的总 CPU 频率 MHz 38 400 最大 CPU 使用率建议80 每台主机的可用 CPU30 720MHz 表 ESXi 主机 CPU 配置建议 项目项目数值数值 每台主机的内存容量32 768MB 32GB 最大内存使用率建议80 每台主机的可用内存26 214MB 表 ESXi 主机内存配置建议 对于上述配置的一些说明如下 每台服务器的运算能力按照峰值而非平均值进行估算 确保可以支持虚拟机 应用同时运行的最高值 CPU 和内存的估算需要预留 20 的空间用于突发的计算能力过量 内存共享按照 50 的比例进行估算 这个数值是基于整合的应用全部以 Windows Server 2003 服务器操作系统进行核算的 接下来 我们将根据上面这些应用需求与 ESXi 主机配置 对计算资源进行估算 下面这个公式用来估算可以满足数据中心中这些虚拟机在 CPU 峰值时正常运行所 需的 ESXi 主机个数 所有虚拟机的所有虚拟机的 CPUCPU 峰值频率需求量峰值频率需求量 每台每台 ESXiESXi 主机的可用主机的可用 CPUCPU 需要的需要的 ESXiESXi 主机个数主机个数 根据上述公式 XXX 客户为了使这 1000 款应用可以在 CPU 峰值时正常运行所需 的 ESXi 主机个数是 509 670MHz CPUCPU 频率总体需求量频率总体需求量 30 720MHz 每台主机的可用每台主机的可用 CPUCPU 频率频率 16 59 个个 ESXi 主机主机 下面这个公式用来估算可以满足数据中心中这些虚拟机在内存峰值时正常运行所 需的 ESXi 主机个数 所有虚拟机的内存峰值总需求量所有虚拟机的内存峰值总需求量 需要的需要的 ESXiESXi 主机个数主机个数 14 每台每台 ESXiESXi 主机的可用内存主机的可用内存 根据上述公式 XXX 客户为了使这 1000 款应用可以在内存峰值时正常运行所需 的 ESXi 主机个数是 358 400MB 内存总体需求量内存总体需求量 26 214MB 每台主机的可用内存每台主机的可用内存 13 67 个个 ESXi 主机主机 从 CPU 的角来说 需要 17 台 ESXi 主机 而从内存的角度来看 则需要 14 台物 理主机 很显然 我们应该为该数据中心配置 17 台 ESXi 主机并组建集群 为了使用 vSphere 的高可用功能 我们还需要添加一台 ESXi 主机到该集群 因此 总的物理主 机数目为 18 台 上述对计算资源的规划可以满足虚拟机环境资源突发时的资源溢出要求 2 2存储资源规划存储资源规划 正确的存储设计对组织实现其业务目标有着积极的影响 可以为性能良好的虚拟 数据中心奠定一定的基础 它可以保护数据免受恶意或者意外破坏的影响 同时防止 未经授权的用户访问数据 存储设计必须经过合理优化 以满足应用 服务 管理员 和用户的多样性需求 存储资源规划的目标是战略性地协调业务应用与存储基础架构 以降低成本 改 善性能 提高可用性 提供安全性 以及增强功能 同时将应用数据分配到相应的存 储层 本小节将根据 XXX 客户的生产环境 对存储资源进行整体规划 包括共享存储逻 辑规划 存储空间规划 存储 I O 控制规划 存储分层规划等 指导原则与最佳实践指导原则与最佳实践 在规划存储资源时 我们会遵循如下的指导原则与最佳实践 构建模块化存储解决方案 该方案可以随时间推移不断扩展 以满足组织的 需求 用户无需替换现有的存储基础架构 在模块化存储解决方案中 应同 时考虑容量和性能 每个存储层具有不同的性能 容量和可用性特征 只要不是每个应用都需要 昂贵 高性能 高度可用的存储 设计不同的存储层将十分经济高效 配置存储多路径功能 配置主机 交换机和存储阵列级别的冗余以便提高可 用性 可扩展性和性能 允许集群中的所有主机访问相同的数据存储 启用 VMware vSphere Storage APIs Array Integration VAAI 与存储 I O 控制 配置存储 DRS 以根据使用和延迟进行平衡 根据 SLA 工作负载和成本在 vSphere 中创建多个存储配置文件 并将存 储配置文件与相应的提供商虚拟数据中心对应起来 15 对于光纤通道 NFS 和 iSCSI 存储 可对存储进行相应设计 以降低延迟 并提高可用性 对于每秒要处理大量事务的工作负载来说 将工作负载分配 到不同位置尤其重要 如数据采集或事务日志记录系统 通过减少存储路 径中的跃点数量来降低延迟 NFS 存储的最大容量取决于阵列供应商 单个 NFS 数据存储的容量取决于 将访问数据存储的每个虚拟机所需的空间 乘以在延迟可接受的情况下可以 访问数据存储的虚拟机数量 考虑将存储 DRS 配置为使其成员数据存储的 使用量保持在 80 默认设置 的均衡水平 单个 VMFS 数据存储的容量取决于将访问数据存储的每个虚拟机所需的空 间 乘以在延迟可接受的情况下可以访问数据存储的虚拟机数量 考虑配置 存储 DRS 使数据存储使用量保持在 80 的均衡水平 保留 10 到 20 的 额外容量 用于容纳快照 交换文件和日志文件 为促进对 iSCSI 资源的稳定访问 应该为 iSCSI 启动器和目标配置静态 IP 地址 对于基于 IP 的存储 应使用单独的专用网络或 VLAN 以隔离存储流量 避 免与其他流量类型争用资源 从而可以降低延迟并提高性能 根据可用性要求选择一个 RAID 级别 对大多数虚拟机工作负载而言 如果 阵列具有足够的电池供电缓存 RAID 级别对性能不会产生影响 对于大多数应用 除非存在对 RDM 的特定需求 否则请使用 VMDK 磁盘 共享存储逻辑规划共享存储逻辑规划 考虑采用本地存储将无法形成整个虚拟化集群资源池 因此无法有效地使用 vSphere 虚拟化环境的高可用 灵活配置等功能 本方案将建议购置或利用现有的存 储交换网络 SAN 网络 并新增磁盘阵列作为共享 SAN 存储 同时做好相应的设备 SAN HBA 卡 交换机等 布线 空间 场地布局等相应的规划 在设计存储架构时应该充分考虑到冗余和性能 因此存储架构的选择根据国家和 各省级数据中心整体应用对存储的 IOPS 和吞吐量的需求进行规划 涉及到端到端的 主机适配器选择 控制器和端口数量选择以及磁盘数量和 RAID 方式选择等 每台 vSphere 服务器到存储的连接示意图示意图如下所示 16 ESXi Host vmhba0vmhba1 Fibre Switch AFibre Switch B SAN Storage Processor ASAN Storage Processor B 1TB LUN VMFS 1 VMFS 2 VMFS 3 VMFS VMFS VMFS VMFS VMFS 25 1TB LUN 1TB LUN 1TB LUN 1TB LUN 1TB LUN 1TB LUN 1TB LUN vmhba2vmhba3 图 每台服务器的存储连接示意图 针对上图的一些说明如下 确保每个 ESXi 主机内虚拟机并发 IO 队列长度与 HBA 适配卡设置保持一致 底层 LUN 的需求根据实际虚拟机应用对存储 IOPS 的实际需求进行规划 根据应用的需要设置 LUN 的 RAID 结构 如对于随机读写的数据库如 Oracle SQL 数据库 建议在 LUN 级别采用 RAID10 结构 对于数据库日 志通常为连续写或恢复时连续读 建议在 LUN 级别采用 RAID5 结构 对于 IO 密集型的应用尽量采用单独的 VMFS 存储 避免在存储端与其他应 用产生 IO 争用 多个虚拟机共用一个数据存储或者多个主机共享一个数据存储时 可以启用 存储队列 QoS 确保核心应用的延时在可控范围以及对数据存储读写的优先 级 通常情况下 1 2TB 的 LUN 大小具有较好的性能和可管理性 磁盘阵列的选择应该满足整个虚拟化环境最大 IOPS 的吞吐量需求 并配置 足够的存储处理器 缓存和端口数 对于双活 ALUA 磁盘阵列 非双活磁盘阵列 为了防止链路抖动 对于每 个 LUN 在同一时间配置只有一个 ESXi 服务器通过一个存储处理器进行访 17 问 这就需要在多路径策略选择时设置为 MRU 最近使用策略 该策略 可以保证只有在某个路径故障时才启用另一个存储处理器连接 LUN 存储空间规划存储空间规划 规划 LUN 容量时 建议每个 LUN 运行 10 到 20 个 VM 数据事务类应用可以适当 减少 并且每个 LUN 的使用量不超过容量的 80 若 VM 需要直接访问存储卷 如 NTFS 或 EXT3 应在存储中另外创建一 LUN 以 RDM 方式映射到 VM VM 以裸磁盘方式使用 LUN 容量规划的公式如下所示 LUN 容量 Z x X Y 1 25 其中 Z 每 LUN 上驻留 10 个虚拟机 Y 虚拟磁盘文件容量 X 内存大小 根据 XXX 客户的实际生产环境的情况 即 1GB 内存 单一 VMDK 文件需要 80GB LUN 容量计算如下 LUN 容量 10 x 1 80 1 25 1000 GB 根据最佳实践 部署的每一个 VMFS 文件系统下最好分配一个 LUN 磁盘 这样 可以避免虚拟机文件 VMDK 跨 LUN 造成的性能不一致等问题 因此在构建 VMFS 文 件系统的空间时应该充分考虑在其上运行的虚拟机数量和可增长空间 在规划时将 LUN 的空间预留充足 虽然将来仍然可以利用 vmkfstools 等工具在线扩充 VMFS 但 是仍然无法避免上述虚拟机磁盘跨 LUN 使用的问题 我们建议 XXX 客户采用如下的存储配置 项目项目说明说明 存储类型Fibre Channel SAN 存储处理器个数2 冗余 交换机个数 每个主机上每个交换机的端口数 2 冗余 1 LUN 大小1TB LUN 总数根据总量确定 每个 LUN 上的 VMFS 数据存储数1 VMFS 版本5 18 表 存储配置建议 存储分层规划存储分层规划 每个存储层具有不同的性能 容量和可用性特征 只要不是每个应用都需要昂贵 高性能 高度可用的存储 设计不同的存储层将十分经济高效 一个典型的存储分层 实例如下图所示 图 存储分层实例 在规划存储分层时 我们主要考量应用和服务的如下存储特征 每秒 I O 操作数 IOPS 要求 每秒兆字节数 MBps 要求 容量要求 可用性要求 延迟要求 并依据下列信息将应用及服务移至设计有匹配特征的存储层 考虑任何现有的服务级别协议 SLA 数据在信息生命周期中可能会在存储层之间移动 基于上述原则 我们为 XXX 客户所做的存储分层规划如下所示 层层接口接口应用应用速度速度 RAIDRAID 磁盘数磁盘数注释注释 1 光纤通道 电子邮件 Web 服务 器 客户资源 管理 15K RPM10810 VMs VMFS 数据存储 19 层层接口接口应用应用速度速度 RAIDRAID 磁盘数磁盘数注释注释 2 光纤通道 薪酬管理 人力资源 15K RPM5415 VMs VMFS 数据存储 3 光纤通道 测试 开发 10K RPM5415 VMs VMFS 数据存储 表 存储分层实现 数据存储群集规划数据存储群集规划 数据存储以及与数据存储群集关联的主机必须符合特定要求 才能成功使用数据 存储群集功能 创建数据存储群集时 应遵循下列准则 数据存储群集必须包含类似的或可互换的数据存储 一个数据存储群集中可以混用不同大小和 I O 能力的数据存储 还可以混用来自不 同阵列和供应商的数据存储 但是 下列类型的数据存储不能共存于一个数据存储 群集中 在同一个数据存储群集中 不能组合使用 NFS 和 VMFS 数据存储 在同一个启用了存储 DRS 的数据存储群集中 不能结合使用复制的数据存 储和非复制的数据存储 连接到数据存储群集中的数据存储的所有主机必须是 ESXi 5 0 及更高版本 如果数据存储群集中的数据存储连接到 ESX ESXi 4 x 及更早版本的主机 则存储 DRS 不会运行 数据存储群集中不能包含跨多个数据中心共享的数据存储 最佳做法是 启用了硬件加速的数据存储不能与未启用硬件加速的数据存储 放在同一个数据存储群集中 数据存储群集中的数据存储必须属于同类 才 能保证实现硬件加速支持的行为 基于上述原则 我们建议 XXX 客户采用如下数据存储集群规划 集群名集群名存储存储 DRSDRS 自动化自动化是否启动是否启动 I OI O MetricMetric 空间使用率空间使用率I OI O 延迟延迟 DataClusters W O启用全自动化是85 15ms DataClusters W启用未自动化是85 15ms 表 数据存储集群设计 2 3网络资源规划网络资源规划 20 正确的网络设计对组织实现其业务目标有着积极的影响 它可确保经过授权的用 户能够及时访问业务数据 同时防止未经授权的用户访问数据 网络设计必须经过合 理优化 以满足应用 服务 存储 管理员和用户的各种需求 网络资源规划的目标是设计一种能降低成本 改善性能 提高可用性 提供安全 性 以及增强功能的虚拟网络基础架构 该架构能够更顺畅地在应用 存储 用户和 管理员之间传递数据 本小节将根据 XXX 客户的生产环境 对网络资源进行整体规划 包括虚拟交换机 网卡绑定等 在规划网络设计时 我们主要从以下几个方面进行考量并进行相关的设计 连接要求 带宽要求 延迟要求 可用性要求 成本要求 指导原则与最佳实践指导原则与最佳实践 在规划网络资源时 我们会遵循如下的指导原则与最佳实践 构建模块化网络解决方案 该方案可随时间的推移不断扩展以满足组织的需 求 使得用户无需替换现有的网络基础架构 进而降低成本 为了减少争用和增强安全性 应该按照流量类型 vSphere 管理网络 HA 心跳互联网络 vMotion 在线迁移网络 虚拟机对外提供服务的网络 FT IP 存储 对网络流量进行逻辑分离 VLAN 可减少所需的网络端口和电缆数量 但需要得到物理网络基础架构的 支持 首选分布式交换机 并应尽可能少配置虚拟交换机 对于每一个虚拟交换机 vSwitch 应该配置至少两个上行链路物理网络端口 可以在不影响虚拟机或在交换机后端运行的网络服务的前提下 向标准或分 布式交换机添加或从中移除网络适配器 如果移除所有正在运行的硬件 虚 拟机仍可互相通信 如果保留一个网络适配器原封不动 则所有的虚拟机仍 然可以与物理网络相连 连接到同一 vSphere 标准交换机或分布式交换机的每个物理网络适配器还 应该连接到同一物理网络 将所有 VMkernel 网络适配器配置为相同 MTU 实施网络组件和路径冗余 以支持可用性和负载分配 使用具有活动 备用端口配置的网卡绑定 以减少所需端口的数量 同时保 持冗余 对于多网口的冗余配置应该遵循配置在不同 PCI 插槽间的物理网卡口之间 21 对于物理交换网络也应该相应的进行冗余设置 避免单点故障 建议采用千 兆以太网交换网络 避免网络瓶颈 对吞吐量和并发网络带宽有较高使用要求的情况 可以考虑采用 10GbE 不过采用万兆网络在适配器和交换机上的投入成本也会相应增加 简单的方 法是通过在虚拟机网络 vSwitch 或 vPortGroup 上通过对多块 1GbE 端口捆 绑负载均衡实现 将直通设备与 Linux 内核 2 6 20 或更低版本配合使用时 避免使用 MSI 和 MSI X 模式 因为这会明显影响性能 为了保护大部分敏感的虚拟机 要在虚拟机中部署防火墙 以便在带有上行 链路 连接物理网络 的虚拟网络和无上行链路的纯虚拟网络之间路由 虚拟交换机规划虚拟交换机规划 为每台 vSphere 服务器规划的虚拟交换机配置如下 标准虚拟交换机 分布式虚拟交换机标准虚拟交换机 分布式虚拟交换机功能功能物理网卡端口数物理网卡端口数 VDS0 管理网络 2 VDS1vSphere vMotion2 VDS2 虚拟机网络 2 表 每台服务器的虚拟交换机建议 上述配置的相关说明如下 所选用的网卡必须在 vSphere 服务器的网络 I O 设备兼容列表里 请从 上查找最新的 网络 I O 设备来确认选用网卡设备是否满足要求 对于虚拟交换机的双端口冗余 如果网卡自带软件支持可以在 ESX 操作系 统级别实现 NIC Teaming 本方案建议通过在 vSwitch 交换机层面配置双网 卡的负载均衡或主备切换策略 负载均衡策略可以基于虚拟机源地址或目标 地址 IP 哈希值 也可以设置为基于 MAC 地址哈希值 对于虚拟机应用的网络 为了确保虚拟机在执行了 vMotion 迁移到另一物理 主机时保持其原有的 VLAN 状态 建议根据实际需要在虚拟交换机端口启用 802 1q 的 VLAN 标记 VST 方式 采用此方式可以确保迁移主机可以保 留原有的网络配置如网关等 并且建议在网络设置中启用通知物理交换机功 能 该功能可以确保迁移主机通过反向 ARP 通知物理交换机虚拟机端口的 更改 确保新的用户会话可以被正确建立 对于虚拟机存储 采用 IPSAN 网络 通过虚拟机 vmkernel 包含的 PSA 多 路径模块进行存储路径汇聚及故障策略选择 vSphere 主机网络连接配置示意图示意图如下所示 22 图 主机网络连接示意图 网卡绑定网卡绑定 服务器整合会将各种故障影响混在一起 从而增加对冗余的需要 而通过使用来 自多个网卡和主板接口的端口配置网卡绑定可进一步减少单点故障的数量 除此之外 网卡绑定还可以增加网络路径的可用带宽 网卡绑定要求满足以下条件 将两个或更多网卡分配到同一虚拟交换机 同一端口组中的所有网卡都位于相同的第二层广播域中 网卡绑定的示意图示意图如下所示 23 图 网卡绑定示意图 2 4可用性规划可用性规划 本次规划充分考虑了虚拟化环境的可用性设计 例如 在网络层面和存储层面分 别利用了 VMware vSphere 内置的网络冗余和存储多路径控制确保高可用 在服务器 高可用性上 vSphere 内置了 HA DRS 和 vMotion 等功能可以应对本地站点多种虚 拟机应用计划内和计划外意外停机的问题 本小节将根据 XXX 客户的生产环境 对可用性进行整体规划 可用性相关技术的说明与配置指导原则如下 组件组件可用性可用性故障影响故障影响 维护正在运行的工作负载维护正在运行的工作负载 24 组件组件可用性可用性故障影响故障影响 vSphere 主机 在高可用性集群中配置所有 vSphere 主机 最少应实现 n 1 冗余 这样可保护客户的 虚拟机 托管平台门户 管理 应用 如果某台主机出现故障 vSphere HA 可在 13 秒内检测到故障 并 开始在集群内的其他主机上启动 该主机的虚拟机 vSphere HA 接入控制会确保集群 内有足够的资源用于重新启动虚 拟机 VMware 建议采用一种名为 集群资源百分比 的接入控制 策略 因为此策略不仅十分灵活 而且能够实现资源可用性 此外 VMware 还建议对 vCenter 进行配置 使之能够主动将虚拟 机从运行状况不稳定的主机中迁 移出来 在 vCenter 中 可以定义用于监控 主机系统运行状况的规则 虚拟机资 源使用情 况 vSphere DRS 和 vSphere Storage DRS 可在主机之间迁移虚拟机 以便平 衡集群资源和降低出现 邻位干扰 虚拟机的风险 防止虚拟机在主机 内独占 CPU 内存和存储资源 从 而避免侵害相同主机上的其他虚 拟机 当检测到 I O 冲突时 vSphere Storage I O Control 会自动调节主机 和虚拟机 确保在数据存储中的虚 拟机之间公平分配磁盘份额 这可 确保邻位干扰虚拟机不会独占存储 I O 资源 Storage I O Control 会利 用份额分配机制来确保每个虚拟机 获得应得的 资源 无影响 通过 vSphere DRS 或 vSphere Storage DRS 无需停机即 可在主机之间迁移虚拟机 无影响 Storage I O Control 会根 据虚拟机和 vSphere 主机相应的份 额授权容量或配置的最大 IOPS 数 量来调节虚拟机和 vSphere 主机 25 组件组件可用性可用性故障影响故障影响 vSphere 主机网络 连接 为端口组最少配置两个物理路径 防止因单个链路故障而影响到平台 或虚拟机连接 这包括管理和 vMotion 网络 可使用基于负载的绑 定机制来避免超额使用网络链路的 情况 无影响 即使发生故障切换 也 不会导致服务中断 需要配置故障切换和故障恢复以 及相应的物理设置 如 PortFast vSphere 主机存储 连接 对于每个 LUN 或 NFS 共享 将 vSphere 主机配置为至少具有两个物 理路径 以防止因单个存储路径故 障而影响到服务 基于存储供应商 的设计指导准则来甄选路径选择插 件 无影响 即使发生故障切换 也 不会导致服务中断 保持工作负载可访问性保持工作负载可访问性 VMware vCenter Server vCenter Server 作为虚拟机运行并使 用 vCenter Server Heartbeat vCenter Server Heartbeat 针对 vCenter Server 提供一个集群解决 方案 可在节点之间实现全自动 故障切换 几乎可实现零停机 表 可用性技术相关说明 VMware HA 提供了简单易用 高效 高可用的虚拟机应用运行环境 在物理机发 生故障时 可以被集群中的其他物理节点侦测到并且自动在备用物理机或其他有空闲 资源的物理机启动故障节点在线的虚拟机 此外 如果虚拟机操作系统故障也可以被 VMware HA 侦测到并尝试重启该虚拟机 最大限度保持虚拟机应用的可用性 利用 VMware DRS 动态资源调配可以收集各物理主机和虚拟机资源 CPU 内存 等 使用情况 并且提供虚拟机最佳放置策略 可以自动或手动进行虚拟机的在线迁 移功能满足最佳负载平衡需求 利用 DRS 建立资源池 可以最大限度的保证 XXXX 信 息中心虚拟化环境的核心应用 例如针对办公系统的 SQL 数据库设置高优先级别 确 保其在资源池中 CPU 内存等资源的配比保持最优 同时 可以构建 D