Nutanix虚拟化建议方案

Nutanix 建议书 1 1 Hadoop on Nutanix 1 虚拟化虚拟化建建议书议书 Nutanix 建议书 2 2 Hadoop on Nutanix 2 目录目录 虚拟化建议书 1 1 项目背景 3 2 需求分析 4 3 系统改造方案 5 3 1 技术选型 5 3 2 系统拓扑图 6 3 3 具体方案描述 7 3 3 1 融合的计算资源 7 3 3 2 融合的存储资源 8 3 4 设备配置参数 10 3 5 方案优点 10 4 Nutanix 简介 11 4 1 Nutanix 的发展历程 11 4 2 Nutanix 区块和 Nutanix 节点 12 4 3 Nutanix 的可扩展性 13 4 4 Nutanix 的性能 15 4 5 Nutanix 的可用性 15 4 6 Nutanix 的支持 16 Nutanix 建议书 3 3 Hadoop on Nutanix 3 1 项目项目背景背景 信息化数据不断增长且集中的业务对 IT 部门的要求越来越高 所以数据中心需要 更为快速的提供所需能力 在以往运维工作中 可以看到 IT 建设亦面临着诸多问题 1 1 存在资源部署浪费及信息安全风险 存在资源部署浪费及信息安全风险 机房设备目前多采用 X86 架构的服务器 随着业务的增长 服务器数量逐年增长 而有些单个业务系统要求远远小于一台物理服务器资源 多种操作系统 数据库 中 间件共用服务器又存在兼容性问题及互相影响的风险 因此目前的布署模式存在一定 程度的服务器资源的浪费 每个业务系统都需要至少一台服务器 虽然每次投资不多 但是这个投资是随着业务系统的增加不断均衡的投入 在不对当前资源分配 使用模 式进行变动的情况下 无法同时保障信息系统安全 亦无法实现资源高效利用和成本 投入控制 2 2 设备稳定性影响业务系统正常运作的风险 设备稳定性影响业务系统正常运作的风险 绝大部分的业务系统 都是单机部署 系统维护 升级或者扩容时候需要停机进 行 造成应用中断 大大的降低了可用性低 同时 某些老的业务系统迁移到新的硬 件平台时 可能存在一些兼容性的问题 从而在一定程度上限制了业务的发展 现有的业务服务器既承担业务处理的任务 又承担数据存储的任务 会使性能及 处理能力降级 直接影响到关键业务系统的响应时间 另外 部分生产数据大部分都仅存储于服务器本地磁盘空间之中 数据无冗余 备份 大量数据没有容灾 一旦出现服务器硬件故障 例如硬盘故障 Raid 卡损坏等 将导致数据无法挽回 业务中断 公司的正常工作无法进行 甚至会出现所有的历史 数据一次性丢失 3 3 生产设备运作存在忙闲时段 资源充分利用率不高 生产设备运作存在忙闲时段 资源充分利用率不高 生产业务用服务器普遍存在工作时间繁忙 非工作时间空闲的情况 而管理用服 务器如一些数据中心 报表服务器 业务分析服务器等则在非工作时间进行大量的业 务数据分析运算 所以直接生产用设备和管理用设备在当前分别部署应用的情况下无 法共享硬件资源 在发生相关资源不足的情况下无法实现互相补充 导致整体资源利 用率不高 4 4 环境升级 投入巨大 环境升级 投入巨大 机房里大量的服务器也会给管理人员带来大量的管理上的麻烦 管理员每天得花 Nutanix 建议书 4 4 Hadoop on Nutanix 4 大把时间去处理服务器出现的各种故障 故障的排除及预防 即使是管理员这么努力 做了也无法阻挡故障的发生带来的损失 而且每天还得花大量的精力去做每台服务器 的数据管理 5 5 机房环境要求较高 运维成本将逐年增加 机房环境要求较高 运维成本将逐年增加 机房 UPS 设备目前的负载较高 如果继续增加用电设备 则无法保障在单台 UPS 设备故障时的供电安全 此外 设备的正常老化亦将在一定程度上增加能耗 致使 UPS 负载过重 另外还涉及数据中心空间 机柜 网线 冷气空调等 这些都将大大的增加运营 和维护成本高 为了彻底解决以上问题 需通过构建基于虚拟化技术的融合的 IT 服务平台 提高 资源利用率 降低成本 打造绿色和低碳经济 2 需求分析需求分析 针对以上的现状分析 提出以下建设目标 高效的资源整合 提高IT设备利用率 优化 现有基础平台 简化存储管理 消除性能限制 实现系统 无限的 线性的横向拓 展 高效的集中化管理 提供集中实时系统监控 便于及时发现系统热点 绿色节能 按需服务 构建虚拟化的平台系统容灾 Nutanix 建议书 5 5 Hadoop on Nutanix 5 3 系统系统改造方案改造方案 3 1 3 1 技术选型技术选型 在机房空间 辅助设施等进行扩容相对成本较高且施工困难的情况下 要解决有 限资源与日益增长的业务需求的矛盾 就需要通过提高现有资源的利用率 降低单系 统资源投入 提高单设备的负载能力实现 通过对业界相关技术的了解与比较 针对 该类情况的技术解决方案为采用服务器虚拟化技术 虚拟化技术改变在以往的单服务器上直接安装操作系统并进行应用系统等安装 直接提供单一操作系统平台 业务平台使用的模式 而是利用支持硬件虚拟化的服务 器硬件安装底层虚拟机系统 在虚拟机系统之上安装多个操作系统 将服务器物理资 源抽象成逻辑资源 让一台服务器变成几台甚至上百台相互隔离的虚拟服务器 不再 受限于物理上的界限 而是让 CPU 内存 磁盘 I O 等硬件变成可以动态管理的 资 源池 使用该技术避免了单一操作系统环境下布署不同应用系统可能造成的互相影响 也避免了单物理服务器仅用于单个应用系统形成的资源浪费 能够更合理的统筹分配 物理设备的资源 提高资源的利用率 简化系统管理 实现服务器整合 让 IT 对业务 的变化更具适应力 为了更好的满足上述要求 全球虚拟化产品领先厂商 VMware 公司与融合基础架构 厂商 Nutanix 公司通力合作 共同为用户推荐了如下的采用 VMware 虚拟架构软件的服 务器虚拟架构解决方案 该方案将极大的提供服务器整合的效率 大幅度简化了服务 器群管理的复杂性 提高了整体系统的可用性 同时还明显的减少了投资成本 具有 很好的技术领先性和性价比 Nutanix 建议书 6 6 Hadoop on Nutanix 6 Nutanix 提供的 虚拟化计算平台 是采用内嵌企业级 存储 的可扩展的基础服 务平台 可以为 VM 提供最优化的运行环境 真正融合 无缝的将计算 存储资源进行整合 提供真正的一体化设备 线性扩展 每次增加一个节点 实现性能 容量的线性扩展 软件定义 基于通用的 X86 硬件 由软件提供所有服务 混合资源 在单一的架构中 为企业内的所有虚拟机 云 提供统一的资源调配 3 2 3 2 系统拓扑图系统拓扑图 在系统建设中 对于基础硬件设施选择的主要考虑是可靠性 可用性 以及高性 能 安全性和可管理性 还要考虑可扩展性和开放性 因此 我们强烈建议客户方融 合计算资源 存储资源以及虚拟化平台于一体 Nutanix 系列产品 完美的实现正真意 义上的整合的虚拟化架构 拓扑图如下 内部逻辑架构如下 Nutanix 建议书 7 7 Hadoop on Nutanix 7 3 3 3 3 具体方案描述具体方案描述 本次项目中 我们可以将 Nutanix 提供的 虚拟化计算平台 融入现有的环境中 并逐步将现有物理系统转换成 VM 虚拟机 迁移至 Nutanix 设备当中 进而实现预期 建设目标 3 3 1 3 3 1 融合的计算资源融合的计算资源 基于 Nutanix 架构的模块化数据中心由 Nutanix 区块和 Nutanix 节点组成 Nutanix 一个区块设备 仅占用 2 个机架单元 却能够提供 4 台服务器和高达 19 2TB 存储容量 每台 Nutanix 区块设备均含有四个独立的 Nutanix 节点 每个节点都是一台独立 的服务器 在 vCenter 中被视为一台独立的 ESXi 主机 即每个 Nutanix 节点都是一台 标配有 2 路 6 核 CPU 128GB 以上内存的 PC 服务器 同时每个 Nutanix 节点都预先安 装配置了 VMware 虚拟架构套件 Vsphere 企业版软件 用于在单个 Nutanix 节点上 利 用单节点强大的处理能力 生成多个虚拟服务器 而每一个虚拟服务器 从功能 性 Nutanix 建议书 8 8 Hadoop on Nutanix 8 能和操作方式上 等同于传统的单台物理服务器 在每个虚拟服务器上 再安装配置 Windows 或 Linux 操作系统 进而再安装应用软件 这样以前的每个物理服务器就变身 成为 VMware Vsphere 服务器上的虚拟机 通过跨大量虚拟机共享硬件资源提高了硬件利用率从而大大降低了资金和运营成 本 通过高级资源管理 高可用性和安全功能提高了服务级别 对于资源密集型的应 用程序也不例外 通过以上虚拟化的实施 不仅增强了系统和应用的可用性 同时还 提高了系统的灵活性和快速响应 3 3 1 1 3 3 1 1 计算资源配置计算资源配置 A CPU 资源资源 Vmware 虚拟化环境中 多个 VM 共享物理服务器的 CPU 资源 一般比例控制在 1 6 以内 按照当前用户需求重负载服务器虚拟化 CPU 核心共享比率定义为 1 3 则 当前所需物理 CPU 资源为 13 个应用 8vCPU 104vCPU 虚拟服务器资源池的 VCPU 需求为 104 Vcpu Nutanix 提供方案的节点配置包含 2 6 核 CPU 共 12 核 CPU 四个节点共 48 核 CPU 按照 1 3 计算可以提供 144vCPU B Cache 资源资源 由于 Cache 的共享性效率不高 因此 建议按实际需求进行配置 虚拟服务器资源池的 Cache 需求为 208GB 13 个应用 16GB 内存 208GB 当前所配置节点配置 128G 内存 分布式虚拟控制器消耗 16G 虚拟化层预留 4G 则每节点可 对外提供 108G Cache 四个节点可以提供 432GB Cache 3 3 2 3 3 2 融合的存储资源融合的存储资源 传统的虚拟化架构 为实现在线地迁移正在运行的虚拟机 VMware VMotion 进 行动态的资源管理 VMware DRS 等功能 后端必将增加一台专业的 SAN 存储设备 而这种架构无疑将增加系统架构的复杂度 以及运维管理的繁琐度 Nutanix 建议书 9 9 Hadoop on Nutanix 9 Nutanix 是则一个由高性能的节点组成的横向扩展型集群 集群每个节点除含有处 理器 内存外 还带有本地存储器 包括 SSD 和机械硬盘 所有节点的本地存储器均 通过 Nutanix 横向扩展型融合存储 SOCS 架构进行虚拟化 成为一个统一的存储库 SOCS 的作用就像一个先进的 SAN 利用所有节点的本地 SSD 和机械硬盘存储虚拟 机数据 集群中运行的虚拟机将数据写入 SOCS 就像写入 SAN 一样 同时 SOCS 提供 虚拟机感知功能 可提供先进的数据管理功能 它优先将数据存储于本地系统上 让 数据更接近虚拟机 从而大幅提高了存储性能 Nutanix 每个节点上运行一个软件定义存储控制器 通过这些存储控制器 集群中 的所有可用存储资源被整合为单一的文件系统提供给虚拟化层 该文件系统称为 Nutanix 分布式文件系统 NDFS Nutanix 存储 SOCS 架构摈弃了传统的 RAID 组和 LUN 概念 但却保留着企业级 SAN 或 NAS 常见的许多存储效率技术 例如 同步 异步多向远程复制 VMWare 综合快照和克隆 精简配置 Thin Provisioning 自动存储分级 闪存和硬盘之间 带内以及后处理压缩 尽管没有专门的 SAN 或 NAS Nutanix 的分布式文件系统却能够提供比 SAN 更高性 能 更高安全的存储资源 并能够无缝对接高可用性 DRS 和容错等企业虚拟化功能 Nutanix 建议书 10 10 Hadoop on Nutanix 10 3 3 2 1 3 3 2 1 存储资源效能存储资源效能 当前配置是 NX 1065 G4 可以提供 16TB 的可用空间 满足用户需求 3 4 3 4 设备配置参数设备配置参数 设备名称设备名称台数台数配置配置 NX 1465 G41 共四个节点 每个节点 2 路 E5 2620V3 12core 2 4GHz 主频 CPU 配置 128GB 内存 1 X 480G SSD 硬盘 2 X 4T SATA 磁盘 2 个万兆以太网口 2 个千兆以太网口 注意 1 Nutanix提供 100 软件定义的 真正的将 计算资源 于 存储资源 进行 融合 2 基于这种软件的架构 Nutanix 可将多种不同型号的设备汇集在一个资源池中统一调配 3 5 3 5 方案优点方案优点 简便的虚拟化 一次性配置存储器 便可自动支持群集中的所有 VM 因此无 须花费时间管理后端存储系统 轻松的管理 所有计算和存储资源一目了然 因此简化了日常管理 缩小数据中心规模 通过 2U 设备提供的本地融合架构极大地减少了数据中心 的空间 能源和冷却需求 容量优化 零开销克隆 自动精简配置以及在线和离线压缩等功能 业务弹性 高度容错的架构 在出现本地故障或站点范围灾难时 可保证 VM 的高可用性 超强性能 可将数据分层保存的本地固态硬盘 SSD 以传统硬盘的价格提供 SSD 的性能 可扩展性 横向扩展架构降低了重新架构未来部署的复杂性 实现了随需增长 的虚拟化 可提供长期投资保护 Nutanix 建议书 11 11 Hadoop on Nutanix 11 4 Nutanix 简介简介 4 1 4 1 NutanixNutanix 的发展历程的发展历程 Nutanix 的创始人正是创建谷歌分布式系统的那些人 该公司为企业数据中心提供 云环境中常见的可扩展性 可用性 简单性和高性能 下图显示了传统数据中心与谷 歌数据中心的外观差异 大多数云提供商实施的是所谓的软件定义数据中心 在传统 的数据中心 当管理员需要更多存储器时 便购买存储器 当需要更多计算能力时 便购买服务器 当需要安全性时 便购买防火墙 诸如此类 而在软件定义数据中心 你只有服务器 当你需要更多存储容量时 便调用存储服务 当你需要更多计算能力 时 同样的服务器便为你调出各种应用程序 当你需要其它基础设施服务时 便可按 照自己的需要调用和停用各种服务 因此 在软件定义数据中心 硬件不再是至关重 要的组件 数据中心的所有事项均在软件层进行控制和界定 因此能够实现前所未有 的简便性 可扩展性和自动化 图 1 传统数据中心对比谷歌数据中心 Nutanix 架构和软件定义存储 Nutanix 将融合基础设施 横向扩展架构和软件定义存储的各种优势结合在一起 可提供极佳的 VDI 体验 而其成本仅为传统服务器和存储器的一小部分 每一台 Nutanix 服务器均包含 CPU 内存 网络 SSD 或闪存 以及 HDD 存储功能 Nutanix Nutanix 建议书 12 12 Hadoop on Nutanix 12 存储控制器是一种虚拟机 运行于每台服务器上 可将本地存储转换成为共享存储 Nutanix 完整集群中的所有可用存储均作为单一的文件系统提供 称为 Nutanix 分布式 文件系统 图 2 Nutanix 计算存储完整架构 尽管没有专门的 SAN 或 NAS Nutanix 仍然能够无缝提供高可用性 DRS 和容错等 企业虚拟化功能 为了将性能最大化 Nutanix 存储控制器将特定虚拟机的所有数据保 存在同一服务器上 从而将时延最小化 而将 SSD 闪存的优势最大化 图 3 Nutanix 软件定义型存储控制器 4 2 4 2 NutanixNutanix 区块和区块和 NutanixNutanix 节点节点 基于 Nutanix 架构的模块化数据中心由 Nutanix 区块和 Nutanix 节点组成 下图 为 Nutanix 3000 系列区块设备 仅占用 2 个机架单元 却能够提供 4 台服务器和 20TB 存储容量 Nutanix 建议书 13 13 Hadoop on Nutanix 13 图 4 Nutanix 区块 而每台 Nutanix 区块设备均含有四个独立的 Nutanix 节点 每个节点都是一台独 立的服务器 在 vCenter 中可以视为一台独立的 ESXi 主机 每一台 ESXi 主机就是一 台 Nutanix 控制器虚拟机 型号不同 则 Nutanix 硬件的技术规格也有所差别 下面 是 Nutanix 3450 入门区块的技术规格和实物图 4 3 4 3 NutanixNutanix 的可扩展性的可扩展性 Nutanix 完整集群可以从 一个区块 4 个节点起步 并最终扩展至 100 多个节点 集群 4 个节点的入门包就位之后 集群能够以一次添加一个节点的方式逐步进行扩 展 给集群添加节点是一个完全动态的过程 无须停机 并可在 2 次点击之后完成 可扩展的 模块化的数据中心可扩展的 模块化的数据中心 Nutanix 建议书 14 14 Hadoop on Nutanix 14 一旦确定了一个节点上容纳多少台虚拟桌面 就能够非常轻松地预测 VDI 解决方案从 试用到投产的成本和性能 最为重要的是 在整个过程中 按每台桌面计算的成本始 终保持不变 图 5 线性横向扩展 Nutanix 给 VDI 环境带来的重要差异化因素之一就是 基础设施在进行扩展时其性 能仍然保持不变 为了展示这种能力 Nutanix 曾实施过一个巨型项目 模拟启动风暴 并且当基础设施从 300 台桌面扩展到 3000 台时 其性能从最终用户体验的角度来看保 持了一致 在大多数传统的存储环境中 最佳性能仅出现在第一天 因为应用程序或 工作负载越来越多 导致性能随着时间的推移不断下降 直至需要进行叉车式升级 采用全新的存储阵列 下图说明了 Nutanix 的性能优势 相对应用性能相对应用性能 虚拟桌面数量虚拟桌面数量 Nutanix 建议书 15 15 Hadoop on Nutanix 15 4 4 4 4 NutanixNutanix 的性能的性能 Nutanix 解决方案在 VDI 环境中的主要优势之一就是性能 而性能优势是通过传统 的服务器和存储架构实现的 在传统的架构中 时延是因为每次访问存储都需要通过 网络而造成的 通过 NFS 和 iSCSI 等协议提供存储本身没有问题 但网络会增加时延 Nutanix 可提供 NFS 协议的优势及其易用性 而通过所谓的 无网络 NFS 消除了网络 时延 Nutanix 分布式文件系统直接对虚拟机进行检测 然后将特定桌面的所有数据存 放到本地服务器上 因此 桌面不是通过网络 而是通过高速内部总线访问其数据 新西兰塔拉那基 Taranaki District Council of New Zealand 利用这种技术对传统 的服务器和存储基础设施进行改造 创建起了自己的 VDI 环境 极大地提高了性能 下图说明了性能提升的具体情况 点击图下的链接可观看客户的完整视频展示 图 6 塔拉那基 4 5 4 5 NutanixNutanix 的可用性的可用性 软件定义数据中心的优势之一在于架构的高可用性和灵活性 举例来说 最常见 的虚拟化形式是服务器虚拟化 也称为软件定义服务器 在服务器虚拟化之前 用户 需要购买物理服务器用于各种应用 但在服务器虚拟化之后 用户只须调用虚拟机用 于各种应用 这些虚拟机可视为软件定义服务器 在典型的虚拟服务器群中 对物理 改善 时延 改善 时延 Nutanix 建议书 16 16 Hadoop on Nutanix 16 服务器的依赖程度非常低 当某台物理服务器发生故障时 它上面的虚拟机或