Nutanix超融合系统POC测试报告2

Nutanix超融合系统POC测试报告

目录TOC\o"1-3"目录 21 前言 41.1 测试背景 41.2 测试目的 41.3 测试环境 41.4 测试项目汇总 61.5 测试总结 62 Nutanix综合功能测试 82.1 简易安装部署 92.1.1 使用Foundation快速部署AHV/vSphere&CVM 92.1.2 快速初始化配置 112.2 Prism统一管理运维工具 122.2.1 Prism主页信息概览 122.2.2 系统健康检查 122.2.3 硬件状态检查 132.2.4 直观和丰富的报表功能 132.2.5 快速备份和恢复 142.2.6 一键式不间断系统升级 142.2.7 命令行交互界面 152.3 其他Nutanix功能测试 162.3.1 硬件故障辅助定位（LED） 162.3.2 RESTAPIExplorer--查询所有RestAPI接口 172.3.3 SupportPortal--打开技术支持中心网站 172.3.4 Licensing--更新集群License 182.3.5 AuthenticationConfiguration--添加AD域管理验证 202.3.6 RoleMapping（可选） 212.3.7 CreateUser--创建用户 212.3.8 SMTPServer--配置邮件服务器地址 242.3.9 AlertEmailConfiguration--配置告警邮件 252.3.10 AlertPolicies--告警策略配置 262.3.11 FilesystemWhitelists--文件系统白名单 262.4 小结 273 AHV功能测试 293.1 虚机生命周期管理 293.1.1 创建虚机 293.1.2 客户操作系统及应用部署 313.1.3 克隆虚机 323.1.4 删除虚机 333.2 虚机可用性管理 343.2.1 在线漂移测试 343.2.2 高可用测试 353.3 虚机格式转换 373.4 小结 404 Nutanix扩展性及冗余测试 414.1 扩展性测试 424.2 冗余性测试 444.2.1 CVM冗余测试 444.2.2 电源冗余测试 464.2.3 链路冗余测试 474.2.4 节点冗余测试 484.2.5 磁盘冗余测试 494.3 小结 535 Nutanix平台性能测试 545.1 基本I/O性能测试 545.1.1 4K随机读写性能 545.1.2 4K随机70%读30%写性能测试 575.1.3 8K随机70%读30%写性能测试 595.1.4 1M连续100%写性能测试 615.1.5 1M连续100%读性能测试 635.2 小结 65

前言测试背景中国太平洋保险是国内大型综合性保险集团，为约8600万客户提供人寿、财产、健康、养老投资等全方位风险保障解决方案、投资理财和资产管理服务。随着业务的不断增长，在新一代的信息化建设中，具备横向扩展、快速部署、易管理等特征的解决方案逐渐成为标准，并被越来越多的企业所认可。虚拟化技术是云计算的关键技术之一，随着云计算技术的逐步推广，虚拟化环境下传统集中存储架构被越来越多地诟病，超融合架构越来越多地成为虚拟化环境中的首选基础架构。由于其横向扩展、快速部署、易管理、节省机柜空间和耗电等，已在制造、金融、电信、电力等行业的数据中心领域得到部署和应用。Nutanix作为业界最为领先的超融合虚拟化平台厂商，能够更加快速、高效、稳定的支撑起众多企业的虚拟化环境。测试目的此次测试需要达到以下目的：验证Nutanix超融合架构的综合功能验证Nutanix基于KVM的虚拟化管理套件AcropolisHypervisor的功能特性验证Nutanix融合架构的可靠性及冗余特性验证在Nutanix系统应用的性能表现测试环境Nutanix融合虚拟化平台配置:型号每节点（共四个节点）CPU内存硬盘网络NX-3460E5-2680v2256GBSSD:2x480GBHDD:4x1TB2x10GBSFP+2x1TB10BaseT1x100MIMPI实际可用容量：8TB(RF=2)打开EC，可用容量可提高至12TB节点安装AcropolisHypervisor4.5NOS版本：网络拓扑及地址信息：每个节点有2个万兆端口，连接1台万兆交换机，并且使用trunk口上联到用户测试环境。每个节点IPMI连接一台千兆交换机，并上连到测试环境中带外管理的VLAN端口，地址信息如下：节点CVMIP(VLAN:)ESXIP(VLAN:)IPMIIP(VLAN:)Node-A463935Node-B474036Node-C484437Node-D494538Gateway545454DNSNTP0虚拟化环境用户名口令：用户名口令连接方式Prismadminadminhttps://<any_cvm_ip>:9440CVMnutanixnutanix/4usshESXrootnutanix/4usshIPMIADMINADMINhttp://<any_ipmi_ip>

测试项目汇总本POC详细涵盖功能测试、虚拟化管理程序(Hypervisor)测试、冗余测试及性能测试等多项测试点和功能项，以验证Nutanix平台可靠性、易用性及优于传统架构的性能和扩展性。测试类别测试项目完成状况Nutanix平台功能测试16项100%AHV功能测试4项100%可靠性/冗余测试6项100%基本性能测试(CPU、I/O)5项100%测试总结可管理/易于使用Nutanix超融合架构能在短时间内（小于2小时）完成系统的安装部署和初始化，为应用的高效率部署创造了条件。统一的配置、运维管理工具Prism集集群概览、资源配置、平台监控、故障排查和日志分析等功能于一身，省却了在不同工具中频繁的切换，大大提升了系统运维的效率。多种CLI/RESTAPI开放接口方便管理员完成自动化/批量操作，并能与第三方平台/开源平台无缝集成。AHV（虚拟化管理程序）的完备功能内置的基于KVMHypervisor的虚拟化管理程序，提供企业级的虚拟化功能（虚机生命周期管理、在线迁移、高可用、不同Hypervisor间的虚机转换、虚拟化网络），并与底层分布式存储完美融合，提供最可靠的虚机运行平台。为用户提供了端到端、一站式的超融合部署方式。冗余性测试针对集群中每个关键对象包括磁盘、CVM（控制器）、节点、链路、电源等的全方位保护，保证在任何时候任何组件出现故障或宕机都不影响系统可用性及数据一致性。在被动防护方面，当磁盘出现故障时，能在最短时间内完成数据重建，以此防范数据丢失的风险。性能测试在给定的硬件配置基础上，展现出最稳定、最高能力的性能表现。4节点的小规模集群即可提供高达11万的IOPS和1000MB/s写、3700MB/s读的数据吞吐能力，等同于传统中高端存储的性能表现。

Nutanix综合功能测试在本章范围中，我们将进行以下测试以验证Nutanix超融合系统的基本特性：测试场景测试点测试目标测试条目/步骤结果简易安装部署>基于Foundation快速安装部署

>快速初始化/创建集群1小时20分内完成开箱/上架/初始化及调试利用Foundation重刷设备，把Hypervisor从KVM换到vSphere，观察所需要的时间顺利完成集群初始化，总耗时个小时。利用JavaApplet工具，通过IPv4地址登录CVM，初始化并创建Nutanix集群，观察所需要的时间集群随设备初始化而完成创建。登录Prism，创建StoragePool及Container，观察所需要的时间StoragePool随集群的创建而自动创建，Container创建在2分钟之内即可完成。统一运维管理界面>Prism管理工具功能一览

>Prism系统健康检查

>Prism硬件状态检查

>Prism性能报表及故障诊断

>快速备份和恢复

>一键式/不间断系统升级

>命令行管理工具（可选）快速完成集群资源一览，故障诊断效率提高50%，一键完成对NOS、Hypervisor和firmware的升级，且升级过程中应用不中断登录Prism观察首页的信息测试通过，符合预期。进入Prism健康检查页面，观察各对象（VM,Host,Disk,StoragePools等等）的状态测试通过，符合预期。进入Prism硬件状态页，观察当前硬件配置及运行情况，尝试打开TurnOnLed选项来定位故障硬盘测试通过，符合预期。进入Prism系统分析页面，观察系统负载情况，寻找故障点并找到其原因（如果有的话）测试通过，符合预期。进入Prism软件升级页面，升级NOS到最新版，观察过程中VM的运行是否会中断测试通过，符合预期。进入Prism数据保护页面，把需要保护的虚机加入到保护域，并设定创建快照的频度。在快照成功创建后，对被保护做些更改，并恢复到之前的快照，观察虚机变化。此项测试需要跨集群操作，当前仅有一个集群，故略过。通过SSH登录到CVM，以命令行方式查看集群状态和主机列表等信息测试通过，符合预期。其他功能测试（可选）>查询RESTAPI编程接口

>访问技术支持中心

>增加AD域管理验证

>更新集群License

>用户管理

>SMTP邮件通知及告警测试

>文件系统白名单管理工具操作简单但功能完备登录Prism，通过RESTAPI菜单入口查询程序调用接口测试通过，符合预期。登录Prism，查询当前软件版本，通过support入口访问技术支持网站测试通过，符合预期。登录Prism来更新License测试通过，符合预期。登录Prism，通过身份验证菜单入口配置AD域验证，实现用户的统一管理需要AD，当前环境中未能接入AD，故略过。登录Prism，配置SMTP邮件告警测试通过，符合预期。登录Prism，配置文件系统白名单，验证外部集群主机能否连接到Nutanix存储空间测试通过，符合预期。简易安装部署使用Foundation快速部署AHV/vSphere&CVM初始化设备并部署ESXi6.0创建集群的相关设置从开始初始化到集群创建完成总共耗时1个小时。快速初始化配置登陆到Prism管理界面创建StoragePool创建Container，并挂载到所有节点Prism统一管理运维工具Prism主页信息概览Nutanix自带的管理控制台Prism，不仅可以提供所有服务器、存储等基础架构硬件的管理，还可以管理所有虚拟机，完成虚拟机的日常监控维护。使用方便，用户不在需要在多个管理界面之间进行切换，从而实现统一管理，降低日常管理维护成本。系统健康检查可对系统总体运行情况做到一目了然，及时掌握系统健康度信息：硬件状态检查通过硬件状态页查看当前硬件版本、配置及运行情况，一旦出现问题时，可借助TurnOnLed功能来辅助定位故障点。直观和丰富的报表功能可对监控指标项进行报表展示，并且可将不同节点的同一监控项在一个报表界面中呈现，如下图：也可以在同一个界面中呈现同一节点的不同监控项。快速备份和恢复从Prism界面进入DataProtection页面，创建ProtectionDomain；选择要保护的虚拟机，并添加到右侧保护列表中。本测试需要跨集群操作，目前测试环境不满足要求，故略过。一键式不间断系统升级通过一键式升级快速完成NOS、Hypervisor和磁盘firmware的升级，且不中断业务的运行命令行交互界面通过SSH远程连接到CVM，以命令行方式查看集群当前状态。其他Nutanix功能测试硬件故障辅助定位（LED）RESTAPIExplorer--查询所有RestAPI接口SupportPortal--打开技术支持中心网站当需要寻求技术支持时，可以直接从Prism界面中打开技术支持中心网站，并登陆即可Licensing--更新集群License点击License来为集群添加新的License许可以下是手工更新集群license的页面：AuthenticationConfiguration--添加AD域管理验证添加AD域名和验证的IP地址端口：ldap://8:389，可以使用AD进行用户验证实现域账号登陆（可选）RoleMapping（可选）可以将域账号中的角色映射为Nutanix的管理员用户或者普通用户CreateUser--创建用户可以创建其他管理员用户或者非管理员用户并使用该用户登陆SMTPServer--配置邮件服务器地址配置邮件服务器地址用于发送告警邮件AlertEmailConfiguration--配置告警邮件配置发送告警邮件给管理员或者NutanixSupportAlertPolicies--告警策略配置针对不同告警，可以配置响应的告警策略通知管理员，避免发生告警风暴FilesystemWhitelists--文件系统白名单允许特定网段的IP访问Nutanix存储小结Nutanix产品融合计算与存储，管理运维简单，数据集中存储安全、快速部署、扩展方便，具有高可用性，减碳节能。Nutanix快速部署的特性，可以在20分钟内完成节点初始化和配置工作，用户随即可以开始部署虚拟机；统一的Prism管理界面允许用户在单个界面中管理所有服务器、存储等基础架构硬件和所有虚拟机，实现日常性能监控和维护操作。并且Prism自带的HealthCheck功能可以快速定位和发现故障，简化用户的日常运维管理；基于存储的快照技术，通过简单易用的备份和恢复界面可以让用户快速针对每个虚拟机设置备份策略，并且粒度达到1小时，并且不影响虚拟机性能，同时快照可以发送到远程站点实现数据中心容灾；Nutanix集群管理所有基础架构硬件和虚拟机，并且可以监控包括CPU、内存、磁盘空间、IOPS、吞吐带宽、读写延迟等多项指标，并且可以和传统监控软件进行有效集成，不会额外增加用户监控复杂度；针对性能数据可以方便的通过Prism界面进行报表展示，灵活的监控项定义是的报表功能更具适用性，同时可以导出报表数据供详细分析使用。

AHV功能测试AHV是Nutanix基于KVM的Hypervisor管理程序。在开源的KVM基础之上，Nutanix添加了管理的特性并强化了界面，使之实用性得到大大提高。当前版本（4.5）已经实现企业应用所需的对VM的生命周期管理和可用性管理等重要特性。另外，其所独有的虚机格式转换也大大方便了用户在不同Hypervisor之前做VM的迁移。测试场景测试点测试目标测试条目/步骤结果AHV功能测试>快速布署虚机，在一分钟内可以布署50台以上的虚拟机

>虚机vMotion测试

>虚机HA测试，包含所有网络都断线也可顺利侦测

>从ESXi快速转换到AHV,超过200GB的虚拟不需一分钟转换完成AHV基于开源的架构但具备企业级特性，特别地支持虚机在不同Hypervisor之间互转登录Prism，完成ISO准备，转到VM管理页，创建虚机并安装客户操作系统。完成虚机部署后，尝试克隆和删除。测试通过，符合预期。克隆单个虚机所需时间仅1秒。选中某一个VM，把它从一个Node在线迁移到另个Node。测试通过，符合预期，整个过程耗时22秒记录NodeA上所运行的虚机，人为移除NodeA，观察其包含的虚机是否在其他Node上重启测试通过，符合预期，整个过程耗时1分钟。从其他的集群（vSphere集群）中选择一个虚机，将其vmkd文件复制到Nutanix集群中。在AHV中创建新的虚机，选择之前复制过来的vmkd作为其磁盘母本，启动新的虚机，观察其状态。测试通过，从vSphere格式的虚机转到KVM，除去虚机文件的拷贝/克隆，创建和启动过程只需要5~6秒时间。虚机生命周期管理创建虚机准备安装文件（ISO）进入PrismVM管理页，创建网络创建VM客户操作系统及应用部署打开Console界面，完成GuestOS的安装克隆虚机基于上一步创建的虚机，克隆10个一样的副本，记录所用的时间整个过程耗时不超过10秒钟。删除虚机把部分临时创建的虚机删除虚机可用性管理在线漂移测试打开特定虚机A，在其客户操作系统中进行打开应用的操作，并同时进行在线迁移的动作，观察是否会对已开应用造成影响WindowsServer2012的虚机从节点B在线迁移到节点C整个过程应用不中断，耗时22秒高可用测试通过Prism的VM管理界面，记录下节点A上所运行的虚机，人为关闭该节点的电源或拔掉该节点的所有网线，观察相关VM的状态。在HA打开的情况下，有一个节点需要腾出作为资源预留，此时它不能作为虚机部署的节点。打开HA功能WindowsServer2012的虚机当前在节点C将节点C通过IPMI管理端口强行关闭系统侦测到节点C宕机，触发虚机在节点D上重启WindowsServer2012虚机在节点D上成功重启整个过程耗时1分钟虚机格式转换把vSphere平台上的虚机数据文件拷贝到Nutanix集群中，创建新的虚机，在创建时数据文件选择已拷贝过来的VMDK文件，完成虚机安装部署。打开已部署完毕的虚机，观察其客户操作系统、所部署应用并尝试运行应用。记录整个过程所花费的时间。从创建KVM格式的虚机到启动，整个过程耗费的时间不超过10秒。小结基于KVM的NutanixAHV虚拟化管理程序在零成本的同时却提供企业应用所需要的所有核心功能：兼容所有Windows和Linux主流操作系统直观简便的虚机配置/管理方式，从创建、修改、复制/克隆到删除的所有核心功能全部具备，且运作高效支持虚机在线迁移支持虚机高可用，即故障切换提供在ESXi、Hyper-V和AHV之间的虚机格式转换，实现跨平台的V2V无缝迁移

Nutanix扩展性及冗余测试测试场景测试点测试目标测试条目/步骤结果扩展性测试>动态添加节点随着节点数的添加，容量和性能呈线性增长在有新节点可用的情况下，尝试通过Prism来扩展集群，观察集群容量和CPU/RAM资源的变化。把已有的一个Node从集群移走，观察资源信息（CPU,Mem,Storage）。然后把移出去的Node再加回来，观察资源变化情况(CPU,Mem,Storage)。当一个节点被移除后，所有资源都会减少1/4。在只有3个节点工作时，在线添加节点而不停机，总共耗时3分钟完成。冗余测试>CVM冗余测试

>电源冗余测试

>链路冗余测试

>节点冗余测试

>磁盘冗余测试具备分布式架构独有的高可用特性，集群中不再存在单一故障点人为关闭NodeA上的CVM，观察其所包含的虚机运行是否受影响测试通过，在控制器CVM失效的情况下，其节点所在的虚机并未受到影响人为移除一个电源，观察是否影响集群操作测试通过，在只有一个电源的情况下系统照常工作。在两个万兆网口都连通的情况下，人为移除其中一个网口的网线，观察该节点是否受影响POC环境未作网络冗余，故略过。人为关闭NodeA上的电源，观察集群中虚机运行是否受影响（该测试同AHV中HA功能验证）测试通过，当集群中一个节点宕机或故障时不影响集群运作。人为拔出某个节点上的磁盘，观察Prism中告警状态并确认集群运作是否受影响.并且记录其过程中应用程序的性能是否受到较大影响测试通过，当有磁盘损坏时，虚机运行未受到影响，且性能能有保障（系统启动速度如常）。扩展性测试Nutanix集群具备动态横向扩展的能力，在当前集群中通过动态添加新节点的方式，动态扩展性能和容量。该测试的前提条件为：需要富裕的未加入当前集群的新节点。移除节点节点数由4个变成了3个添加节点在线添加节点，对现有系统没有影响总共耗时3分钟冗余性测试CVM冗余测试测试描述：每个节点上的CVM虚拟机负责本节点上其他虚拟机的IO操作，当CVM节点故障时，节点上所有其他虚拟机的IO操作将自动重定向到另一个节点的CVM上，保证虚拟机正常运行。测试截图：在集群中有虚机正在运行的情况下，认为关闭节点D上的控制器CVM：相关节点上正在运行的虚机并未受到影响：电源冗余测试测试描述：任意关闭一个电源，Prism界面有报警信息，Nutanix设备工作正常。重新开启被关闭的电源，Prism监控到电源恢复正常。链路冗余测试测试描述：任意一根uplink链路失效，节点工作正常。POC中未做网络冗余，故略过。节点冗余测试人为关闭节点D上的电源：Prism界面出现节点失效的提示，并开始在其他节点上恢复受影响VM，表示HA正在起作用磁盘冗余测试当Nutanix在工作时，将一块SSD/SATA硬盘拔出，系统工作正常，Prism界面有告警：在磁盘重新同步时，应用运行未受影响将磁盘插回去之后，系统恢复正常小结主动防护层面，在Nutanix架构中所有硬件均不存在单点故障，冗余测试包括CVM故障、单个节点故障、单个磁盘故障、单个电源故障、单链路故障等操作，均对业务没有影响，系统可以保证在发生单点失效时仍然可用。被动防护层面，当有磁盘发生故障时，系统能在第一时间感知并于空余资源上迅速重建缺失的数据，以降低数据丢失的风险。

Nutanix平台性能测试性能测试将涵盖两部分内容，一是基于IOmeter的基本I/O性能测试，另一部分是针对特定场景如VDI的性能测试。测试场景测试点测试目标测试条目/步骤结果基础I/O测试>测试随机读写的性能，同时观察CPU和内存的使用情况（观察对象CVM和主机）

>测试顺序读写的性能，同时观察CPU和内存的使用情况（观察对象CVM和主机）设置条件：每节点2个VM，各运行IOmeter(4worker)，总共8个IOmeter，32个worker，裸盘大小4GB超融合带来更好的性能和延展性,全随机，50%读50%写，IO大小4K持续测试5分钟，记录IOPS111660全随机，70%读30%写，IO大小4K持续测试5分钟，记录IOPS101838全随机，70%读30%写，IO大小8K持续测试5分钟，记录IOPS99948全顺序，100%写，IO大小1M持续测试5分钟，记录MB/s975全顺序，100%读，IO大小1M持续测试5分钟，记录MB/s3754基本I/O性能测试4K随机读写性能配置前提：2VM/Node,1IOmeter/VM,4Worker/IOmeterIOmeter:MaxDiskSize–Sectors:8000000IOmeter:#ofoutstandingI/Os:32IOmeter:AccessSpec–TransferRequestSize:4KBIOmeter:AccessSpec–PercentRandom/SequentialDistribution:100%RandomIOmeter:AccessSpec–PercentRead/WriteDistribution:50%Read50%Write配置说明：每个节点上建2个Windows虚机，每个虚机里运行一个IOmeter，每个IOmeter中跑4个Worker，测试的磁盘最大值为4GB。除此以外，测试的I/O大小为4k，全随机50%读50%写。测试过程：同时打开每个节点上VM中的IOmeter，运行测试至少5分钟，记录IOPS测试结果：

4K随机70%读30%写性能测试本测试模拟数据库实际运行的I/O特性，来评测数据库读写的性能。配置前提：2VM/Node,1IOmeter/VM,4Worker/IOmeterIOmeter:MaxDiskSize–Sectors:8000000IOmeter:#ofoutstandingI/Os:32IOmeter:AccessSpec–TransferRequestSize:4KBIOmeter:AccessSpec–PercentRandom/SequentialDistribution:100%RandomIOmeter:AccessSpec–PercentRead/WriteDistribution:70%Read30%Write配置说明：每个节点上建2个Windows虚机，每个虚机里运行一个IOmeter，每个IOmeter中跑4个Worker，测试的磁盘最大值为4GB。除此以外，测试的I/O大小为4KB，全随机70%读30%写。测试过程：同时打开每个节点上VM中的IOmeter，运行测试至少5分钟，记录IOPS测试结果：

8K随机70%读30%写性能测试本测试模拟数据库实际运行的I/O特性，来评测数据库读写的性能。配置前提：2VM/Node,1IOmeter/VM,4Worker/IOmeterIOmeter:MaxDiskSize–Sectors:8000000IOmeter:#ofoutstandingI/Os:32IOmeter:AccessSpec–TransferRequestSize:8KBIOmeter:AccessSpec–PercentRandom/SequentialDistribution:100%RandomIOmeter:AccessSpec–PercentRead/WriteDistribution:70%Read30%Write配置说明：每个节点上建2个Windows虚机，每个虚机里运行一个IOmeter，每个IOmeter中