Nutnix售后服务及故障分析

1、Agenda,Part I,Part II,售后服务及故障分析,从认识和了解开始,中国技术支持团队,400售后服务支持计划和策略,软件支持,*如果发生影响系统可用性的事件，应客户请求，我们将为优先级1的支持请求提供根本原因分析,硬件支持,Nutanix全球&大中华区配送仓库,备件备品全球统一管理 中国大陆（北京、上海、广州、成都） 香港、澳门、台湾 派件遵循就近原则,Address for delivery: 收货地址： Part replacement date&time: 更换日期和时间： Contact name: 现场联系人： Contact phone: 现场联系人电话： Conta

2、ct email address: 联系人邮件地址： Any special instructions needed for the delivery: 其他特殊需求：（办理出入证？）,400支持通道 - 售后工单,Portal Nutanix推荐客户自己在Nutanix Portal()上开立问题单,或通过手机APP上方便快速的创建问题单, 特别是在热线电话忙线情况下 电话热线 客户可以拨打服务热线: 400-120-5935创建问题单 OEM厂商创建 如果客户资产从第三方OEM厂商采购(如Dell,Lenovo等),则需要OEM厂商创建问题单,NPS,NPS（Net Promoter Sc

3、ore净推荐值）,NPS的计算方式如图二所示，根据用户愿意推荐的程度在0-10分之间来打分，0分代表完全没有可能推荐，10分代表极有可能推荐，然后依据得分将用户分为三组：,NPS 续1,NPS 续2,案例分享及故障分析,1,2,3,数据冗余状态为告警,硬盘故障,CVM根分区使用率超过阀值,4,节点降级(Node Degraded),案例1: 数据冗余状态为Critical,问题现象,案例1: 数据冗余状态为Critical,Hypervisor,Virtio-scsi,Storage I/O,UVM,CVM,NET,CPU,MEM,DISK,Virtio-net,Stargate,REQ,BL

4、K Layer,PCI Passthrough,Stargate服务管理所有虚拟机的存储I/O读写,,案例1: 数据冗余状态为Critical,Ping显示该CVM网络连接中断！,该节点上集群服务状态Down！,案例1: 数据冗余状态为Critical,搜集信息并向Nutanix创建问题单 出现冗余性问题的具体组件名称？ 出现问题时间段是否有维护操作，例如升级？ 在PRISM上是否有alert警告产生？ 从PRISM上获取NCC健康体检报告。,案例1: 数据冗余状态为Critical,案例2: 硬盘故障,硬盘告警,案例2: 硬盘故障,案例2: 硬盘故障,Public KB

5、1203: Deeper HDD Troubleshooting ,首先查看挂载情况,查看scsi设备列表,查看具体硬盘状态,查看link状态,案例2: 硬盘故障,案例3: CVM根分区使用率超过阀值,根分区使用率超过阀值！,案例3: CVM根分区使用率超过阀值,Public KB 1540: What to do when /home/nutanix is full 可检查的目录： /home/nutanix/data/cores/ 可删除的内核日志文件 /home/nutanix/data/binary_logs/ 可删除的二进制日志文件 /home/nutanix/data/ncc/in

6、staller/ 仅删除老版本的安装包！ /home/nutanix/data/log_collector/ 可删除的旧日志包/home/nutanix/software_uncompressed/ 仅删除老版本的安装包！ /home/nutanix/foundation/isos/ 仅删除老版本的安装包！ /home/nutanix/foundation/tmp/ 可删除的临时文件,如果不确定，什么都不要删！,案例3: CVM根分区使用率超过阀值,失效的NCC日志包,Scavenger服务异常,Old NCC Log Collector 已知问题,已删除文件仍然占用空间,旧安装文件,案例4:

7、 节点降级(Node Degraded),节点降级！关键字“degraded node”,案例4: 节点降级(Node Degraded),元数据冗余度降低！,案例4: 节点降级(Node Degraded),Nutanix引入了Node Degrade机制来防止个别节点部分失效影响到集群运行。 个别节点的网络断续可能影响到整个集群的稳定性！ 可能导致的原因: 硬件问题, e.g.,DIMM CECC 网络故障- 带宽受限/丢包 硬盘故障 CPU异常繁忙或者CPU Soft lockups SSDs负荷太高,案例4: 节点降级(Node Degraded),案例4: 节点降级(Node Deg

8、raded),Service 1 Zookeeper Monitor Score Range:0-2,000,Service 2 Cassandra Monitor Score Range:1-100,信息搜集,CVM,案例4: 节点降级(Node Degraded),Zookeeper_monitor日志显示该节点score值曾持续升高！分值：61，58，62，59，64,日志目录：/home/nutanix/data/logs/zookeeper_monitor*,案例4: 节点降级(Node Degraded),满足判定条件，将故障节点置为降级模式！,日志目录：/home/nutanix

9、/data/logs/zookeeper_monitor.ERROR,案例4: 节点降级(Node Degraded),Zeus_Config更新节点状态为degraded！,查看命令：zeus_config_printer”,案例4: 节点降级(Node Degraded),该节点元数据被disabled！,查看命令：“nodetool -h 0 ring”，“ncli host ls”,案例4: 节点降级(Node Degraded),网络问题导致节点间延迟升高！,日志目录：/home/nutanix/data/logs/sysstats/ping_host.INFO,运维关注点,1,2,

10、3,冗余状态Cluster Data Resilience,报警信息Cluster Alerts,健康状态Cluster Health Status,关注运维分三步,第一步 Cluster Data Resilience,第一步 Cluster Data Resilience,各组件冗余性详细情况！,第二步 Cluster Alerts,第二步 Cluster Alerts,第二步 Cluster Alerts,处理完成确认后点击已解决！,第三步 Cluster Health Status,第三步 Cluster Health Status,点击查看具体报错！,第三步 Cluster Health Status,周期性检查项按设定时间间隔自动执行！,最后 NCC健康体检,运行