「vm日常维护」.doc

化工 VMware vSphere 5 虚拟化日常管理虚拟化日常管理 目 录 1虚拟化监控和性能管理虚拟化监控和性能管理 2 1 1使用VCENTER监控 2 1 1 1主机及系统类事件 3 1 1 2网络类事件 5 1 1 3存储类事件 6 1 1 4虚拟机类事件 7 1 2使用VCOPS监控 7 2虚拟化架构日常维护虚拟化架构日常维护 8 化工 1 虚拟化监控和性能管理虚拟化监控和性能管理 使用使用 vCenter 监控监控 借助事件监控和报警系统 在vSphere vCenter中将被配置以 便监控所有核心虚拟架构的健康和性能内容 包括esxi主机 HA 虚拟机操作如VMotion和vCenter自身的健康 本项目中主要使用 vCenter作为操作控制中心 同时根据需求拟定的监控主要的对象包 括以下四个方面 1 主机及系统类事件 2 网络类事件 3 存储类事件 4 虚拟机类事件 化工 1 1 1 主机及系统类事件主机及系统类事件 事件对象事件描述触发条件警告等级 事件响应事件处理事件通知 vCenter Server监控 vCenter 服 务运行状 况更改 监控 vCenter Server 服务运行 状态状态 如果 运行状态出现问 题 则进行报警 高虚拟化平台 系统管理员 vCenter Server 运行状态进 行报警 需要检查 vCenter 运行情况 发送陷阱通 知 如未解 决则每5分 钟重复发送 一次 主机 监控主机 连接和启 动状况的 警报 主机连接状况为 无响应 并且主 机电源状态不等 于无则产生黄色 警告 主机连 接状况为无响应 并且主机电源状 况不等于待机则 产生红色警告 高虚拟化平台 系统管理员 监控到主连接状况异常 可能主机发生意外宕机 需要检查主机连接及加电 情况 可能造成生产问题 发出 vCenter 告警信息 如果无人响 应则每 5 分 钟告警一次 主机 监控处理 器的默认 警报 监控到主机硬件 处理器健康状态 转为警告产生黄 色告警 监控到主机硬件 处理器健康状态 转为警示产生红 色告警 高虚拟化平台 系统管理员 监测到 ESX 主机处理器产 生状态告警 需要及时检 查主机物理 CPU 否则影 响到主机系统正常运行 发送陷阱通 知 每次健 康状态变化 发送一次 主机 监控内存 的默认警 报 ESX 服务器硬件 内存健康情况发 生告警 高虚拟化平台 系统管理员 ESX 服务器内存故障 需 及时检查主机物理内存 否则会影响系统正常运行 发送陷阱通 知 每次发 生状态变化 发送一次 主机监控主机 连接故障 的警报 无法连接主机 ccagent不正确 无法连接主机 网 络错误 无法连接主机 超 时 主机连接丢失 高虚拟化平台 系统管理员 vCenter 无法连接到被管理 主机 检查是否发生管理 代理 agent 错误 网络连 接问题 连接到主机超时 与主机连接丢失等情况 需尽快处理 可能存在隐 患 发送陷阱通 知 如未解 决则每 5 分 钟重复发送 虚拟机监控虚拟 机错误和 警告事件 的默认警 报 监控到虚拟机发 生错误或产生告 警 高虚拟化平台 系统管理员 虚拟机运行过程中发生警 告或发现错误 需尽快检 查报错虚拟机 否则会影 响虚拟机正常运行 发送陷阱通 知 如未解 决则每 5 分 钟重复发送 一次 虚拟机监控虚拟发生无法迁移虚高虚拟化平台当出现如下情况则进行报发送陷阱通 化工 机无法迁 移或重定 位 或者是 否处于孤 立状态的 默认警报 拟机事件 发生迁移错误 发生迁移主机错 误事件 无法重新定位虚 拟机 已孤立虚拟机 系统管理员警 发生虚拟机无法迁移 的情况 在迁移中出现错 误 迁移主机发生错误 无法对迁移后的虚拟机进 行重新定位 所迁移虚拟 机被孤立 需要检查迁移 中出现的错误 否则影响 到系统正常迁移 知 如未解 决则每 5 分 钟重复发送 一次 虚拟机监控虚拟 机上的高 可用性错 误的默认 警报 无法重置启用HA 的虚拟机 已经重置启用HA 的虚拟机 硬件重置启用了 HA 的虚拟机并保 存屏幕截图 高虚拟化平台 系统管理员 虚拟机运行过程中发生错 误 并出现以下情况 HA 发现虚拟机错误但无法 重新启动该虚拟机 HA 发 现虚拟机错误并重新启动 了该虚拟机 HA 通过直接 直接关闭虚拟机电源方式 硬件重置了 HA 虚拟机并 保存了该屏幕截图 需尽 快检查发生错误虚拟机及 集群 否则有潜在威胁影 响正常运行 发送陷阱通 知 如未解 决则每 5 分 钟重复发送 一次 化工 1 1 2 网络类事件网络类事件 事件对象事件描述触发条件警告等级 事件响应事件处理事件通知 网络监控虚拟交 换机上的网 络连接的警 报 网络连接丢失高虚拟化平台 网络管理员 虚拟交换机上的网 络连接丢失 虚拟 机无法连接到网络 造成生产问题 需 立即检查虚拟交换 机的网络连接情况 发送陷阱通 知 如未解 决则每 5 分 钟发送一次 主机监控虚拟交 换机上网络 上行链路冗 余丢失的警 报 网络冗余丢失中虚拟化平台 网络管理员 虚拟交换机上网络 上行链路发生故障 导致冗余丢失 需 立即检查虚拟交换 机上连链路的通讯 情况 否则会产生 单点故障 发送陷阱通 知 如未解 决则每 5 分 钟发送一次 主机未正确配置 VMKernel NIC 的默认 警报 Migrate Vmknic 中指定的 vmknic 无效 高虚拟化平台 网络管理员 VMKernel 的网络配 置有错误 指定的 网卡无效 需立即 检查 vmkernl 网络 配置 否则会影响 VMOTION 功能的正 常运行 发送陷阱通 知 如未解 决则每 5 分 钟重复发送 一次 化工 1 1 3 存储类事件存储类事件 事件对象事件描述触发条件警告等级 事件响应事件处理事件通知 数据存储监控主机与 存储设备的 连接的默认 警报 主机与存储的连 接丢失 主机与存储的冗 余路径丢失 主机与存储的部 分冗余路径丢失 导致冗余已经降 级 高虚拟化平台 系统管理员 监测到 ESX 主机 与存储的连接异 常 需要检查主 机与存储设备的 连接情况 否则 影响到系统正常 运行 发送陷阱通知 如未解决则每 5分钟发送一 次 数据存储监控数据存 储发生外部 I O负载 监控数据存储所 连接ESX主机未 全部支持I O Control 监控数据存储所 连接ESX主机未 纳入vCenter管 理范围 所使用存储阵列 由非 vSphere 的 I O 发生 如 存储阵列的复制 中虚拟化平台 系统管理员 检查该数据存储 所连接的 ESX 主 机是否全部支持 I O Control 同 时在存储阵列上 是否有例外的非 vSphere I O 发生 发出vCenter 告警信息 如 果无人响应则 每5分钟告警 一次 化工 1 1 4 虚拟机类事件虚拟机类事件 事件对象事件描述触发条件警告等级 事件响应事件处理事件通知 虚拟机监控虚拟 机内存使 用情况的 默认报警 虚拟机内存使用 情况高于85 持续 10分钟以上黄色 告警 虚拟机内存使用 情况高于95 持续 10分钟以上红色 告警 高虚拟机管 理员 虚拟机内存利用 率过高 需尽快 检查虚拟机内存 使用情况或增加 虚拟机内存资源 否则会影响虚拟 机正常运行 发出vCenter 告警信息 如 果无人响应则 每5分钟告警 一次 主机监控虚拟机 CPU使用情 况的警报 虚拟机 CPU 使用 情况高于 75 超过 5 分钟为黄色告警 虚拟机 CPU 使用 情况高于 90 超过 5 分钟为红色告警 如果无人在 VMAWARE vCenter 平台中确认该告 警 则每隔 5 分 钟再产生一次该 警报 中虚拟机管 理员 虚拟机 CPU 使用 率过高 需尽快 检查虚拟机内部 CPU 使用情况或增 加虚拟机 CPU 资 源 否则使用会 影响系统运行效 率 发出vCenter 告警信息 如 果无人响应则 每5分钟告警 一次 当以上警告触发以后 vCenter Server 上的警报栏里会有相应的 信息显示 同时我们在这些默认的警报基础上 还可以根据实际的 环境需求进行警报的自定义设置 1 2 使用使用 vCops 监控监控 为了使用 vCenter Operation Management 进行监控 我们推荐 使用默认的动态监测指标完成监控 可以在系统运行一段时间以后 根据需求调整各种监测指标 化工 2 虚拟化架构日常维护虚拟化架构日常维护 虚拟化架构日常维护以满足业务连续性为主要目标 我们根据 行业客户的虚拟架构运行状况拟定了一下工作表作为参考 以标示 日常虚拟架构检查工作内容 序号工作类别工作任务描述工作方法责任角色 检查集群 HA 是 否存储在故障 检查 VC 中的告 警页面是否有集 群 HA 的告警 系统管理员 监控管理员 检查集群 DRS 是否存在故障 检查 VC 中的告 警页面是否有群 集 DRS 告警 系统管理员 监控管理员 检查虚拟机是否 发生故障 检查 VC 中的告 警页面是否有虚 拟机的告警 虚拟机管理员 检查虚拟网络架 构是否发生故障 在 VC 中的网络 页查看是否有网 络故障 网络管理员 1故障检查 检查虚拟存储是 否发生故障 在 VC 中的存储 页查看是否有网 络故障 系统 存储管理 员 检查存储容量是 否发生报警 在存储视图中查 看各个存储容量 是否超过 80 系统 存储管理 员 监控管理员 2容量检查 检查 vCenter 数 据库是否接近预 设值 登陆到数据库查 看 VC 使用的数 据库容量可用空 间是否低于 5 系统管理员 检查群集 资源 池 CPU 利用率 是否接近 75 在 VC 中查看群 集和资源池的 CPU 利用率 资源池管理员 监控管理员 检查主机 虚拟 机 CPU 就绪时 间 在 VC 中查看那 逐句和虚拟机的 就绪时间不超过 3000ms 虚拟机管理员 监控管理员 3性能检查 检查群集 资源 池内存占用率是 在 VC 中查看群 集和资源池的内 资源池管理员 监控管理员 化工 否接近 85 存占用率 检查虚拟机的虚 拟磁盘读写性能 在 VC 中查看各 个虚拟机读写延 时是否过高 虚拟机管理员 监控管理员 检查虚拟机网络 的延时和丢包率 是否过高 在网络视图中查 看那各个虚拟交 换及端口组的网 络平均时延和丢 包率 网路管理员 监控管理员 4事件日志检查检查最近一个月 是否发生位置的 登录 控制和配 置更改事件 在 VC 中查看系 统日志和事件 系统管理员 监控管理员 5备份管理在辈分软件中查 看针对虚拟机 VMDK 文件的备 份任务和计划是 否正常 在备份软件中查 看针对虚拟机 VMDK 文件的备 份任务和计划是 否正常 系统管理员 查看虚拟架构的 安全配置 在 VC 中分别查 看每台主机的防 火墙配置是否发 生未知的变化 系统管理员6安全检查 检查虚拟机安全在虚拟机中查看 系统日志 检查 是否有未授权的 登录行为 系统管理员 虚拟机用户 以上内容为虚拟化架构日常维护检查 由于每个企业用户的规 模 服务器整合比例不同 对于性能和安全性要求的级别也不同 因此检查内容根据不同的虚拟化环境检查的方向和任务内容也不同 上表中所列内容为使用虚拟化环境的一般检查内容和方法 具体到 某个问题或是检查内容 可参考 vmware 知识 库 以上检查工作将告知相应用户角色可能发生的问题 具体解决 步骤将参照以下文档和链接 化工 数据中心管理指南 50 topic com vmware ICbase PDF vsphere esxi vcenter s