虚拟机日常维护手册

1、虚拟机日常维护手册1目的 为提高处理虚拟化服务器故障的能力，形成科学、有效、反应迅速的日常管理流程和应急处理机制，确保虚拟化平台的安全和稳定运行，最大限度地减小服务器故障对生产的影响，降低业务中断风险，特制定本手册。2故障处理规范2.1硬件维护平台服务器出现硬件告警需要停机维护，服务器责任人应立即通知相关人员，将业务虚机迁移到集群中其他服务器主机上，再将故障服务器切换至维护模式并从HA集群中移除，负责陪同硬件厂家现场更换至成功恢复。 2.2虚拟化平台故障 发生平台故障后，相关人员应及时查找、确定故障原因，进行先期处置。若故障在短时间内无法修复，相关人员应将业务迁移到备用平台环境中，保持业务系统

2、的正常运行；将故障服务器脱离网络，进行故障排除工作，并及时联系相关人员或厂商协助解决。2.3虚拟机软件系统故障 （1）日常做好虚拟机的定时备份和快照，系统崩溃后，应能够及时恢复虚拟机。（2）发生虚拟机系统故障后，相关人员应及时通知业务人员检查出现故障的原因并尽快排除。（3）如遇虚拟机系统需要启用备份系统进行恢复时，应在恢复后和业务管理员仔细检查业务是否恢复并做好恢复记录。2.4虚拟化平台日常告警故障排除当虚拟化平台出现告警信息，通过以下步骤排除：（1） 确定故障原因。查看已触发的警报内容，确定故障前操作是否是引发该故障的原因，对合规操作引起的告警，进行消除。（2） 对提示硬件产生的告警，应查看

3、硬件状态信息，对确认是硬件的问题按硬件维护预案处理。（3） 对提示因资源不足或性能引发的告警，因查看近期性能图表，找出原因，消除故障提示。（4） 对于无法判断的故障，可导出系统日志发给厂家分析处理3虚拟化平台故障预防3.1虚拟机实时状态备份 在对虚拟机进行调整配制前，做快照，以防配置虚拟机后出现故障，如无问题，可删除虚拟机快照，另外也可利用快照最为一种备份的方式，定期做虚拟机快照，当出现问题时，可恢复到最近的快照状态。6虚拟化平台故障恢复 虚拟化平台系统出现故障，先对问题进行定位，按前述预案处理，若故障依然存在，通过以下步骤恢复：（1）用快照进行虚拟机恢复。如果虚拟机中包括数据库和实时状态信息

4、，要在恢复后进行必要的数据库文件恢复，并还原系统实时状态。 （2）用NBU从备份系统中进行系统还原，还原后进行必要的状态信息检查（3）虚拟化操作系统恢复，通过重新安装虚拟化操作系统vsphere还原底层平台，并重新部署到群集系统中。摘要：有时，VMware管理员如走过场一样执行日常维护任务。他们做X、检查Y然后把把Z的脉搏。但是很重要的一点是要弄明白这么做的目的。维护工作不仅仅是要维持系统在线，它同样保证您可以从现有投资中获得最大收益。虽然ESX、vSphere、vCenter和Workstation都是成熟和稳定的虚拟化技术，但是它们依然需要进行日常维护。花费一些时间去了解您的架构，然后制定

5、VMware维护计划以满足您的SLA（service level agreement）级别并尽量减少工作压力。下面的纲要中包含了一些最佳实践，但是每个虚拟化架构各有不同，您需要选择最适合的方式。VMware维护工作根据频率可以大致分解为：每天、每周和每月。VMware日常维护工作我每天要进行的维护工作如下： 查看报警邮件。邮箱监控是一种持续的、被动的、而且一旦正确设置后不需花费很多精力的监控方式。当您逐渐熟悉系统架构后，还可以区分出警报的不同类型，识别哪些是紧急的需要立即处理，哪些是需要逐步去改变的。假设某个特定的数据库在每天的固定时间发送CPU占用率过高的警报，那么最好调节一下报警设置的条件

6、和频率。不要忘了狼来了的故事，避免因为过多无关紧要的警报而忽略了那些关键问题。 巡视服务器所在的房间。虽然我也设置了警报，但通过对主机所在的房间进行一次快速的巡视我可以马上判断出发生了什么，这非常有用，尤其是忽略了某个警报的时候可以补救。所有的风扇都在运行吗？是否出现内存差错？SAN系统中的磁盘驱动器正常吗？通过观察硬件上的指示灯我可以获得基本的状态信息。我还会快速检查一下不间断电源的供电电压，以及现在的运行时间。知道了这些，一旦发生灾难，我可以知道有多少时间可用来关闭设备。除了这些快速观察外，我还经常使用HP公司在宿主机上集成的Lights-Out端口来检测硬件状态和温度，尤其在没有物理登陆

7、宿主机或SAN的时候，这么做非常有必要。 环视一圈vCenter/VirtualCenter。我会执行所有还未完成的任务，瞥一眼ESX主机的性能然后感受一下各个组件是否正常。当您对系统每天的性能表现足够熟悉的时候，就很容易看出问题。相信我，无论系统看起来多么协调，在某些时候都会出现问题。这个过程如同您很熟悉自己在静止时的心跳，同时还需要通过跑步机或骑自行车来定期检验一下。VMware每周维护工作每周我会执行如下动作： 备份vCenter/VirtualCenter数据库。我的现有系统变化不太频繁，因此一周执行一次数据库清理和管理服务器的全备份就可以了。如果您的系统处于不断地动态变化中，可以频率

8、高一些。依然要强调那个老问题：如果您希望将来可以重建，拥有数据库的备份很重要。VMware每月维护工作每月我们进行如下的管理行为： 清理存储。如果存在过期的快照，最好尽快清理掉。如果无法确定是否存在，可以通过VMware SiteSurvey查看。 检查服务协议。您是否已经升级了售后服务？到了做新的预算来购买所需支持服务的时候了吗？ 预想将来要做的升级。目前为止，所有的工作都在围绕保持系统正常工作上。让我们向后一步，闭上眼睛不妨从相反的角度来考虑：您希望系统如何工作?怎样可以改善业务？然后找出一条正确的路来实现。这听起来像在做白日梦，不过或许这会成为您一天中最高效的一段时间。31、为主机应用H

9、ost Profiles提示compliance错误故障状态：为主机应用Host Profiles失败，提示如下错误：01.Specification state absent from host: device '<datastore>' state needs to be set to 'on'02.Host state doesn't match specification: device '<datastore>' needs to be reset03.Specification state absent

10、 from host: device '<datastore>' Path Selection Policy needs to be set to 'VMW_PSP_FIXED'04.Host state doesn't match specification: device '<datastore>' Path Selection Policy needs to be set to default for claiming SATP故障分析：这是由于PSA组件导致的；解决方案：1、右击Host Profiles后

11、点击Enable/Disable Profiles配置选项；2、展开“Storage Configuration”选项，展开“Pluggable Storage Architecture”这个uxanxiang；3、去掉“PSA Device Configuration”；4、展开“Native Muti-Pathing(NMP)”这个选项后，接着展开“PSP and SATP configuration for NMP devi”选项；5、去掉“PSP configuration for”这个选项后点击OK即可。 33、分析、解决IOPS导致的虚拟机/存储性能下降和虚拟机磁盘延时较

12、大的问题故障状态：1、虚拟机性能较低；2、在执行备份时磁盘延时很厉害；3、虚拟磁盘vmdk延时较大；故障分析：这种问题基本都是由于虚拟机没有足够的IO Per Second（IOPS），或者IOPS低于30；解决方案：在解决问题前，首先要解决以下两个问题：问题1：什么是IOPS？IOPS全称为Input/Output Per Second，它是衡量一个磁盘（虚拟磁盘和物理磁盘）、存储的基本也是十分重要的标准。不同的磁盘、存储有着不同的IOPS。IOPS的高低直接会影响着系统的性能。当前，VMware虚拟化环境中最大的瓶颈也就在于这个IOPS。针对数据密集型业务的数据库业务和流媒体业务，由于它们

13、的IOPS很大，所以在虚拟化环境中部署它们一定要充分考量它们的负载，也就是IOPS大小，结合实际的存储性能来查看是否符合业务标准。问题2：如何计算IOPS？如何计算每台虚拟机的IOPS？要想计算每个虚拟机的总的IOPS数量，首先就要确认磁盘类型以及它们的IOPS是多少。处于RAID阵列里面的每个盘的IO有利于增长整体存储的可用IOPS。而位于这个存储上面的单台虚拟机的IOPS，则可以通过将这个存储的总IOPS除掉虚拟机数量即可基本得到单台虚拟机的IOPS。现实案例：假定有6颗10000RPM的磁盘，那么它们的总的可用IOPS大约为150x6=900。如果LUN上面运行的虚拟机数量为50个，则单

14、台虚拟机的IOPS为900/50=18 IOPS。如果以这个为标准，则意味着虚拟机的性能相对底下。如果想要满足虚拟机的基本IOPS需求，那么应该为900/30=30，也就是说同一个Volume里IOPS为30（最低要求）虚拟机需要数量控制在30台以下。 备注：备份存储会消耗更多的IOPS，同时也会给Volume带来更多额外的符合。如果是这样，则需要用额外手段解决备份时的额外资源消耗（可以通过I/O meter软件来测试IOPS）  34、丢失或锁定文档导致虚拟机无法Power On故障状态：1、虚拟机无法开启；2、尝试开启虚拟机时，看到类似如下错误信息：Unabl

15、e to open Swap File；Unable to access a file since it is locked；Unable to access Virtual machine configuration；3、在/var/log/vmkernel文件里可以看到类似如下信息：     WARNING: World: VM xxxx: xxx: Failed to open swap file <path>ock was not free     WARNING: Worl

16、d: VM xxxx: xxx: Failed to initialize swap file <path>4、当尝试开启虚拟机的console控制台时，可能会收到如下错误信息：      Error connecting to <path><virtual machine>.vmx because the VMX is not started5、在开启虚拟机时，卡在95%位置无响应；6、从模板部署一台新的VM之后无法开启虚拟机；7、虚拟机在vCenter Server和ESXi/ESX主机之间报告

17、控制台电源状态冲突；故障分析：导致这个问题的因素可能很多，但是众多问题中，都穿插或包含着文件损坏或文件被锁定等问题的可能。虚拟机常用的文件包括：*.vswp*-flat.vmdk*-delta.vmdk*.vmx*.log解决方案：首先需要确认哪些文件处于锁定状态：1、利用vSphere Client登录ESXi/ESX主机、vCenter Server主机；2、在Datastore里找到想要开启但是无法开启的虚拟机所在位置；3、尝试开启虚拟机，如果无法开启且console显示错误，先查阅vmware.log日志文件的相关信息来确认问题；4、利用SSH或COS选用root权限登录到ESXi/E

18、SX主机之后执行下面的命令查看虚拟机的完整路径：      #vmware-cmd -l      系统将输出类似如下信息来显示注册到ESXi/ESX主机的虚拟机：      /vmfs/volumes/<UUID>/<虚拟机目录>/<虚拟机名>.vmx5、执行下列命令切入到这个虚拟机所在的目录：      #cd /vm

19、fs/voluems/<UUID>/<虚拟机目录>6、然后查阅vmware.log日志，在文件的尾部查看什么原因导致这个问题后再针对性的分析。 准确定位并删除掉锁定文件由于虚拟机可以在主机之间移动，如果虚拟机注册到的主机保持对文件的锁定状态，那么，这个锁定文件可以有效保障ESXi/ESX主机对虚拟机文件的控制权和有效保护虚拟系统。主机由Service Console接口的MAC来确定。lock由VMkernel或Service Console负责维护； 备注：ESXi服务器没有Service Console所以，lock由VMkernel单独负责维护

20、；首先要确定VMkernel可能锁定的文件：1、执行下面的命令来报告锁定目录所在的MAC地址：      #vmkfstools -D /vmfs/volumes/<UUID>/<虚拟机目录>/<锁定状态文件>2、由于负责锁定.vmdk文件的主机会将MAC地址写入到vmkernel日志里面，那么可以用下面的命令查阅：      #tail /var/log/vmkernel  35、Storage vMotion失败：l

21、ooking for lines staring with "CBTMotion"故障状态：1、执行Storage vMotion失败；2、系统提示如下错误信息：01.A general system error occurred: Storage VMotion failed to copy one or more of the VM's disks. Please consult the VM's log for more details, looking for lines starting with "CBTMotion-".复制

22、代码3、/var/log/vmware/hostd.log文件里有类似如下信息：01.Failed with error 340983807: Storage VMotion failed to copy one or more of the VM's disks.  Please consult the VM's log for more details, looking for lines starting with "CBTMotion".复制代码故障分析可能由于虚拟机的硬件版本号过老导致；解决方案：关掉虚拟机后右击uxniji选择

23、Upgrade Virtual Machine Hardware即可。  36、添加LUN时提示HostDatastoreSystem.QueryVmfsDatastoreCreateOptions故障状态：系统能够扫描到Devices LUN，但是在添加过程中却提示如下错误信息：HostDatastoreSystem.QueryVmfsDatastoreCreateOptions ，如图所示： 故障分析：这样的问题一般都是由于LUN的尺寸过大导致，一般来说，VMware ESXi/ESX Server标准支持最大的LUN尺寸为2TB-512Byte，但

24、是由于国内很多技术人员对这个-512Byte并不太在意，所以习惯型的讲成2TB，这就导致很多用户在使用时，直接分配了2TB的空间，这就可能导致了上述问题；解决方案：针对这样的问题，建议如下：1、如果已经分好了2TB的LUN，建议调整为1.88TB左右后再尝试添加；2、新LUN规划用户则请严格参照官方文档的参数设计，建议是1.88TB左右为一个LUN生成Datastore  37、vCenter Converter推送Agent出错：Converter Agent installer/uninstaller Failed故障状态：1、利用vCenter Converter推送

25、Agent到Windows Server 2003服务器上时，失败；2、系统提示类是如下错误信息：01.Converter Agent installer/uninstaller failed on 'xxxxxxxxx'. 3、VMware vCenter Converter的日志文件converter-server.log里面有类似如下错误提示：04.#7 2011-01-21 11:18:37.476 03976 error 'App' Found dangling SSL error: 0 error:00000001:lib(0):func(

26、0):reason(1) 7.#7 2011-01-21 11:19:32.445 03976 info 'App' diagnosticManager,357 Generating Converter.Server log bundle.故障分析：以下几种情况可能导致这样的问题：1、445端口没能打开；2、曾经手动安装过Agent后卸载；3、Windows服务管理其中的server服务没有启动导致的IPC$连接失败；4、防火墙阻绝； 解决方案1、确认445端口或NetBIOS协议能正常使用；2、建议在Converter时关闭防火墙；3、如果依然有问题，尝试

27、用Converter Standardalone版本迁移或采用ConverterCD进行冷克隆。  38、解决在vSphere 5.0里开启HA时，提示：Datastore Heartbeating不足的问题故障状态：为ESXi 5.0+vCenter 5.0配置HA时，提示如下信息：故障分析：这是由于vSphere 5.0里的HA部分已经重写，并且新增了Datastore Heartbeating用于网络Partition心跳检测支持；解决方案：有2个选择，一个是加多存储用于心跳检测，这也是正确的选择，就不多讲，另一个就是忽略掉这个问题，方法如下：1、vSphere Cl

28、ient登录到vCenter Server 5.0后，右击HA Cluster，点击Edit，然后找到高级选项设定：  2、再如上图所示的内容中，添加下参数：das.ignoreinsufficienthbdatastore 备注：缺省情况下，这个参数的值是false的。   39、通过vSphere Client登陆ESXi主机提示“正在更新”的问题故障状态：通过vSphere Client登陆VCenter Server4.1正常，登陆ESXi主机提示如下图： 故障分析：需要通过来更新Client说明客户端存在问题，由于

29、登陆VCenter Server4.1不存在任何问题，所以基本确定版本的问题。查看ESXi版本和vSphere Client，发现Client的版本低于ESXi版本。解决方案：由于Client所在网络无法上Internet,所以无法更新Client客户端，可以通过安装高版本的Client来解决此问题。  40、红旗32位Linux进入系统时提示”udevu”无法继续进入系统的问题故障状态：进入系统后，出现下图的界面，之后无法向下运行，必须按Ctrl+C才能继续向下运行 故障分析：由于系统安装时候是完整的，光盘镜像包是完整的，安装的时候不存在任何问题。考虑到物理机上

30、不存在这种问题，怀疑虚拟机虚拟驱动的问题，安装新的VMware-tools问题依旧。虚拟机管理问题· 早于 2.6.27 版本的 Linux 内核不报告处于关闭电源状态的每插槽内核数为 2从 ESXi 5.0 开始，多核虚拟 CPU 支持允许处于关闭电源状态的每插槽内核数为 2。早于 2.6.27 版本的 Linux 内核仅正确报告处于打开电源状态的每插槽内核数为 2。例如，当您在 .vmx 文件中设置numvcpu

31、s = 6和cpuid.coresPerSocket = 3时，一些 Linux 客户机操作系统可能无法报告任何物理标识信息。Linux 内核 2.6.28 及更高版本会正确报告 CPU 和内核拓扑。解决办法：无· 将内存热添加到使用 Linux 64 位或 Windows 7、32 位客户机操作系统的虚拟机时，无法将现有虚拟内存增加到 3 GB 以上下列情况适用于将内存热添加到使用 Linux 64 位或 Windows 7

32、 32 位客户机操作系统的虚拟机。· 如果已打开电源的虚拟机的内存少于 3 GB，则内存热添加量不能超过 3 GB。· 如果虚拟机内存为 1 GB，则可以添加 2 GB。· 如果虚拟机内存为 2 GB，则可以添加 1 GB。· 如果虚拟机的内存为 3444 MB，则可以添加 128 MB。· 如果已打开电源的虚拟机的内存正好为 3 GB，则无法热添加任何内存。如果已打开电源的虚拟机的内存超过 3 GB，则可以将虚拟机内存增加到虚拟机打开

33、电源时初始内存大小的 16 倍或增至硬件版本限制（以两者中较小者为准）。硬件版本 7 的限制是 255 GB，硬件版本 8 的限制是 1011 GB。如果在虚拟机电源打开时，内存从小于或等于 3 GB 增长到大于 3 GB，则 Linux 64 位和 32 位 Windows 7 客户机操作系统会冻结。此 vSphere 限制可确保您不会在客户机操作系统中触发该错误。解决办法：无。· 在硬件版本&

34、#160;7 虚拟机上进行 CPU 热添加时出错硬件版本 8 虚拟机的多核虚拟 CPU 功能支持虚拟 CPU 热添加。 对于每个插槽的内核数大于 1 的硬件版本 7 虚拟机，当您在 虚拟机属性 对话框中启用 CPU 热添加并尝试热添加虚拟 CPU时，操作失败并显示以下错误消息：该虚拟机不支持 CPU 热插拔 (CPU hot plug not supported for this virtual machi

35、ne)。解决办法：要在硬件版本 7 虚拟机上使用 CPU 热添加功能，请关闭虚拟机电源并将每个插槽的内核数设置为 1。 为达到最佳效果，请使用硬件版本 8 虚拟机。· 同时创建大量虚拟机会导致文件操作失败同时创建大量驻留在同一目录下的虚拟机时，存储系统变得不堪重负，导致一些文件操作失败。会显示错误消息并且创建虚拟机操作失败。解决办法：以更小的批量（例如 64 个）创建其他虚拟机，或尝试在不同的数据存储中或同一数据存储的不同目录中创建虚拟机。· 在通过 vMotion

36、 进行迁移过程中，从 ESXi 主机直通到虚拟机的 USB 设备可能断开连接如果 USB 设备从 ESXi 主机直通到虚拟机并且该设备配置为在通过 vMotion 进行迁移过程中仍保持连接，则该设备可能会在vMotion 操作过程中断开连接。如果 DRS 触发迁移，该设备也会断开连接。当设备断开连接时，它们会恢复至主机，不再连接到虚拟机。迁移连接了多个 USB 设备的虚拟机时，会更频繁地发生此问题，但连接了一个或少数设备时，只偶尔发生此问题。解决办法：将虚拟机迁移回与 USB 设备物理连接的 ESXI&#