FusionCube HANA 一体机日常维护及故障处理

1、华为华为SAP HANA一体机一体机操作与维护培训操作与维护培训-04华为华为SAP HANA一体机日常运维与故障处理一体机日常运维与故障处理1目录目录1.1. FusionCube HANAFusionCube HANA一体机日常维护一体机日常维护三板斧三板斧2.2. HANAHANA一体机配置邮件告警一体机配置邮件告警3.3. FusionCubeFusionCube告警查看告警查看4.4. 内存故障处理内存故障处理5.5. 磁盘故障处理磁盘故障处理6.6. 计算资源占用情况统计与分析计算资源占用情况统计与分析7.7. 网络故障如何网络故障如何处理处理8.8. 操作系统挂死无法登陆如何重启

2、节点操作系统挂死无法登陆如何重启节点9.9. 系统搬迁时如何全局下电上电系统系统搬迁时如何全局下电上电系统10.10.网络规划变更时网络规划变更时IPIP变更操作变更操作2FusionCube HANA 一体机日常维护三板斧三板斧三板斧1：查看：查看FusionManager的的Portal看是否有告警：看是否有告警：FusionManager的的Portal整合了所有日常巡检内容，包括硬件、网络、软件、存储等。整合了所有日常巡检内容，包括硬件、网络、软件、存储等。3三板斧三板斧2：查看资源占用曲线变化情况：查看资源占用曲线变化情况：简单对比连续简单对比连续2天天CPU占用曲线，如有明显变化说

3、明可能有故障或变更：占用曲线，如有明显变化说明可能有故障或变更：FusionCube HANA 一体机日常维护三板斧4三板斧三板斧3： 查看查看HANA节点的目录空间占用情况：节点的目录空间占用情况：HANA节点的节点的SHARE卷、卷、LOG卷、卷、DATA卷和备份目录空间占用不在卷和备份目录空间占用不在FusionManager监控范围内：监控范围内：FusionCube HANA 一体机日常维护三板斧5目录目录1.1. FusionCube HANAFusionCube HANA一体机日常维护三板斧一体机日常维护三板斧2.2. HANAHANA一体机配置邮件告警一体机配置邮件告警3.3.

4、 FusionCubeFusionCube告警查看告警查看4.4. 内存故障处理内存故障处理5.5. 磁盘故障处理磁盘故障处理6.6. 计算资源占用情况统计与分析计算资源占用情况统计与分析7.7. 网络故障如何网络故障如何处理处理8.8. 操作系统挂死无法登陆如何重启节点操作系统挂死无法登陆如何重启节点9.9. 系统搬迁时如何全局下电上电系统系统搬迁时如何全局下电上电系统10.10.网络规划变更时网络规划变更时IPIP变更操作变更操作6可配置告警邮件发送，产生告警时邮件提醒：FusionCube HANA 一体机邮件告警设置7目录目录1.1. FusionCube HANAFusionCube

5、 HANA一体机日常维护三板斧一体机日常维护三板斧2.2. HANAHANA一体机配置邮件告警一体机配置邮件告警3.3. FusionCubeFusionCube告警查看告警查看4.4. 内存故障处理内存故障处理5.5. 磁盘故障处理磁盘故障处理6.6. 计算资源占用情况统计与分析计算资源占用情况统计与分析7.7. 网络故障如何处理网络故障如何处理8.8. 操作系统挂死无法登陆如何重启节点操作系统挂死无法登陆如何重启节点9.9. 系统搬迁时如何全局下电上电系统系统搬迁时如何全局下电上电系统10.10.网络规划变更时网络规划变更时IPIP变更操作变更操作8FusionCube 日常巡检告警处理通

6、过通过FMFM检查检查FusionCube HANA FusionCube HANA 一体机告警一体机告警9FusionCube 日常巡检告警处理综合健康评分告警级别和数量101、点击顶菜单“监控”菜单查看具体告警列表。2、点击告警右侧放大镜按钮查看告警具体内容。FusionCube 日常巡检告警处理11目录目录1.1. FusionCube HANAFusionCube HANA一体机日常维护三板斧一体机日常维护三板斧2.2. HANAHANA一体机配置邮件告警一体机配置邮件告警3.3. FusionCubeFusionCube告警查看告警查看4.4. 内存故障处理内存故障处理5.5. 磁盘

7、故障处理磁盘故障处理6.6. 计算资源占用情况统计与分析计算资源占用情况统计与分析7.7. 网络故障如何处理网络故障如何处理8.8. 操作系统挂死无法登陆如何重启节点操作系统挂死无法登陆如何重启节点9.9. 系统搬迁时如何全局下电上电系统系统搬迁时如何全局下电上电系统10.10.网络规划变更时网络规划变更时IPIP变更操作变更操作12告警处理：内存ECC校验超标处理流程内存ECC校验纠正是一种常见现象，太阳黑子爆、经过机箱的人身上带静电发等因素都可能让内存短时间内产生多次ECC校验纠正。该类告警阈值为24小时内单根内存1000次ECC校验纠正，如超过该阈值则产生告警，如低于1000次告警自动解

8、除。因此遇到该告警首先等待24小时看告警是否消失排除偶然外因影响。如持续很长时间不消失则建议更换内存。首先记录下告警的服务器名称和内存槽位号，本例为E9000_1_2_03和DIMM620。E9000_1_2_03表示1机柜2框03槽位。13点击顶菜单的“资源”，再点击侧菜单的“设备”菜单。告警处理：内存ECC校验超标处理流程14点击左侧菜单的服务器菜单，在右侧工作区点击告警中的服务器名称。告警处理：内存ECC校验超标处理流程15记录下故障节点的Hostname和登陆IP告警处理：内存ECC校验超标处理流程16SSH登陆该节点：查看Linux操作系统通用的硬件日志/var/log/mcelog

9、文件，可以看到内存错误发生的相关记录。在更换内存前线利用HANA的HA特性，将该节点设置为Standby节点，而后关闭操作系统。告警处理：内存ECC校验超标处理流程17在Portal上点击查看详细信息，弹出窗口中点击左侧安装部署菜单，找到机框SMM板的IP地址。告警处理：内存ECC校验超标处理流程18远程登陆管理虚拟机桌面，网页浏览器中输入SMM板地址并登陆SMM硬件管理界面：告警处理：内存ECC校验超标处理流程19点击告警中槽位刀片，点击制造信息，抄下Board Serial Number并联系华为获得新内存。告警处理：内存ECC校验超标处理流程20点击告警中槽位刀片，并点亮UID指示灯，机

10、房中刀片的定位灯会亮起，方便更换内存人员找到故障内存刀片。告警处理：内存ECC校验超标处理流程21目录目录1.1. FusionCube HANAFusionCube HANA一体机日常维护三板斧一体机日常维护三板斧2.2. HANAHANA一体机配置邮件告警一体机配置邮件告警3.3. FusionCubeFusionCube告警查看告警查看4.4. 内存故障处理内存故障处理5.5. 磁盘故障处理磁盘故障处理6.6. 计算资源占用情况统计与分析计算资源占用情况统计与分析7.7. 网络故障如何处理网络故障如何处理8.8. 操作系统挂死无法登陆如何重启节点操作系统挂死无法登陆如何重启节点9.9.

11、系统搬迁时如何全局下电上电系统系统搬迁时如何全局下电上电系统10.10.网络规划变更时网络规划变更时IPIP变更操作变更操作22点击告警放大镜，记录好服务器IP地址和磁盘槽位号：告警处理：磁盘故障处理23登陆任意该套一体机的HANA节点，用dsware用户SSH到告警中的IP。在/var/log/dsware目录下找到告警发生时间段的日志压缩包，可以解压缩查看或发送给华为工程人员定位：可以通过HOSTNAME得知硬盘故障节点的信息：Storage003_0_1_2_16，后三位代表1机柜2机框16槽位。告警处理：磁盘故障处理24点击顶菜单中的“资源”，选择“设备”，点击“FusionStora

12、ge”，进入到具体资源池中。点击磁盘管理按钮。点击磁盘管理按钮。告警处理：磁盘故障处理25可以查看到告警IP所在服务器的硬盘被踢出集群。告警处理：磁盘故障处理26远程登陆管理虚拟机桌面，网页浏览器中输入SMM板地址并登陆SMM硬件管理界面，点击UID指示灯为ON，机房中的对应刀片会亮起蓝灯，方便更换硬盘人员找到。故障硬盘被替换后，会自动加入集群并进行数据冗余重分配，不必做额外操作。告警处理：磁盘故障处理27目录目录1.1. FusionCube HANAFusionCube HANA一体机日常维护三板斧一体机日常维护三板斧2.2. HANAHANA一体机配置邮件告警一体机配置邮件告警3.3.

13、FusionCubeFusionCube告警查看告警查看4.4. 内存故障处理内存故障处理5.5. 磁盘故障处理磁盘故障处理6.6. 计算资源占用情况统计与分析计算资源占用情况统计与分析7.7. 网络故障如何处理网络故障如何处理8.8. 操作系统挂死无法登陆如何重启节点操作系统挂死无法登陆如何重启节点9.9. 系统搬迁时如何全局下电上电系统系统搬迁时如何全局下电上电系统10.10.网络规划变更时网络规划变更时IPIP变更操作变更操作28点击顶菜单“资源”，选择设备中的“FusionStorage”，选择具体FSM后，点击性能统计。如何查看资源占用统计曲线29左边的IP地址是内部管理IP，该IP

14、可查询各HANA节点的Bond0的IP进行节点对应。右侧选择时间区域和统计项，点击统计即可查看资源曲线，点击导出可以保存。如何查看资源占用统计曲线30目录目录1.1. FusionCube HANAFusionCube HANA一体机日常维护三板斧一体机日常维护三板斧2.2.HANAHANA一体机配置邮件告警一体机配置邮件告警3.3.FusionCubeFusionCube告警查看告警查看4.4.内存故障处理内存故障处理5.5.磁盘故障处理磁盘故障处理6.6. 计算资源占用情况统计与分析计算资源占用情况统计与分析7.7. 刀片网络故障如何处理刀片网络故障如何处理8.8. 操作系统挂死无法登陆如

15、何重启节点操作系统挂死无法登陆如何重启节点9.9.系统搬迁时如何全局下电上电系统系统搬迁时如何全局下电上电系统10.10. 网络规划变更时网络规划变更时IPIP变更操作变更操作31远程登陆管理虚拟机桌面，网页浏览器中输入SMM板地址并登陆，点击中转KVM登陆：刀片网络故障如何处理32目录目录1.1. FusionCube HANAFusionCube HANA一体机日常维护三板斧一体机日常维护三板斧2.2. HANAHANA一体机配置邮件告警一体机配置邮件告警3.3. FusionCubeFusionCube告警查看告警查看4.4. 内存故障处理内存故障处理5.5. 磁盘故障处理磁盘故障处理6

16、.6. 计算资源占用情况统计与分析计算资源占用情况统计与分析7.7. 刀片网络故障如何处理刀片网络故障如何处理8.8. 操作系统挂死无法登陆如何重启节点操作系统挂死无法登陆如何重启节点9.9. 系统搬迁时如何全局下电上电系统系统搬迁时如何全局下电上电系统10.10.网络规划变更时网络规划变更时IPIP变更操作变更操作33点击刀片槽位号，即可远程BMC方式管理刀片，点击右侧电源按钮，即可对刀片进行上电、下电、重启等操作。刀片网络不通如何查看34目录目录1.1. FusionCube HANAFusionCube HANA一体机日常维护三板斧一体机日常维护三板斧2.2.HANAHANA一体机配置邮

17、件告警一体机配置邮件告警3.3.FusionCubeFusionCube告警查看告警查看4.4.内存故障处理内存故障处理5.5.磁盘故障处理磁盘故障处理6.6. 计算资源占用情况统计与分析计算资源占用情况统计与分析7.7. 刀片网络故障如何处理刀片网络故障如何处理8.8. 操作系统挂死无法登陆如何重启节点操作系统挂死无法登陆如何重启节点9.9. 系统搬迁时如何全局下电上电系统系统搬迁时如何全局下电上电系统10.10. 网络规划变更时网络规划变更时IPIP变更操作变更操作35关闭HANA的所有业务后，点击顶菜单“资源”，选择“设备”，“服务器”，点击右侧的全部下电按钮。系统搬迁时如何全局下电上电

18、系统36待搬迁完成后，只上电管理刀片，10分钟左右后管理虚拟机启动完成，FusionManager的Portal可以登陆，此时可能有网络不通等告警不必理会，点击顶菜单“资源”，选择“设备”，“服务器”，点击右侧的全部上电按钮。HANA节点内存很大，可能自检时间长达30分钟左右，请耐心等待任务完成。系统搬迁时如何全局下电上电系统37目录目录1.1. FusionCube HANAFusionCube HANA一体机日常维护三板斧一体机日常维护三板斧2.2. HANAHANA一体机配置邮件告警一体机配置邮件告警3.3. FusionCubeFusionCube告警查看告警查看4.4. 内存故障处理内存故障处理5.5. 磁盘故障处理磁盘故障处理6.6. 计算资源占用情况统计与分析计算资源占用情况统计与分析7.7. 刀片网络故障如何处理刀片网