超算中心设备巡检手册

超算中心设备巡检手册一、巡检总则（一）巡检目的超算中心作为承载大规模科学计算、工程模拟、数据处理等核心任务的基础设施，其设备的稳定运行直接关系到科研项目推进、企业生产效率以及社会公共服务能力。设备巡检是通过定期对超算中心内各类硬件设备、配套系统进行全面检查、监测和维护，及时发现潜在故障隐患、性能瓶颈及安全风险，采取预防性措施避免设备突发故障导致的停机事故，保障超算系统全年高可靠、高性能、高效率运行，延长设备使用寿命，降低运维成本，为用户提供持续稳定的计算服务。（二）巡检范围计算设备：包括超级计算机的计算节点、加速节点（如GPU、FPGA节点）、管理节点、登录节点等，涵盖服务器主板、CPU、内存、硬盘、网卡、电源等核心组件。存储设备：集中式存储阵列、分布式存储集群、磁带库、光盘库等，涉及存储控制器、硬盘驱动器、RAID卡、光纤通道卡、存储网络交换机等部件。网络设备：核心路由器、汇聚交换机、接入交换机、防火墙、负载均衡设备、光纤收发器等，以及网络线缆、端口、光模块等附属设施。制冷与供电设备：冷水机组、精密空调、冷却塔、水泵、UPS不间断电源、配电柜、发电机、电池组等，包含压缩机、蒸发器、冷凝器、风机、逆变器、电池单体等关键元件。监控与安防设备：环境监控系统（温湿度传感器、烟雾探测器、漏水检测装置）、视频监控摄像头、门禁系统、消防报警设备等。（三）巡检周期日常巡检：每日进行1次，重点检查设备运行状态、关键参数及环境指标，及时发现明显异常。周巡检：每周进行1次，对设备进行较为全面的检查，包括硬件外观、连接线缆、系统日志等。月巡检：每月进行1次，深入检测设备性能、进行部分功能测试，排查潜在故障隐患。季度巡检：每季度进行1次，开展预防性维护工作，如清洁设备、更换易损件、校准传感器等。年度巡检：每年进行1次，联合设备厂商进行全面深度检测，包括设备内部组件检查、性能压力测试、系统优化等。（四）巡检人员资质要求具备计算机、电子工程、自动化等相关专业大专及以上学历，或拥有3年以上数据中心运维工作经验。熟悉超算中心各类设备的原理、结构及操作流程，掌握常见故障排查与处理方法。持有相关专业认证证书，如CCIE（思科认证互联网专家）、RHCE（红帽认证工程师）、UPS运维认证等优先。具备良好的沟通能力、团队协作精神和应急处理能力，能够严格遵守巡检操作规程和安全规范。二、计算设备巡检细则（一）计算节点巡检外观检查观察服务器机箱是否有变形、破损、锈蚀等情况，机箱盖是否紧密闭合，螺丝是否松动。检查服务器指示灯状态，包括电源指示灯、硬盘活动指示灯、网络连接指示灯等，确认指示灯显示正常，无异常闪烁或常亮情况。查看服务器周边环境，确保无杂物堆积，通风散热通道畅通无阻。硬件组件检查CPU：通过系统监控软件查看CPU温度、使用率、核心电压等参数，确保温度在正常范围（一般不超过80℃），使用率波动符合业务负载情况。若发现CPU温度过高，检查散热器风扇是否正常运转、散热硅脂是否干涸，必要时进行清洁或更换。内存：使用内存检测工具（如Memtest86+）对内存进行周期性测试，检查是否存在内存错误、奇偶校验错误等。查看系统日志中是否有内存相关的报错信息，若有报错，进一步排查内存插槽、内存条是否损坏，尝试更换内存条或插槽进行验证。硬盘：通过硬盘管理软件（如Smartmontools）查看硬盘的健康状态，包括SMART参数（如温度、读写错误率、坏道数量、剩余寿命等）。检查硬盘指示灯是否正常闪烁，若出现硬盘故障报警，及时备份数据并更换故障硬盘，同时重新配置RAID阵列。网卡：检查网卡指示灯是否正常，通过网络测试工具（如ping、traceroute）测试网络连通性和带宽，查看网卡驱动版本是否为最新，是否存在丢包、延迟过高的情况。若网络连接异常，检查网卡接口、网线是否损坏，尝试更换网线或重新安装网卡驱动。电源：查看电源模块指示灯是否正常，检查电源输出电压是否稳定，可通过万用表测量电源输出端子的电压值，确认在设备规定的电压范围内。检查电源风扇是否正常运转，有无异常噪音，若电源出现故障，及时更换冗余电源模块。系统软件检查检查操作系统版本是否为最新稳定版，是否存在未安装的安全补丁，及时进行系统更新和补丁安装，防范安全漏洞。查看系统日志，包括系统启动日志、应用程序日志、安全日志等，排查是否有错误信息、警告信息或异常登录记录。检查进程运行状态，确认关键服务进程（如计算任务调度服务、监控代理服务等）是否正常运行，无意外终止或占用过高资源的情况。测试计算节点的计算性能，通过运行基准测试程序（如Linpack、HPL），对比历史性能数据，若性能下降明显，分析是否由硬件故障、系统配置变更或软件冲突导致。（二）加速节点巡检GPU/FPGA组件检查观察GPU/FPGA卡的外观，查看是否有电容鼓起、电路板烧焦、散热片变形等情况，检查固定螺丝是否松动。通过GPU监控软件（如nvidia-smi、AMDRadeonSoftware）查看GPU的温度、使用率、显存使用率、核心频率等参数，确保温度不超过厂商规定的上限（一般GPU温度不超过90℃）。检查GPU/FPGA卡的驱动版本是否与操作系统及应用程序兼容，及时更新驱动程序以提升性能和稳定性。性能测试运行GPU/FPGA专用的基准测试工具（如CUDA-Z、OpenCLBenchmark），测试计算性能、内存带宽等指标，对比历史数据判断性能是否正常。运行典型的加速计算应用程序，检查任务执行效率、计算结果准确性，若出现计算错误或性能瓶颈，排查硬件故障、驱动问题或应用程序优化不足等原因。（三）管理与登录节点巡检系统状态检查检查管理节点的CPU、内存、硬盘使用率，确保系统资源占用合理，无异常高负载情况。查看管理节点上运行的集群管理软件（如Slurm、PBSPro）、监控平台（如Zabbix、Prometheus）等服务是否正常启动，功能是否完备。测试登录节点的远程连接功能，通过SSH、VNC等方式登录节点，检查登录速度、响应时间是否正常，有无连接失败或卡顿现象。数据备份检查确认管理节点上的集群配置信息、用户账号数据、作业调度记录等重要数据是否定期备份，检查备份文件的完整性和可恢复性。测试数据恢复流程，模拟数据丢失场景，使用备份文件进行恢复操作，确保备份机制有效可靠。三、存储设备巡检细则（一）集中式存储阵列巡检外观与指示灯检查观察存储阵列机柜是否有变形、损坏，机柜门锁是否完好，设备周围是否有足够的散热空间。检查存储控制器、硬盘框、电源模块、风扇模块等部件的指示灯状态，确认电源指示灯、活动指示灯、故障指示灯显示正常，无异常告警。控制器与硬盘检查通过存储管理软件查看存储控制器的CPU使用率、内存使用率、缓存命中率等性能指标，确保控制器运行稳定，性能满足业务需求。检查硬盘驱动器的健康状态，查看SMART参数、读写速度、IOPS（每秒输入输出操作数）等指标，若发现硬盘故障，及时更换故障硬盘并重建RAID阵列。检查RAID卡的工作状态，确认RAID级别配置正确，无RAID降级或失效情况，查看RAID重建进度（若有），确保重建过程顺利完成。存储网络检查检查光纤通道卡、iSCSI卡等网络接口的指示灯状态，测试存储网络的连通性和带宽，使用光纤测试仪检测光纤链路的损耗、误码率等参数。查看存储网络交换机的端口状态、流量统计信息，确保存储网络无拥塞、丢包等问题，若存在网络性能瓶颈，优化网络配置或升级网络设备。（二）分布式存储集群巡检节点状态检查检查分布式存储集群中所有节点的在线状态，确认无节点离线或失联情况，通过集群管理平台查看节点的CPU、内存、磁盘使用率等资源占用情况。查看节点日志，排查是否有节点故障、数据复制失败、元数据损坏等错误信息，若发现异常节点，及时进行故障排查和修复，必要时替换节点。数据完整性检查运行数据一致性检查工具，验证分布式存储集群中数据的完整性和一致性，检查是否存在数据丢失、损坏或不一致的情况。检查数据副本数量、分布策略是否符合配置要求，确保数据冗余机制有效，在节点故障时能够快速切换副本，保障数据可用性。性能测试测试分布式存储集群的读写性能，包括顺序读写速度、随机读写IOPS、延迟等指标，对比历史性能数据，分析性能变化趋势。模拟高负载场景，运行大规模数据读写任务，检查集群的扩展性、稳定性和负载均衡能力，若出现性能下降或服务中断，优化存储系统配置或增加存储节点。（三）磁带库与光盘库巡检机械部件检查观察磁带库、光盘库的机械臂、传送带、磁带驱动器、光盘驱动器等部件的运行状态，检查是否有卡顿、异响、定位不准等机械故障。清洁机械部件，使用专用清洁工具清理机械臂导轨、传送带表面的灰尘和杂物，确保机械运动顺畅。介质与驱动器检查检查磁带、光盘等存储介质的外观，查看是否有划痕、污渍、变形等情况，若介质损坏，及时更换并重新备份数据。测试磁带驱动器、光盘驱动器的读写性能，读取、写入测试数据，检查数据读写速度、准确性，若出现读写错误，清洁驱动器磁头或更换驱动器部件。库管理软件检查检查磁带库、光盘库管理软件的运行状态，确认介质目录信息、存储位置记录准确无误，测试介质检索、加载、卸载等功能是否正常。检查备份任务执行情况，查看备份日志，确认备份任务是否按时完成，有无备份失败或数据丢失情况，若有异常，排查备份策略、介质故障或软件配置问题。四、网络设备巡检细则（一）核心网络设备巡检外观与环境检查检查核心路由器、汇聚交换机等设备的外观是否有损坏、变形，设备指示灯（电源灯、系统灯、端口灯）是否正常显示，无异常告警。查看设备所在机柜的通风散热情况，确保风扇模块正常运转，设备温度在正常范围（一般不超过60℃），检查设备周围是否有杂物堆积，影响散热。系统与配置检查通过设备命令行界面（CLI）或网络管理软件查看设备的系统版本、配置文件，确认系统版本为最新稳定版，配置文件无错误或冗余配置。检查设备的CPU、内存、Flash等资源使用率，确保资源占用合理，无异常高负载情况，若资源使用率过高，优化设备配置或升级硬件。查看设备日志，排查是否有接口故障、路由震荡、访问控制列表（ACL）匹配异常等错误信息，及时处理网络故障隐患。端口与链路检查检查网络设备端口的连接状态、流量统计信息，确认端口无断开、拥塞、丢包等问题，查看端口的速率、双工模式配置是否与链路另一端设备匹配。测试网络链路的连通性和带宽，使用ping、traceroute、iperf等工具检测网络延迟、抖动、吞吐量等指标，若链路性能下降，检查线缆、光模块是否损坏，或优化路由策略。（二）安全设备巡检防火墙与负载均衡设备检查检查防火墙的运行状态，查看CPU、内存使用率、会话数等参数，确保设备性能满足业务需求，无资源耗尽风险。检查防火墙的安全策略配置，确认访问控制规则、NAT（网络地址转换）规则、VPN（虚拟专用网络）配置等是否正确，是否存在安全漏洞或冗余规则。测试负载均衡设备的流量分发功能，检查服务器节点的健康状态检测机制是否有效，确保流量能够均匀分配到可用服务器，避免单点故障。入侵检测与防御系统检查查看入侵检测与防御系统（IDS/IPS）的告警日志，分析告警事件的类型、级别、来源IP等信息，及时处理潜在的网络攻击行为。检查IDS/IPS的规则库是否及时更新，确保能够检测和防御最新的网络威胁，测试规则的有效性，避免误报或漏报情况。（三）网络线缆与光模块巡检线缆检查检查网络线缆（双绞线、光纤）的外观，查看是否有破损、弯折、挤压等情况，线缆标签是否清晰、准确，便于识别和维护。检查线缆连接是否牢固，水晶头、光纤连接器是否插紧，有无松动或接触不良现象，若发现线缆损坏，及时更换线缆并重新制作连接头。光模块检查检查光模块的外观，查看是否有灰尘、污渍、损坏，光模块的指示灯状态是否正常。使用光功率计测试光模块的发射光功率、接收光功率，确保光功率在设备规定的范围内，若光功率异常，清洁光模块接口或更换光模块。五、制冷与供电设备巡检细则（一）冷水机组与精密空调巡检冷水机组检查观察冷水机组的外观，检查机组是否有漏水、漏油、异响等情况，查看压缩机、蒸发器、冷凝器、水泵等部件的运行状态。通过机组控制面板查看冷水的进水温度、出水温度、压力、流量等参数，确保参数在正常范围，若水温或压力异常，检查制冷剂液位、水系统阀门开度、水泵转速等。检查冷水机组的电气控制系统，确认接触器、继电器、断路器等电气元件工作正常，无过热、打火现象，查看机组运行日志，分析能耗变化趋势。精密空调检查检查精密空调的压缩机、风机、加湿器、加热器等部件的运行状态，查看空调的送风温度、回风温度、相对湿度、风速等参数，确保温湿度控制在超算中心要求的范围（一般温度20-25℃，相对湿度40%-60%）。清洁空调的空气过滤器、蒸发器盘管、冷凝器盘管，去除灰尘和杂物，提高空调的制冷、制热效率，检查排水系统是否畅通，有无积水或漏水情况。检查空调的电气系统，确认电源电压、电流正常，电气接线牢固，无松动、发热现象，测试空调的报警功能，确保温湿度超标、过滤器堵塞等异常情况能够及时告警。（二）UPS与配电柜巡检UPS设备检查观察UPS主机的外观，检查是否有异响、异味、漏水等情况，查看UPS的输入电压、输出电压、输出电流、频率、电池电压等参数，确保参数稳定在正常范围。检查UPS的电池组，测量电池单体的电压、内阻，查看电池表面是否有鼓包、漏液、腐蚀等情况，若电池性能下降，及时进行均衡充电或更换电池。测试UPS的切换功能，模拟市电中断场景，检查UPS是否能够无间断切换到电池供电模式，市电恢复后是否自动切换回市电供电，切换过程中是否有输出中断或电压波动。配电柜检查检查配电柜的外观，查看柜门是否关闭严密，柜体是否有变形、锈蚀，柜内是否有灰尘、杂物堆积。检查配电柜内的断路器、接触器、熔断器、电流表、电压表等电气元件，确认元件工作正常，无过热、打火、跳闸等情况，查看电流、电压、功率等参数，确保负载分配合理。检查配电柜的接线端子，确认接线牢固，无松动、发热现象，测试配电柜的应急照明、指示灯等附属设施，确保功能正常。（三）发电机与电池组巡检发电机检查检查发电机的外观，查看燃油箱油位、冷却液液位、机油液位是否正常，有无漏油、漏水情况，检查发电机的启动电池电压、电解液比重。测试发电机的手动和自动启动功能，模拟市电中断场景，检查发电机是否能够在规定时间内启动并正常供电，测量发电机的输出电压、电流、频率、功率等参数，确保参数符合要求。清洁发电机的空气过滤器、燃油过滤器，定期更换机油、机油过滤器，检查发电机的排气系统，确保排气畅通，无泄漏现象。电池组检查检查UPS电池组、发电机启动电池组等电池的外观，查看电池是否有鼓包、漏液、腐蚀等情况，测量电池单体的电压、内阻、温度，分析电池的健康状态。检查电池组的连接线缆、端子，确认连接牢固，无松动、发热现象，清洁电池表面的灰尘和污渍，保持电池组周围环境干燥、通风。定期对电池组进行充放电测试，检查电池的容量、放电时间、充电效率等指标，若电池容量下降到额定容量的80%以下，及时更换电池。六、监控与安防设备巡检细则（一）环境监控系统巡检传感器检查检查温湿度传感器、烟雾探测器、漏水检测装置等传感器的安装位置是否正确，固定是否牢固，传感器表面是否有灰尘、污渍影响检测精度。校准温湿度传感器，使用标准温湿度计对比测量结果，若测量误差超过允许范围，调整传感器参数或更换传感器。测试烟雾探测器、漏水检测装置的报警功能，模拟烟雾、漏水场景，检查传感器是否能够及时发出告警信号，告警信息是否准确传输到监控平台。监控平台检查登录环境监控平台，检查平台的运行状态，确认监控数据实时更新，界面显示正常，无数据丢失或延迟情况。查看监控平台的告警日志，分析告警事件的类型、发生时间、处理结果，及时处理未解决的告警，优化告警阈值设置，避免误报或漏报。测试监控平台的联动控制功能，如当温湿度超标时，检查精密空调是否自动调整运行参数；当检测到漏水时，检查漏水阀门是否自动关闭，确保联动机制有效。（二）视频监控与门禁系统巡检视频监控检查检查视频监控摄像头的安装位置、角度是否合适，镜头是否清洁，有无遮挡物影响监控视野。测试摄像头的监控画面清晰度、色彩还原度、夜视功能，查看录像存储设备的存储空间、录像质量、录像保存时间，确保录像数据完整、可查询。检查视频监控平台的功能，确认实时监控、录像回放、远程控制等功能正常，测试摄像头的移动侦测、人脸识别等智能分析功能，确保能够准确识别异常行为。门禁系统检查检查门禁读卡器、电锁、出门按钮等设备的外观，查看是否有损坏、松动情况，测试门禁系统的刷卡、密码、指纹等识别方式，确保识别准确、开门迅速。查看门禁系统的出入记录，确认记录信息完整、准确，包括人员姓名、出入时间、门禁点等，测试门禁系统的权限管理功能，确保不同人员的门禁权限设置正确。测试门禁系统的应急开门功能，如断电后门禁是否自动解锁，手动开门按钮是否能够正常开门，确保在紧急情况下人员能够快速疏散。（三）消防报警设备巡检火灾报警控制器检查检查火灾报警控制器的外观，查看控制器的电源指示灯、运行指示灯、故障指示灯显示是否正常，有无异常告警信息。测试火灾报警控制器的功能，包括火警报警、故障报警、联动控制等，模拟火灾场景，检查探测器是否能够及时触发报警，控制器是否能够发出声光告警信号，并启动相应的消防联动设备（如排烟风机、消防水泵、防火卷帘等）。检查火灾报警控制器的备用电源，测试备用电源的供电时间、充电功能，确保在主电源断电时，备用电源能够为控制器提供足够的供电时间。消防联动设备检查检查排烟风机、消防水泵、防火卷帘、气体灭火装置等消防联动设备的外观，查看设备是否有损坏、锈蚀情况，设备周围是否有障碍物影响正常运行。测试消防联动设备的启动、停止功能，通过火灾报警控制器远程启动设备，检查设备运行状态、参数是否正常，确保联动设备能够在火灾发生时及时投入使用。检查消防联动设备的电气控制系统，确认电源供应正常，电气接线牢固，无松动、发热现象，测试设备的手动控制功能，确保在自动控制失效时能够手动操作设备。七、巡检记录与故障处理（一）巡检记录管理巡检人员应按照本手册的要求，认真填写《超算中心设备巡检记录表》，记录巡检时间、巡检设备、检查内容、发现的问题及处理情况等信息，确保记录真实、准确、完整。巡检记录应采用电子文档和纸质文档双重备份的方式进行保存，电子文档存储在超算中心的专用服务器上，定期进行数据备份；纸质文档由专人负责整理、归档，保存期限不少于3年。每月对巡检记录进行汇总分析，统计设备故障类型、发生频率、处理时长等数据，分析设备运行趋势，制定针对性的维护措施和优化方案。（二）故障分级与处理流程故障分级一级故障：导致超算中心整体或大部分系统停机，严重影响业务运行的故障，如冷水机组全面故障、UPS系统瘫痪、核心网络设备故障等。二级故障：导致部分计算节点、存储设备或网络区域无法正常运行，对业务运行有较大影响的故障，如单个计算节点故障、部分存储硬盘损坏、局部网络中断等。三级故障：设备出现轻微异常，但不影响业务正常运行的故障，如个别指示灯异常、系统日志警告信息、局部温湿度偏离正常范围等。处理流程一级故障：巡检人员发现后立即启动应急预案，通知运维主管、设备厂商技术支持人员及相关业务负责人，迅速开展故障排查和应急处置工作，优先恢复核心业务系统运行，故障处理完成后提交详细的故障分析报告和改进措施。二级故障：巡检人员及时记录故障信息，通知运维工程师进行故障排查和处理，若无法在规定时间内解决，升级为一级故障处理，故障处理完成后进行故障复盘，总结经验教训。三级故障：巡检人员记录故障信息，定期汇总后提交给运维