监控硬盘存储巡检规范课件

IT运维培训课件服务器机房硬盘巡检规范巡检规范·SMART检测·告警处置·更换流程汇报时间：202604COURSEGUIDE课程导览全课共四章，从制度认知到趋势优化，逐步建立硬盘巡检的完整能力巡检制度与准备建立巡检认知与制度框架硬盘健康检测掌握SMART核心指标与诊断工具告警与更换流程规范告警处置与硬盘更换操作数据与运维趋势用行业数据指导巡检优化01020304巡检制度与准备巡检是保障机房稳定运行的第一道防线01巡检必要性巡检是数据安全的第一道防线机房稳定性直接决定业务连续性与数据安全任何不起眼的故障，都可能导致数据大规模丢失或业务中断。硬盘是服务器中唯一有机械动作的部件旋转的主轴、移动的磁头，任何一处磨损都会影响读写，失效概率排在所有部件前列。故障不是会不会，而是什么时候硬盘失效通常不是瞬间发生，而是有一个退化过程。巡检的核心目标就是提前发现潜在故障，把被动救火变成主动防御。谁来巡检巡检人员须经培训并持有相关证书，专职持证上岗负责人统筹协调，并对设备安全与性能进行评估分析服务器机房硬盘巡检规范04/30人员与准入双人制巡检守住操作安全人员配置日常巡检：双人制，1名主检员查设备，1名记录员实时记录并复核周级/月度巡检：运维主管带队，至少

3人，含1名技术负责人资质门槛持《网络运维工程师》或《机房运维管理员》职业资格证书上岗前完成

40课时安全培训，含消防演练、防静电操作、高压设备接触规范，考核合格红线禁令触线即停严禁单人执行巡检任务严禁未佩戴防静电手环操作服务器、交换机等精密设备严禁携带食物、金属工具、个人电子设备进入机房服务器机房硬盘巡检规范05/30分级巡检体系日周月分级巡检覆盖全区域日检每日

2

次上午9:00·下午15:00覆盖机房全区域及核心设备。周检每周五周五14:00专查日常易忽视的隐蔽部位——设备背部线缆、机柜底部走线架，以及精密空调滤网、UPS电池组等辅助系统。月检每月最后一个工作日月末工作日13:00全面深度检查，含设备性能分析、系统日志归档、安全设施功能测试及应急预案演练。巡检周期按设备重要性与使用频率确定，一般每日一次，重要设备可加大频率；范围覆盖机房内所有设备、接线口及周边环境。服务器机房硬盘巡检规范06/30巡检实操准备巡检工具与记录表缺一不可工具准备01/TOOLS温湿度计红外测温仪万用表手电筒防静电手环标签打印机常用螺丝刀测量工具须校准后使用文档与记录02/DOCUMENTS设备布局图机柜配置表历史巡检记录设备手册应急预案标准化表格字段设备名称巡检项正常范围异常描述处理状态数据与人员03/DATA&STAFF历史数据可识别故障高发区，辅助提前预判人员能力须熟悉供电架构、设备特性、应急流程及基本电气安全知识服务器机房硬盘巡检规范07/30环境管控温湿度超标须五分钟内处置标准范围18-25

℃温度40%-60%湿度测点与设备数字式温湿度计精度

±0.5℃/±2%RH测点布置机房四角距地

1.5米处及设备密集区机柜列间通道中部，每处测

3次取平均值超标未处置的后果高温致设备过热损坏低温致设备失效高湿致受潮生锈低湿致静电故障处置时限5分钟内调整精密空调设定值每次幅度

≤2℃/5%RH30分钟未恢复深入检查并切备检查压缩机运行、出风口风速

≥2m/s、滤网清洁度；必要时切换备用空调并联系厂家维修服务器机房硬盘巡检规范08/30巡检方法五维巡检与带外管理提效率五个维度逐项覆盖、不漏关键硬件计算CPU核心温度、负载均值、是否降频存储硬盘SMART状态、RAID冗余状态供电散热电源与风扇状态网络网卡与链路连通性系统日志硬件告警记录带外优先先确认BMC/IPMI管理口可访问，多数硬件健康数据无需进系统即可读取。脚本采集Linux下组合以下命令一次性采集：ipmitool

smartctl

lscpu

free

df

dmesg执行前须在测试环境验证，避免版本报错影响现场进度。服务器机房硬盘巡检规范09/30硬盘健康检测读懂SMART，就是读懂硬盘的体检报告02SMART技术认知SMART是硬盘的私人医生内置而非外挂SMART全称

Self-Monitoring,AnalysisandReportingTechnology，是硬盘固件自带的诊断系统，非第三方软件。持续监测实时跟踪几十项甚至上百项可靠性参数，相当于硬盘的“私人医生”，记录“心跳”“体温”“血压”。现状很多团队装完系统就不再查看盘的状态，直到阵列亮红灯才动手，处理窗口已经很窄。价值硬盘失效是渐进退化过程，SMART如实报告当前状态；读懂参数即读懂“体检报告”，可在数据灾难前提前预警、从容备份。服务器机房硬盘巡检规范11/30SMART指标预警05重映射扇区是最关键预警为什么最关键

机械硬盘最著名的预警指标，没有之一。服务器机房硬盘巡检规范12/30工作原理01出厂预留备用扇区，坏扇区地址被固件重新映射，对操作系统透明02正常RAW值为

0

或长期不变03数值增加=正在消耗备用扇区，硬盘「带病工作」04备用扇区耗尽后，坏道无法屏蔽，直接导致数据丢失行动指南值不为0

→

立即备份立即备份所有重要数据数值持续增长

→

倒计时寿命进入倒计时企业级超过

50

→

亮黄灯安排热备盘接管SMART指标·C5待映射扇区数C5待映射扇区是故障前兆预备队机制C5是

05

的预备队记录读取不稳定、被标记为「可疑」但尚未正式重映射的扇区。后续读写中，硬盘会尝试修复或最终重映射。预警信号不为0且持续存在→盘面不稳定这是

05项增长的前兆，需要高度警惕。状态灯：预警·05增长前兆三线对比判定当前值<阈值预故障状态——立即停止存储重要数据。最差值曾<阈值历史曾达预警——可继续使用，但需密切监控。厂商参数定义存在差异，应结合厂商规范综合解读，避免仅凭单一数值误判。服务器机房硬盘巡检规范13/30实操命令smartctl命令读懂硬盘状态信息读取$smartctl-i/dev/sdX确认型号、序列号与SMART支持状态$smartctl-a/dev/sdX输出全部属性表三行必看Reallocated_Sector_CtRAW_VALUE>0Current_Pending_SectorRAW_VALUE>0UDMA_CRC_Error_CountRAW_VALUE>0任一属性

RAW_VALUE大于0，即存在不可逆缺陷长自检$smartctl-tlong/dev/sdX启动全盘自检$smartctl-lselftest/dev/sdX完成后查看结果报告

Completed:readfailure，即证明存在不可修复读取错误扇区执行前提目标盘未被dd、rsync、数据库进程直接读写非系统根盘，未挂载为

/

或

/boot先运行

smartctl-c

确认支持long自检服务器机房硬盘巡检规范14/30认知纠偏PASSED不等于绝对安全PASSED只是门槛，不是保证。smartctl-H

仅基于少数阈值判断，无法反映SSD早期磨损与备用块耗尽。分盘盯指标SSD专用健康指标NVMePercentageUsed·AvailableSpare已用寿命百分比·剩余备用块比例SATASSDMedia_Wearout_Indicator剩余寿命指标典型安全值大于1跨盘不可比SSD的

Raw_Read_Error_Rate、Seek_Error_Rate

数值受固件编码影响，无实际意义。危险信号任意一行WHEN_FAILED显示

FAILING_NOW

或

Pre-fail，说明已跌破厂商硬阈值。应立即停止写入，避免触发更多重映射或耗尽备用块。服务器机房硬盘巡检规范15/30物理信号·失效前兆异响与延迟是失效前兆SMART警告常滞后于物理异常，异响、延迟、卡顿是更直观的失效前兆。高危声音连续咔嗒声、反复寻道声磁头定位偏移、盘片划伤或电机磨损，无法软件修复指甲刮玻璃式尖啸·90%

是电机轴承问题剩余寿命通常不超过

800小时周期性“嗒嗒”声企业盘正常伺服校准，不必误判异常响应100ms磁盘响应时间持续高于100ms30秒根目录首次列出文件超过30秒未响应日志排查Windows事件查看器筛选ID为7、11、50的错误事件Linuxdmesg|grep-i"ata|hard|reset"服务器机房硬盘巡检规范16/30硬盘故障排查·厂商级深度检测厂商诊断工具做深度检测检测要点LongGenericTest01执行LongGenericTest长时间通用测试02测试期间禁止其他程序访问该硬盘03报错代码

0x03/0x05/0x0A物理坏道已形成工具选择官网下载希捷SeaToolsWindows/DOS版西数DataLifeguardDiagnosticNVMe专项CrystalDiskInfo读取PercentageUsed数值超过阈值即触发判断超过95%主控寿命耗尽风险极高厂商工具可执行伺服扇区校验、磁道扫描与固件一致性检查，检测深度远超通用工具，并能识别特定型号独有缺陷模式。服务器机房硬盘巡检规范17/30告警与更换流程告警不慌、更换不乱，流程就是安全线03硬盘告警响应收到告警先备份再诊断处理顺序1先备份迅速备份所有关键数据与文件2再诊断运行硬盘检查，评估健康状况3后处置根据诊断结果采取相应措施官方依据“Dell明确：物理磁盘收到SMART警报即暗示可能不久发生故障，应更换该磁盘；冗余虚拟磁盘成员可在线更换。诊断途径BIOS检查启用状态CrystalDiskInfo查看详细参数smartctl命令行深度诊断，并排查物理连接问题启动时出现SMART自检提示“硬盘即将发生故障”，须立即备份全部内容，并在系统诊断中运行硬盘测试。服务器机房硬盘巡检规范19/30第4章·故障判读告警分级决定响应动作绿色正常黄色/橙色故障红色严重故障smartctl确认WHEN_FAILED

列显示

FAILING_NOW

或

Pre-fail，说明属性已跌破厂商硬阈值，硬盘处于故障临界点。BIOS验证SMART状态显示

Warning

或

Failing，即已触发厂商级健康阈值告警，需立即执行数据备份。CrystalDiskInfo核查05·C5·C6重点核查三项直接读取全部SMART原始值、当前值、最差值及临界阈值；右上角健康状态栏：蓝色为正常、黄色为警告、红色为不良。重点核查

05、C5、C6

三项原始值——若其值大于0且持续增长，表明物理坏道正在生成或备用扇区已被调用。原始值>0且持续增长→坏道生成/备用扇区调用，立即进入响应动作服务器机房硬盘巡检规范20/30更换前安全底线数据备份是更换前红线红线在前不可逾越动手拆卸任何硬件前，数据备份不可逾越。RAID单盘故障虽能维持运行，再次故障即阵列崩溃——必须执行全量冷备或增量备份，并验证可恢复性。状态识别通过

iDRAC、iLO、BMC

或

smartctl、MegaCli

确认硬盘状态，精准区分三类状态。切勿把正常盘误判为故障盘，否则人为制造灾难。Failed故障盘PredictiveFailure预警盘Offline离线盘老旧盘策略机械硬盘重点关注通电时间与坏道计数；大量重映射扇区出现时，建议批量更换，而非单盘修补。通电时间重点关注指标坏道计数重点关注指标出现大量重映射扇区→批量更换，而非单盘修补服务器机房硬盘巡检规范21/30硬盘更换流程热备盘让重建自动启动热备盘的价值故障盘一移除，全局热备盘立即接管，RAID阵列自动开始重建，最大限度缩短数据风险窗口。热插拔与关机支持Hot-Swap确认热备盘已配置，直接操作不支持Hot-Swap先关机、切断电源、释放静电，防止主板击穿拔盘与装盘拔出时记录槽位编号观察指示灯颜色新盘规格匹配容量不小于原盘，接口类型与转速一致需删数据时先用SmartProvisioning处理服务器机房硬盘巡检规范22/30硬盘更换·操作规范插拔时序决定识别成败SAS/SATA：先等30秒再动手30秒·脱机后等待下限脱机后等待至少

30秒，待硬盘完全停转再拔出插拔间隔小于30秒，槽位硬盘可能无法被识别脱离背板后重新插入，同样需等满30秒NVMe：3秒间隔，插入不停顿3秒·多盘操作最小间隔ES3000V5盘脱机后可直接拔出，但禁止多盘同时插拔每次只操作一个盘，两盘间隔须大于

3秒，否则可能无法正常通信插入过程不能有停顿，否则可能无法被系统识别拆下后的统一动作卸下的硬盘立即放入防静电包装袋不立即更换时，安装硬盘槽位填充模块服务器机房硬盘巡检规范23/30重建与验收重建期间严禁重启服务器重建红线插入新盘后RAID卡通常自动识别并开始重建，此时严禁重启服务器。性能波动属正常重建期间服务器性能显著下降、I/O延迟增加，属预期现象。未自动触发时进入RAID配置界面，将新盘状态从

Foreign/Unconfigured

手动改为

Rebuild。校验闭环重建完成后运行

fsck

与RAID一致性校验，确认无逻辑错误；对比更换前后I/O性能指标，确认新盘读写速度符合预期。监控更新将新盘SMART信息纳入监控阈值，设置温度、通电时间、坏道增长的实时告警，建议开启

RAID卡缓存。服务器机房硬盘巡检规范24/30硬盘更换·特殊场景整机更换与SSD替换要点整机更换按槽位原样插回SLOT-BY-SLOTRESTORE原服务器存储设备无故障时，按原槽位顺序插回新服务器。75

分钟75分钟内完成→不触发数据重构超过75分钟→数据重构期间磁盘IO流量大，影响业务性能SSD替换禁止混搭NOMIXEDDRIVESHDD环境无法提供新HDD时，用SSD替换服务器中所有硬盘。SSD与HDD不可同机混搭SSD全盘替换HDD不可共存上电校验指示灯+iBMCPOWER-ONCHECK先等

3分钟，检查

Active指示灯状态。绿色常亮→安装成功登录iBMC确认物理盘信息完整服务器机房硬盘巡检规范25/30数据与运维趋势用数据说话，让巡检更有方向04行业数据基准大容量盘可靠性持续提升Backblaze2026Q1·生产硬盘总量341,263块年化故障率AFR1.24%▼

较上季度1.42%下降生命周期故障率1.39%大容量盘表现92%新部署硬盘容量超过

20TB主要应对

AI工作负载；20TB以上年故障率仅

0.85%，覆盖超

8.6万块盘具体型号表现西数WUH722222ALE6L4

22TB装机超

4.5万块，故障率

0.38%东芝MG11ACA24TE

24TB故障率

0.22%，创最低纪录长服役验证Backblaze最早的4TBHGST硬盘已服役超

106个月

，接近

9年服务器机房硬盘巡检