网络设备运维管理办法

网络设备运维管理办法一、第一章总则1.1第一条目的与适用范围为规范网络设备全生命周期运维工作，降低非计划停机时间，明确岗位职责与处置权限，依据《中华人民共和国网络安全法》及公司《信息安全管理制度》，制定本办法。本办法适用于公司总部及各分支机构机房内的交换机、路由器、防火墙、无线控制器（AC/AP）、负载均衡、VPN网关等网络设备的日常运维、故障处置、变更管理及退役报废全过程。云上网络资源（VPC、安全组、云专线）参照本办法执行。1.2第二条运维目标值指标目标值统计口径核心网络设备可用率≥99.9%按月统计，含计划外停机接入层设备可用率≥99.5%按月统计P1故障响应时间≤10分钟监控告警触发至运维人员确认P1故障恢复时间≤60分钟从确认至业务恢复或回退完成P2故障恢复时间≤4小时同上变更成功率≥95%成功变更数/总变更数配置备份覆盖率100%全部在线设备按周期完成备份1.3第三条设备分级按业务影响程度将设备分为三级，分级决定告警响应速度、变更审批层级与巡检频次：•A级（核心层）：核心交换机、出口路由器、互联网边界防火墙、核心AC。任一台故障将导致全公司或全楼宇业务中断。•B级（汇聚层）：汇聚交换机、区域防火墙、负载均衡、分支机构出口设备。故障影响单栋楼或单部门。•C级（接入层）：接入交换机、无线AP、小型VPN网关。故障影响单个楼层或小于50个终端。分级清单由网络组维护，每季度更新一次，新设备上线5个工作日内完成定级并录入资产台账。二、第二章组织与职责2.1第四条组织架构成立网络运维小组，隶属信息技术部，构成如下：•运维负责人（1名）：审批B级变更与P1应急决策，每月向分管副总提交运维月报。•网络工程师（2~3名）：执行日常巡检、变更实施、故障处置，实行主备值班制（主值班A角、备份B角，A角休假期间职责自动移交B角并在值班表中备案）。•值班工程师：非工作时间由当周值班工程师承担一线响应，手机7×24小时开机。2.2第五条岗位职责边界1.运维负责人：审批变更窗口（A级变更报分管副总批准）、重大故障对外通报、季度备件采购计划审核。2.网络工程师：配置修改实施、备份验证、故障定位与恢复、台账更新（变更完成后24小时内）。3.值班工程师：按告警分级在规定时限内响应，超出自身权限的处置（如A级设备重启）必须电话请示运维负责人，严禁先行处置后补报。2.3第六条交接班制度值班交接采用书面+系统双记录：交接双方在工单系统完成交接确认，内容包括未闭环告警、进行中变更、当日计划维护任务。交班方对交接前遗漏事项负责，接班方签字后30分钟内完成未闭环事项的书面确认，防止责任真空。三、第三章日常运维管理3.1第七条巡检管理巡检是发现隐性故障（单电源失效、风扇降速、端口CRC累积、主备状态漂移）的主要手段。巡检分三种：1.自动巡检（每日02:00）：由运维平台自动执行配置差异比对、备份、端口流量与错误包统计，异常项自动生成工单。2.人工周检（每周三）：A、B级设备逐台登录检查，内容包括CPU利用率（持续>70%记录并分析）、内存利用率（>80%需评估升级）、电源与风扇状态（双电源设备必须确认两路均正常，单路失效等于失去冗余）、主备设备状态（VRRP/堆叠主备与台账登记是否一致）、日志告警（重点查看down/up翻转记录）。3.机房月检（每月第一个工作周）：含设备除尘、理线检查、UPS放电测试配合、接地与温湿度记录（机房温度18~27℃，相对湿度40%~60%，超出范围即开单处理）。巡检记录填写《网络设备巡检记录表》（附件1），发现异常1个工作日内转为工单跟踪，严禁口头交接不落单。3.2第八条配置备份配置备份是故障恢复与变更回退的前提，无备份的设备严禁实施任何变更：•A级设备：每日自动备份，变更前手动备份一次并标注变更单号。•B级设备：每周自动备份，变更前手动备份。•C级设备：每月自动备份。备份文件保存于备份服务器本地+异地副本各一份，保留周期180天。每季度随机抽取10%的备份做可读性验证（下载并检查文件完整性、关键配置行存在），验证结果记入季度运维报告。3.3第九条性能容量管理每季度末进行容量评估，触发扩容评估的阈值：1.任意端口链路带宽月均值持续两周>70%，评估链路扩容或流量分流。2.设备CPU/内存月均值>60%，评估设备升级。3.接入交换机端口使用率>80%，评估新增接入设备。4.DHCP地址池利用率>85%，规划地址扩容。容量评估报告随季度报告提交运维负责人，超阈项必须给出处置计划（扩容、替换或接受风险并说明理由），不得仅记录不处置。3.4第十条台账管理台账（CMDB）记录设备型号、序列号、IP地址、位置、软件版本、定级、维保到期日、责任人。变更实施后24小时内更新；每月末核对台账与实机一致性（抽查不低于20%）；维保到期前60天由系统自动提醒续保。四、第四章变更管理4.1第十一条变更分级与审批网络是业务流量的必经通道，任何配置改动都可能引发全局中断，故变更必须经审批、有回退方案、在窗口内实施：1.A级变更：核心设备配置修改、软件升级、拓扑调整。审批：运维负责人初审+分管副总批准。窗口：周五20:00~24:00或节假日。2.B级变更：汇聚设备调整、策略类修改（ACL、QoS）。审批：运维负责人批准。窗口：工作日20:00~23:00。3.C级变更：单接入交换机操作、用户级调整。审批：网络工程师提出、运维负责人知情即可。窗口：工作日12:00~13:30或20:00后。紧急变更（P1故障处置所必需）可先电话请示运维负责人口头批准实施，事后24小时内补办变更单，补单时必须写明口头批准人及时间。4.2第十二条变更实施要求1.变更单必须包含：变更内容、影响范围、实施步骤、验证方法、回退步骤、实施人与复核人。无回退步骤的变更单一律退回。2.实施前30分钟通知受影响业务方；实施时执行「双人操作」——一人操作、一人对照变更单复核，A级变更全程录屏留痕。3.验证通过后保留观察：A级变更观察24小时，B级4小时，观察期内出现异常按回退步骤回退。回退动作同样在变更单中记录。4.变更失败率连续两个月>15%时，运维负责人组织复盘，分析原因（多为方案评审缺失或测试环境验证不足），改进后纳入下月变更检查。五、第五章监控告警与故障管理5.1第十三条监控覆盖要求全部在线设备纳入监控平台，监控项至少包括：设备可达性（Ping/SNMP，间隔60秒，连续3次失败告警）、CPU/内存、端口状态与错误包、电源风扇状态、光模块收发光功率（低于厂商阈值下限告警）。新设备上线当日内完成纳管，纳管率纳入月度检查。5.2第十四条告警分级与响应级别判定标准响应时限处置原则P1A级设备中断、核心链路故障、全网或整楼宇业务中断10分钟内响应，60分钟内恢复立即启动应急预案，优先恢复业务（切换、回退、更换备件），再定位根因P2B级设备故障、单链路冗余失效、部分部门中断30分钟内响应，4小时内恢复先评估是否升级为P1，按标准流程处置P3单点C级设备故障、无业务影响的冗余失效2小时内响应，24小时内恢复转工单跟踪，闭环后记录归档响应计时以监控告警触发时间为起点。值班工程师超时未响应（平台自动核查），告警自动升级通知运维负责人。5.3第十五条故障处置流程1.确认与分级：值班工程师核实告警真实性（排除监控误报），按第十四条定级并在工单系统登记。2.隔离与恢复优先：故障处置遵循「先恢复、后根因」。可用手段按优先级：主备切换→回退最近变更→替换备件→重启（重启A级设备必须经运维负责人电话确认，并确认业务侧已知晓）。3.根因分析：P1/P2故障恢复后3个工作日内完成故障报告，内容包括时间线、根因、影响时长、改进措施及责任人。P1故障报告报分管副总。4.复盘闭环：同类故障90天内重复发生2次以上，运维负责人组织专项复盘并制定根治方案，纳入下季度工作计划。5.4第十六条应急预案针对高风险场景预置处置预案，每年至少演练一次（演练记录存档）：1.核心设备整机故障：核心交换机配置双机热备（VRRP或堆叠），主备心跳中断3个周期（约3~9秒，视协议）后自动切换。预案要点：确认切换成功（备机接管状态、业务恢复）、故障机隔离下电送修、修复后按「先冷备回切、业务低峰执行」原则恢复主备状态。2.出口链路中断：双运营商链路，主链路故障由浮动路由/SLA检测自动切换（检测周期3秒×3次）。预案要点：验证切换后NAT与VPN隧道状态，联系运营商报障（要求2小时内响应），恢复后观察1小时再回切。3.机房级故障（断电/温控失效）：UPS满载续航按推算不低于30分钟，超出后按预案顺序对C级→B级设备分级下电，保A级设备运行等待市电或发电机恢复。4.大规模网络攻击/广播风暴：出现环路或异常流量时，优先在接入端口执行storm-control与端口关闭隔离，严禁在核心设备上直接大范围shutdown（会扩大中断范围）；确认风暴源端口后逐级放开。六、第六章安全管理6.1第十七条账号与权限1.设备登录优先使用统一认证（AAA/TACACS+）；不具备条件的必须禁用默认账号并修改默认口令。2.口令复杂度：长度≥12位，含大小写字母、数字、特殊字符，90天更换。口令保管使用密码管理工具，严禁明文记录于文档或表格。3.权限分级：管理员（配置读写）、审计员（只读+日志查看）。第三方人员只授权只读账号，且有效期不超过其现场工作周期，任务结束当日回收。6.2第十八条安全基线与漏洞管理1.新设备上线前完成安全基线核查：关闭Telnet/HTTP等明文管理协议（改用SSHv2/HTTPS）、关闭未使用端口、配置管理平面ACL（仅允许运维网段登录）、启用日志外发至日志服务器。2.每季度核查厂商安全通告，高危漏洞（CVSS≥9.0）在评估后30天内完成升级或缓解措施；升级实施走A级变更流程。3.管理流量与业务流量逻辑隔离，严禁管理地址暴露在业务网段。6.3第十九条日志审计设备日志统一外发至日志服务器，保留期≥180天（满足《中华人民共和国网络安全法》关于日志留存不少于六个月的要求）。每月抽查审计内容包括登录失败记录、非授权配置修改、非常规时段登录（22:00~06:00的登录需与变更单对应，无对应即列为安全事件核查）。七、第七章备件与退役管理7.1第二十条备件管理按「A级设备同型号备件不少于1台、关键模块（电源、光模块、板卡）按在用量的5%~10%备置（最低1件）」的原则储备。备件每季度通电测试一次（防止长期存放失效），测试记录留存。备件消耗后10个工作日内补库。厂商原厂维保为主要保障方式；过保设备若仍在用，评估签订第三方维保或采购备件替代。7.2第二十一条退役与报废1.退役设备先执行数据清除：清除配置文件、日志、用户凭证，存储介质按公司信息安全制度做不可恢复处理。2.注销监控、DNS、DHCP相关配置及台账记录，防止残留的静态路由或策略引用已退役设备。3.报废需经运维负责人确认并填写《设备报废审批单》，资产处置按公司财务制度执行。八、第八章考核与持续改进8.1第二十二条考核指标按月考核运维小组：可用率达标情况（对应第二条）、告警响应及时率（目标≥98%）、变更成功率、工单闭环及时率（P3工单24小时内闭环占比≥95%）、巡检完成率（100%）。连续两个月不达标的项目，运维负责人提交专项改进计划至分管副总。8.2第二十三条制度修订本办法每年评审一次，发生重大故障复盘结论、组织架构调整或监管要求变化时即时修订。修订由运维负责人起草，分管副总批准发布，旧版作废并归档留存。附件附件1：网络设备巡检记录表（样表）巡检日期设备名称设备级别CPU(%)内存(%)电源状态风扇状态主备状态日志异常发现问题处置措施巡检人附件2：变更单关键要素模板•变更单号/申请日期/申请人•变更内容与目的•影响范围（涉及设备、受影响业务方）•实施步骤（逐步列明，含命令要点）•验证方法与通过标准•回退步骤•实施窗口与预计时长•实施人/复核人/审批人签字附件3：应急