办公网络故障处理管理办法

办公网络故障处理管理办法第一章总则1.1目的为在办公网络发生故障时，用最短时间恢复业务、最小代价降低损失、最完整过程留存证据，特制定本办法。1.2适用范围适用于××公司总部、各分支机构、驻外办事处全部有线、无线、VPN、物联网办公网络及其配套设备。1.3依据《中华人民共和国网络安全法》第21、25条，《信息安全技术网络安全等级保护基本要求》（GB/T22239-2019），《××公司信息安全管理制度》Q/XX-ISMS-03，以及运营商SLA服务协议。1.4基本原则先抢通、后修复；先核心、后边缘；先生产、后办公；全程留痕、事后复盘；故障不瞒报、原因不谎报、责任不推诿。第二章组织架构与职责2.1网络故障应急指挥组（NOC）组长：信息技术中心总监；副组长：网络运维部经理；成员：系统、安全、行政、法务、业务线代表。职责：启动/终止应急响应、协调内外部资源、批准重大变更、对外信息披露。2.2网络运维组（NETOPS）7×24小时值班，负责故障发现、定位、隔离、回退、根因分析、配置备份、补丁验证。2.3安全审计组负责取证、日志封存、攻击溯源、合规检查、出具《安全事件报告》。2.4业务联络员每个业务部门指定1名“网络联络员”，负责需求传递、业务影响确认、用户安抚、测试验证。2.5供应商管理岗统一对接运营商、设备原厂、云服务商，管理SLA、RMA、备件库、现场工程师入室流程。第三章故障分级标准3.1P0（特大）影响>500人且核心业务停机>30分钟；或造成资金差错>100万元；或受到监管通报。3.2P1（重大）影响100–500人，关键业务降级>1小时；或冗余链路全部中断。3.3P2（一般）影响10–100人，非关键系统中断>2小时；或单条冗余链路中断。3.4P3（轻微）影响<10人，局部网络性能下降；或单台非关键设备故障。注：同时满足多项条件时，按最高级别定级；级别随影响范围动态升级。第四章预防机制4.1双因子清单每年3月、9月更新《网络资产清单》《网络风险清单》，双清单必须互相映射，风险闭环率≥98%。4.2变更三板斧所有变更必须通过“评审-模拟-灰度”三板斧：a)评审：技术评审+业务评审+安全评审，三级经理签字；b)模拟：在影子环境1:1流量回放≥24小时，丢包≤0.001%；c)灰度：先5%→20%→50%→100%用户，每阶段观察30分钟。4.3冗余黄金标准核心交换机、路由器、防火墙、运营商线路、DNS、DHCP、认证系统，必须N+1冗余，切换时间≤30秒。4.4配置基线使用RANCID+Git每日自动备份配置，差异告警；任何配置漂移>5行，值班电话即刻响起。4.5演练每季度一次“盲演”：在不提前通知情况下，由指挥组直接注入故障（如shutdown端口、吊销证书），检验真实响应速度。第五章故障发现与报告5.1发现渠道a)自动：Zabbix+Prometheus+SmokePing，阈值触发；b)人工：用户拨打400-6-XX-XX、企业微信“网络应急”小程序、驻场工程师当面报障；c)外部：运营商NOC、云监控、监管通报。5.2报告模板电话报告≤5分钟，字段：报障人工号、地点、现象、影响业务、联系方式；短信同步到NOC大屏。5.3升级时限P0：5分钟内电话上报指挥组组长；P1：15分钟内；P2：30分钟内；P3：1小时内。5.4谎报追责故意瞒报、降级上报，一经核实，按《员工奖惩制度》第18条“记大过+扣绩效20分”，造成损失者移交法务。第六章应急响应流程6.1阶段划分发现→定级→隔离→抢通→根因→复盘→关闭。6.2详细步骤步骤1发现值班工程师收到告警，立即在Jira创建工单，编号规则：NET-YYYYMMDD-序号，自动关联CMDB。步骤2定级根据第三章标准，在工单“优先级”字段选择P0–P3；若无法判断，默认高一级处理。步骤3隔离a)对疑似环路端口，立即shutdown；b)对疑似攻击源IP，在边界ACL封禁/32；c)对感染终端，在准入系统一键下线，并下发黑洞路由。步骤4抢通a)链路故障：30分钟内切换至备用线路，更新BGPcommunity；b)设备故障：启用堆叠/集群中备用主控，或从备件库取同型号整机，30分钟内完成替换；c)配置丢失：从Git回滚最近一次稳定commit，使用Ansible推送，全程录屏。步骤5根因a)收集信息：保存故障时接口计数、CPU、内存、温度、电源、光功率、BFDlog、BGPupdatelog；b)复现：在测试环境复现故障，必须复现≥2次；c)定位：采用“五层模型”法（物理-链路-网络-传输-应用）逐层排除，直到找到可重复触发条件；d)输出：48小时内提交《根因分析报告》，含时间线、截图、代码片段、补丁链接。步骤6复盘a)时间：故障恢复后3个工作日内；b)参与人：业务方、网络、安全、供应商；c)输出：会议纪要、改进事项、责任人、完成时间；d)评分：对响应速度、协作、文档完整性打分<80分的，责任组书面说明。步骤7关闭所有改进事项完成并通过验证后，由指挥组组长在工单点“关闭”，状态同步CMDB，保存7年。第七章技术操作手册7.1环路处理症状：MAC地址漂移、CPU>80%、用户掉包。操作：a)登录核心交换机，showmac-address-tabledynamic|includeflapping；b)确认端口后，shutdown；c)开启环路保护spanning-treebpduguard；d)通知布线组现场拔线，贴红色“环路隐患”标签；e)用户侧配置portfast+bpduguard，重新上线。7.2ARP攻击症状：网关MAC被伪造，用户无法上网。操作：a)在网关设备开启动态ARP检测(DAI)；b)在接入交换机ipdhcpsnooping；c)伪造源定位：showiparp|include00-00-5e，找到对应端口shutdown；d)对终端杀毒，重装系统后准入白名单放行。7.3DNS劫持症状：解析到钓鱼IP。操作：a)在防火墙抓包，dnsfilter记录可疑UDP53；b)与公根对比，确认污染；c)切换至DoH/DoT服务器，封锁UDP53出方向；d)刷新本地缓存ipconfig/flushdns，验证解析正常。7.4光纤中断症状：光口Down，收光-40dBm。操作：a)用OTDR测断点，记录距离；b)若在公司内部，启用备用光纤，修改跳线标签；c)若在运营商管道，拨打大客户热线，报障编号，要求2小时内熔纤；d)熔接后，OTDR复测≤0.05dB，更新光缆台账。7.5证书过期症状：VPN无法握手，提示certificateverifyfailed。操作：a)查看opensslx509-incert.pem-noout-dates；b)若剩余<30天，自动脚本应已告警；c)立即在CA重新签发，使用ACME或手动CSR；d)在VPN网关导入新证书，reload服务，验证用户拨入；e)旧证书归档，更新到期提醒日历。第八章备件与供应商管理8.1备件库设在总部地下一层，恒温22℃、湿度45%，门禁双人双锁。最低库存：核心交换机整机2台、主控板4块、光模块（10G/25G/40G/100G）各20个、光纤跳线1km、SFP电缆50根。8.2RMASLA与三家原厂签订4小时到场条款，违约按每小时合同金额0.5%索赔；备件物流：本市2小时、本省6小时、跨省24小时。8.3测试库所有备件先上测试架，跑满48小时无错包，方可入库；出库时再次加电确认，避免“带病”备件。第九章日志与证据保全9.1时间同步所有网络设备配置NTP，源时钟GPS+铷钟，偏差≤100ms；故障时刻后，立即执行clockread-calendar，固化时间戳。9.2三重日志a)设备本地缓冲区；b)远端syslog；c)防篡改WORM存储；保存期限：P0/P1级日志保存3年，P2/P3级1年。9.3证据链使用SHA-256对日志文件计算哈希，写入区块链存证平台，确保无法事后篡改；如需司法鉴定，可直接导出光盘，附带哈希值。第十章培训与考核10.1上岗认证新入职网络工程师必须通过“网络故障应急”实操考试：场景1：注入环路，5分钟内定位并恢复；场景2：删除核心配置，使用Git回滚；场景3：BGP误通告，使用route-map过滤。80分以上方可独立值班。10.2年度大比武每年11月举行，随机抽5人组队，模拟P0故障，评委现场打分；第一名奖励1万元，最后一名强制脱产再培训。10.3绩效挂钩故障处理时长、用户满意度、文档质量，占网络运维部KPI40%；连续两次考核<80分，调离岗位。第十一章处罚与奖励11.1处罚a)瞒报：扣全年绩效50%，情节严重者解除劳动合同；b)违规变更：未走流程造成P0故障，按损失额1%–10%个人赔偿，上限50万元；c)备件缺失：因备件未到位导致超时，扣责任人500元/小时。11.2奖励a)在30分钟内恢复P0故障，奖励团队5000–2