移动通信公司光缆信号中断事故报告

移动通信公司光缆信号中断事故报告一、事故基本概况2024年3月12日14时27分18秒，某市移动通信有限公司（以下简称“市公司”）网络运维支撑中心OSS（运营支撑系统）触发一级网络故障告警，告警内容显示：经开区汇聚机房OLT（光线路终端）设备上联端口全部中断，核心层CR01、CR02路由器至经开区汇聚AR01、AR02路由器主备链路全阻。经现场排查确认，事故地点位于经开区临港大道与科创七街交叉口地下通信管道，涉事光缆为市公司核心层至经开区汇聚层主用144芯光缆，型号为GYTA-144B1.3，2019年建成投用，敷设方式为地下硅芯管穿放，埋深1.18米，产权归属市公司网络部，日常维护由某市通信工程维护有限公司（以下简称“代维单位”）负责。本次事故共影响经开区汇聚机房下挂宏基站127个、室分系统42个、家宽用户18729户、政企专线客户76家（其中AAA级重点客户12家，包括经开区管委会政务专网、市第一人民医院经开分院医疗数据专线、某新能源汽车有限公司生产控制专线、某智能仓储企业物流调度专线、经开区智慧城管平台专线、市水务集团经开区分公司智慧水务专线等）、物联网终端3247台。根据《中国移动通信集团网络故障等级划分管理办法》，本次故障属于一级重大网络故障。事故发生后，市公司立即启动一级应急处置预案，统筹调度抢修资源开展现场抢修，于2024年3月12日17时09分32秒完成全部业务恢复，故障历时2小时42分14秒。二、事故应急处置全流程本次事故处置严格遵循《移动通信光缆中断应急处置规程》，全流程实行时间节点化管理，各环节响应及处置情况如下：（一）监测预警与工单派发14时27分18秒，省公司OSS平台及市公司本地网管系统同步触发一级告警，网管中心值班员李XX（工号：YD20220316）通过声光告警系统10秒内完成告警确认，随即核查告警关联拓扑，发现经开区汇聚机房所有上联链路均处于中断状态。14时27分42秒，值班员通过运维调度钉钉群推送故障预警信息，同步派发一级故障工单至市公司网络部管线维护班及代维单位，要求维护人员15分钟内到达经开区汇聚机房开展排查。14时27分55秒，值班员尝试触发核心路由器自动路由切换机制，发现主备链路均无信号返回，初步判断为光缆物理中断，随即升级故障等级为一级，同步告知客户服务部、政企客户部做好用户咨询解释准备。（二）现场排查与等级升级代维单位驻经开区维护组组长王XX（工号：DW20210708）于14时28分05秒接单，14时29分12秒带领2名维护人员携带横河AQ7280型光时域反射仪（OTDR）、光源光功率计、红光笔等工具从维护驻点出发，驻点距经开区汇聚机房3.2公里，14时34分07秒抵达机房。14时36分22秒，维护人员完成对144芯光缆的逐芯测试，测试参数为：波长1550nm、测试范围10km、脉冲宽度100ns，测得断点距离机房侧5.721km（误差±5米），对应管道路由为临港大道与科创七街交叉口人井（编号：JHK-LG-032至JHK-LG-033段）之间。14时37分15秒，代维人员将测试结果反馈至网管中心，同时安排2名人员前往断点位置排查。14时42分33秒，现场排查人员到达临港大道与科创七街交叉口，发现某市政工程有限公司的挖掘机正在进行雨水管网改造施工，施工点位下方通信管道存在明显塌陷，挖掘机斗齿有光缆铠装层剐蹭痕迹，施工区域未设置通信管线保护标识。现场维护人员立即制止施工，14时43分51秒联系施工方现场负责人张XX核实情况，确认其未办理通信管线保护审批手续，未提前告知通信运营商，属于违规施工。14时45分，网管中心接到现场情况反馈后，立即上报市公司网络部总经理刘XX，经批准正式启动《某市移动通信公司光缆中断一级应急处置预案》，成立应急指挥部，由刘XX任总指挥，统筹调度抢修队伍、物资、车辆等资源，同时安排专人对接市通信管理局、经开区应急办报送事故初步信息。（三）资源调度与现场抢修14时46分，应急指挥部完成资源调度：调集市公司直属抢修班（6人、熔接机2台、OTDR1台）、代维单位两个抢修组（共8人、熔接机4台）赶赴现场；从市公司中心仓库调运GYTA-144B1.3型备用光缆2公里、光缆接续盒4个、相关耗材若干；安排1辆应急通信车赶赴经开区重点区域做好应急覆盖准备。14时58分，市公司直属抢修班率先到达现场，立即开展现场安全围挡设置、施工点位风险评估等工作。15时07分，在确认无二次破坏风险后，抢修人员采用人工配合小型机械的方式开展开挖作业，避免损伤周边其他管线。15时29分，开挖至断点位置，经勘验发现：通信管道被挖掘机斗齿砸裂，管内移动144芯光缆完全断裂，同时损伤同管道内联通48芯接入光缆（联通公司另行处置），断点两端光缆各有3米左右的损伤段，需重新布放备用光缆。15时37分，抢修人员确定抢修方案：利用同管道内1根闲置硅芯管，从JHK-LG-032人井向JHK-LG-033人井穿放127米144芯备用光缆，两端分别与原光缆熔接，快速恢复业务。15时58分，完成备用光缆穿放，随即安排4组熔接人员（两端各2组）同步开展熔接作业，每组配置1名熔接工、1名辅助工，严格按照光缆熔接规范操作，每芯熔接完成后实时检测衰耗值。16时41分，完成全部144芯光缆熔接，经测试所有芯线熔接点衰耗均在0.03dB以内，符合《通信线路工程验收规范》要求。16时47分，完成两端光缆盘纤、接续盒密封及人井内整理工作。（四）业务恢复与验证16时49分，现场抢修负责人通知网管中心进行业务加载测试。16时52分，核心层路由器检测到链路信号，开始自动同步数据，经开区汇聚机房下挂基站、家宽、政企专线业务陆续恢复。17时02分，完成所有基站业务恢复，恢复率100%；17时06分，完成所有家宽用户业务恢复；17时08分，完成所有政企专线及物联网终端业务恢复，经政企客户经理抽样回访12家AAA级客户，业务运行正常。17时09分32秒，OSS系统显示所有告警全部清除，业务恢复率100%，故障处置完成。17时30分，现场抢修人员完成场地清理、人井封堵，向施工方下达《通信管线保护告知书》，要求其立即停止施工，待办理完通信管线保护手续、落实防护措施后方可复工，同时安排专人对该施工点位进行每日巡查。（五）事故信息报送事故发生后，市公司严格按照信息报送要求，于14时50分向省公司网络部报送故障初步信息；15时20分向市通信管理局、经开区应急办报送事故情况及处置进展；17时15分向省公司、市通信管理局报送业务恢复情况；18时30分报送事故初步调查报告，确保信息报送及时、准确、完整，未出现迟报、漏报、瞒报情况。三、事故原因调查分析事故发生后，市公司成立由网络部、综合部、安全管理部组成的事故调查组，通过现场勘验、调取监控录像、询问相关人员、查阅台账资料等方式，对事故原因进行全面调查，具体如下：（一）直接原因本次事故的直接原因为外部违规施工导致光缆物理断裂。某市政工程有限公司在经开区临港大道与科创七街交叉口进行雨水管网改造施工时，违反《中华人民共和国电信条例》第四十七条“建设地下管线等公共设施，应当事先通知有关电信业务经营者，并采取必要的安全防护措施”的规定，未办理通信管线保护审批手续，未提前告知通信运营商，未使用专业管线探测设备对施工区域地下管线进行精准定位，仅使用简易金属探测器进行粗略探测（探测深度仅为0.7米，而涉案光缆埋深为1.18米），盲目指挥挖掘机开挖作业，于14时27分09秒挖断地下通信管道，导致144芯核心汇聚光缆全部断裂，业务全阻。事故证据链包括：现场勘验笔录及照片、周边治安监控录像（清晰记录挖掘机挖断管道过程）、施工方负责人及挖掘机司机询问笔录、OTDR测试报告、光缆损伤鉴定记录等，事实清楚、证据充分。（二）间接原因1.施工信息共享机制缺失。市公司未与属地住建、市政、交通等部门建立常态化的施工信息共享机制，仅依靠每年2次的集中宣传和日常巡线发现施工线索，对于夜间进场、未办理正规施工手续的“黑施工”项目无法及时掌握。本次施工单位于3月11日22时进场搭建围挡，未办理任何施工许可手续，属于违规进场施工，代维人员在3月10日的常规巡线中未发现施工迹象，导致未能提前介入防护。2.管线标识存在缺失。事故点位前后50米范围内的地面通信管线标识桩因2023年11月科创七街道路面层修补施工被移除，后续道路施工完成后，代维单位未及时补装标识桩，仅在人井内有管线标识，地面无明显警示标识，施工方无法直观判断地下通信管线位置。经事后排查，全市范围内共有327个通信管线标识桩缺失、146个标识牌模糊不清，主要集中在近年进行过道路改造的区域，管线标识台账更新不及时，缺失整改滞后。3.代维护航能力不足。代维单位驻经开区维护组未按代维协议要求储备常用型号的抢修光缆，仅储备了24芯、48芯光缆，无144芯光缆储备，本次抢修所需的144芯光缆需从市公司中心仓库调运，调运距离12公里，耗时22分钟，一定程度上延长了抢修时长。此外，代维单位巡线人员配置不足，经开区范围内共有一级本地网光缆127公里，仅配置3名巡线人员，人均负责42公里，超过省公司规定的人均30公里的标准，巡线质量难以保障。4.应急处置流程仍有优化空间。本次故障处置中，告警确认、工单派发等环节符合时限要求，但现场抢修方案论证、资源统筹调度环节存在衔接不畅的问题，比如代维单位到达现场后未第一时间上报施工方信息，导致应急指挥部无法提前预判故障原因、调度对应物资，延长了抢修准备时间。（三）根本原因1.网络架构存在单点故障风险。核心层至汇聚层光缆的路由规划存在先天不足，为节省建设成本，大部分汇聚节点的主备光缆均敷设在同一条管道的不同硅芯管内，未实现物理路由完全分离，一旦管道受到外力破坏，主备光缆将同时中断，形成单点故障。经排查，全市27个汇聚节点中，有8个节点的主备光缆存在同沟同敷情况，占比29.6%，其中经开区、高新区等施工频繁区域的5个汇聚节点均存在该问题，网络安全韧性不足。2.管线保护全链条管理存在漏洞。公司在管线保护方面存在“重建设、轻运维”的问题，建设阶段未同步建立管线标识台账，运维阶段未对管线标识的完整性进行常态化检查，也未将管线保护工作纳入代维单位的核心考核指标，代维单位对管线标识补装、施工信息摸排等工作积极性不高，导致管线保护措施落实不到位。3.外力破坏防控体系不完善。当前公司的外力破坏防控主要依靠人工巡线，智能化防控手段不足，对于隐蔽施工、夜间施工等情况无法及时发现；同时，与政府部门的联动仅停留在事后协调层面，未建立事前审批联动、事中联合监管的工作机制，无法从源头上管控违规施工风险。四、事故损失统计本次事故造成的损失包括直接经济损失、间接经济损失及网络质量影响三部分，具体数据如下：（一）直接经济损失直接经济损失合计108946.6元（约10.89万元），明细如下：1.抢修直接成本：合计12590.6元。其中：GYTA-144B1.3型光缆127米，采购单价17.8元/米，合计2260.6元；144芯光缆熔接及测试费，单价28元/芯，合计4032元；开挖回填及人工费用（8人6工时，每人每小时80元）3840元，机械费用（挖掘机、发电机）2200元，合计6040元；熔接保护套、酒精棉、绝缘胶带等耗材合计258元。2.用户赔付成本：合计96356元。其中：政企专线赔付方面，12家AAA级客户按SLA协议赔付当月月租的30%，合计赔付38604元；64家普通政企客户赔付当月月租的15%，合计赔付14613元；政企赔付总计53217元。家宽用户赔付方面，18729户用户每户赔付2元话费，合计37458元。物联网用户赔付方面，1217台工业级终端每台赔付3元，2030台消费级终端每台赔付1元，合计5681元。（二）间接经济损失间接经济损失合计约68542元（约6.85万元），明细如下：1.KPI考核扣减：本次事故导致市公司网络运行质量指标被扣减2.5分（省公司年度KPI总分100分，网络运行质量占20分，其中光缆中断故障率占5分），对应年度绩效奖金扣减比例为0.5%，涉及网络条线全员绩效，合计扣减约6.2万元。2.客服运营成本增加：事故期间共受理用户咨询投诉2174起，其中10086热线1726起、政企客户经理受理282起、在线客服受理166起，共投入应急客服人员27人，加班工时合计89小时，人工成本增加约4450元。3.用户流失损失：经用户满意度回访，约0.18%的受影响家宽用户表示考虑转网，按当前家宽用户年ARPU值620元计算，预计年流失损失约2092元；政企客户暂未出现流失意向。（三）网络质量影响本次事故导致经开区区域当月网络可用率从目标值99.99%降至99.96%，未达到省公司考核要求；事故期间经开区区域掉话率上升至1.2%（正常水平为0.15%），下载速率下降至2.3Mbps（正常水平为85Mbps），用户感知明显下降。五、事故责任认定根据事故调查结果，按照“谁主管、谁负责，谁运维、谁负责”的原则，对事故责任认定如下：（一）外部责任1.某市政工程有限公司：作为事故直接责任主体，违反《中华人民共和国电信条例》《建设工程安全生产管理条例》相关规定，未办理通信管线保护手续，未采取安全防护措施，盲目施工导致光缆中断，对事故发生负全部直接责任。建议市通信管理局对其处以10万元罚款，并将其违规行为纳入市政施工企业信用评价体系；同时，该公司需承担本次事故的全部直接经济损失10.89万元及后续管道修复、光缆正式割接费用。2.经开区市政公用事业服务中心：作为项目建设单位，未落实地下管线保护相关要求，未对施工单位的管线保护措施进行审核，对项目施工的安全监管不到位，对事故发生负次要监管责任。建议其向经开区管委会作出书面检查，对项目负责人给予通报批评。（二）内部责任1.代维单位某市通信工程维护有限公司：未按代维协议要求落实管线巡线、标识维护、物资储备等工作，巡线人员配置不足，施工信息摸排不到位，应急物资储备不全，对事故发生负维护管理责任。根据代维协议相关条款，扣减当月代维费用的15%，合计12.6万元；要求其在7日内更换驻经开区维护组负责人，15日内完成巡线人员补充和物资储备整改，整改完成前暂停其新增代维业务承接资格。2.市公司网络部管线维护班：对代维单位的日常监督管理不到位，管线标识台账更新不及时，未建立施工信息共享机制，对事故发生负直接管理责任。给予班长赵XX（工号：YD20190822）通报批评，扣减当月绩效30%；给予管线维护主管周XX（工号：YD20170415）通报批评，扣减当月绩效20%。3.市公司网络部规划建设班：在核心汇聚层光缆路由规划中，未充分考虑外力破坏风险，主备光缆同沟同敷，存在单点故障隐患，对事故发生负规划责任。给予规划建设班班长吴XX（工号：YD20180517）通报批评，扣减当月绩效20%。4.市公司网络部总经理刘XX（工号：YD20130209）：作为网络安全第一责任人，对网络架构优化、管线保护工作部署不到位，应急体系建设不完善，对事故发生负领导责任。给予其通报批评，扣减当月绩效10%，责令其向市公司党委作出书面检查。六、整改措施与实施计划为深刻吸取事故教训，坚决防范同类事故再次发生，市公司制定以下整改措施，明确责任单位、完成时限及验收标准：（一）短期整改措施（7日内完成）1.完成事故点位正式修复。由代维单位负责，对损坏的通信管道进行修复，重新布放144芯光缆并完成熔接测试、正式割接，验收标准为光缆衰耗符合设计要求、管道密封性良好、标识齐全，7日内完成，由管线维护班负责验收。2.完成管线标识专项排查。由管线维护班牵头，代维单位配合，对全市范围内的一级、二级本地网光缆的地面标识桩、人井标识牌进行全面排查，建立缺失、损坏台账，7日内完成排查工作，同步启动补装工作。3.建立施工信息每日共享机制。由网络部牵头，对接市住建局、市政公用事业服务中心、交通运输局等部门，建立施工信息每日推送机制，每日17时前推送次日全市范围内的涉地施工项目清单，提前介入管线保护，7日内完成机制搭建并正式运行。4.优化代维应急物资储备。由代维单位负责，在各区县核心维护驻点补充储备12芯、24芯、48芯、96芯、144芯光缆各2公里，熔接机各2台，OTDR各1台，7日内完成配置，由管线维护班负责验收。5.开展施工密集区域专项巡线。由代维单位负责，对全市所有在建施工项目周边的光缆进行每日1次的专项巡线，重点排查施工防护措施落实情况，及时制止违规施工行为，7日内实现所有施工区域巡线全覆盖。（二）中期整改措施（30日内完成）1.完成第一批汇聚节点路由分离改造。由规划建设班牵头，对经开区、高新区、港区3个施工频繁区域的汇聚节点进行主备光缆物理路由分离改造，重新布放备用光缆，采用不同管道、不同路由敷设，实现主备光缆100%物理隔离，30日内完成改造并验收，消除单点故障风险。2.完善管线保护审批联动机制。由网络部牵头，对接市政务服务中心，在市政工程施工许可审批平台上线通信管线保护核验模块，所有涉及地下管线开挖的施工项目，必须先完成通信管线探测、签订管线保护协议后，才能办理施工许可证，30日内完成系统对接并上线运行。3.完成管线标识补装整改。由代维单位负责，根据排查出的管线标识缺失台账，完成全部327个标识桩、146个标识牌的补装更换工作，验收标准为标识位置准确、内容清晰、牢固可靠，30日内完成，由管线维护班负责验收。4.开展施工单位管线保护培训。由网络部联合市通信管理局，对全市所有在建市政、住建、交通项目的施工负责人、挖掘机司机、现场管理人员进行通信管线保护法律法规及安全知识培训，发放宣传手册，签订《管线保护承诺书》，30日内完成第一轮培训，覆盖所有在建项目。5.优化应急处置流程。由网管中心牵头，修订《光缆中断应急处置预案》，压缩告警确认、工单派发、资源调度等环节的时限，建立“1分钟告警确认、3分钟工单派发、15分钟现场到场、30分钟抢修开工”的应急响应标准，明确各环节责任人及操作规范，30日内完成预案修订并组织全员培训。（三）长期整改措施（90日内完成）1.完成全市汇聚节点路由优化。由规划建设班牵头，对全市剩余5个存在主备同沟同敷问题的汇聚节点进行路由分离改造，90日内实现所有27个汇聚节点主备光缆100%物理路由分离，彻底消除单点故障风险，提升网络韧性。2.搭建地下管线智能监测系统。由网络部牵头，在全市施工密集区域、核心管线地段的通信管道内安装光纤振动监测设备，实时监测管道外力破坏、施工挖掘等异常情况，实现提前预警，9