故障处理流程.doc

2009年传输故障分析2009年东莞传送网络故障情况较2008年同期有了明显的改观，2009年1至9月传输小区故障历时较08年数据下降26.7（计入维护增量因素）。然而，随着网络使用时间的增长以及网络规模的壮大，传送网络故障隐患不断涌现。同时，传输故障处理方面存在流程不规范、处理方法不够合理、故障处理完毕后遗留隐患等问题，传输故障历时不能在根本上得到有效控制。为了有效得控制传输网络故障，本文主要从四个方面对传输故障进行分析，第一章主要给出2009年1至10月的故障情况；第二章对各种故障原因进行分析；第三章内容针对目前传输故障处理情况，对故障处理流程进行梳理，提出故障抢修的相关要求和方法；第四章并给出典型故障处理案例。一、传输故障情况1.1 2009年传输网络每月故障情况图1-1 2009年传输网络每月小区故障情况图图中其中粉红线部分为2009年目标值（由于该值涉及维护量的变动，每月底更新当月数据）。由上图可见，09年1月至9月传输小区故障总历时为1408.24小区小时，较08年同期下降了26.7（计入维护增量因素），尚未达到09年预期目标值（较08年下降30）。1.2 2009年传输网络各类型故障情况 图1-2 2009年各原因导致故障的比例图2009年传输小区故障的主要原因有光缆中断（占37）、微波机故障（占32）、其它原因（占20）。其中“其它原因”包括基站侧2M头松动、2M线损坏、网管业务出错、传输设备电源线故障、传输机柜电源跳闸等。1.3 各维护公司传输故障情况各维护公司负责区域故障比例情况如下图：图1-3 各公司负责区域小区故障比例 由上图可见，传输小区故障主要分布在和新公司（微波）以及长讯公司负责区域。各维护公司故障发生比如下表。单位长讯怡创信虹南建省电信和新维护量（百分比）0.240.190.130.150.120.18故障历时（百分比）0.240.120.110.110.050.31故障发生比1.00 0.63 0.85 0.73 0.42 1.72 表1-1 各维护公司故障发生比表在上表中，故障发生比故障历时/维护量，可见故障发生比值越高，表明在同一维护量情况下，故障发生率越高。由上表可见，和新公司维护的微波故障发生率最高，省电信公司维护区域的故障发生率最小。各家公司每月故障情况以及各类型故障情况详见各代维数据。二、故障原因分析2.1 光缆故障原因分析1、 自然损耗。部分纤芯使用时间较长，同时受到外部环境的影响等因素，过多的割接以及光缆抢修等都在一定程度上使得部分纤芯性能下降，最终导致纤芯不可用。2、 人为偷盗破坏。根据故障记录，5月份五点梅水库至街口第二工业区中继段光缆相续发生5次故障，甚至出现人为打破水泥包封进行偷盗的情况。故障现象表明，东莞部分地区存在一批“专职”、“专业”的偷盗人员，防不胜防。3、 自然灾害。由于自然灾害引起的光缆故障主要发生在架空光缆、管井内光缆段部分。该类故障的原因包括台风、洪水、鼠患、火烧、塌方等不可控因素。加强对各管井的安全性（如牢固性，防虫性等）的检查是预防该类故障的关键。4、 施工破坏。东莞作为一个新兴城市，各类工程穷出不尽，施工过程中容易挖断我司光缆，施工破坏是我司光缆安全的重大隐患之一。目前东莞地区管道光缆分布密集，也是光缆故障频繁发生的原因之一。2.2 微波故障原因分析1、天气因素。微波设备采用高频电磁波进行无线传输，具有穿透力较差、对方向性要求高等特点。因此微波受外界环境影响较大。尤其的暴雨、大雾天气容易阻断微波传输，大风天气会导致安装在铁塔上的微波天线的方向出现偏差，导致微波传输中断。另外，打雷天气也容易击坏微波设备。2009年雨季持续时间较长，进入9月后，依然出现多次雷雨天气，微波故障居高不下。2、微波设备老化。厂家建议微波设备的正常使用年限为5年。然而，目前东莞的传输网络有116跳P-COM微波设备使用年限超过7年，这部分微波设备性能严重劣化，极易受周围各种因素影响（如高温、潮湿、大雨、雷击等），故障率明显偏高。 3、电磁干扰。干扰源包括其它微波设备、高压配电屏等。由于缺乏有效的干扰源检测仪器，电磁干扰是目前最难进行准确定位以及处理的。在平时的维护中主要通过更换其它频段的微波设备避开干扰。2.3 2M电路故障原因分析2M电路故障主要由2M头松动、2M头故障、2M线故障等引起。目前东莞地区有近5万条2M传输，意味着约有10万个传输头、10万段传输线。大量2M电路设施，增大了2M电路出现故障的概率。2M头以及2M线的长年使用，存在不同程度的老化情况，另外雷击、人为误操作、虫害等都是导致2M电路出现故障的因素。定期对2M头以及2M线进行检查和维护是预防该类故障关键。三、传输故障处理流程规范 目前，传输故障的处理过程中，存在故障处理流程不规范、处理方法不够合理、故障处理完毕后遗留隐患等问题，从而导致传输故障处理不够及时，传输故障不能有效进行预防，不利于传输故障历时的控制，不利于传送网络安全的保障。为了使得故障处理流程更加完善和规范，本节针对目前传输故障处理情况，对故障处理流程进行梳理，提出故障抢修的相关要求和方法，并给出相关典型故障处理案例。3.1 传输故障处理存在的问题 目前故障处理主要存在以下三方面的问题：（1） 首先是部分故障处理过程不够规范，处理时长有待进一步压缩。（2） 故障处理后续处理工作做得不够，比如设备2M口故障，只是简单换一个口，而没有对故障端口做后续检查处理工作。（3） 故障处理完后的总结和改进。一方面完善故障处理方法；另一方面总结相关预防措施。3.2 传输故障处理原则故障处理的原则包括快速性、准确性、可预防性等三方面。（1）快速。发现故障后，第一时间赶至故障现场进行故障抢修，在抢修过程中，完善抢修方法，提高故障抢修速度。保证高度的网络安全责任心、熟练的专业技能是做到快速抢修故障的关键。（2）准确。在故障抢修过程中，务必做到严谨，按流程规范进行故障处理，故障处理一般不能影响其它正常传输系统。（3）可预防性。在故障处理完毕后，务必检查相关引起故障的因素，做好相关防护工作，有效预防同类故障的发生。3.2 传输故障处理流程说明故障处理流程主要有发现故障、对故障类型进行判断、故障抢修、总结以及相关后续工作等四个方面。发现故障故障类型初判断故障抢修总结图2-1 故障处理流程示意图在发现故障后，第一时间对故障类型进行初步判断（光缆故障、2M传输中断、微波故障等），并根据判断结果安排相应人员以及工具准备抢修。接着立刻展开故障的抢修工作，抢修完毕后，对故障原因进行分析以及相关总结。指导以后的抢修工作。下面分别对这四个步骤进行详细说明。3.3 故障的发现发现故障途径主要有以下三个途径。（1）故障派单。收到故障派单后，各公司工单负责人员在15分钟内进行签单，并安排相关人员进行故障抢修。（2）网管值班人员发现问题。网管值班人员发现故障后，要第一时间电话通知相应片区的维护单位的负责人，并致电监控室进行故障派单。（3）基站以及其它代维人员报障。故障考核时间以实际故障发生时间为准，而不是派单时间。各维护公司要积极主动发现故障，以任何方式发现故障后，务必第一时间安排相关人员进行检查处理。有效缩短故障时长。 3.4 故障类型初步判断发现故障后，需根据故障现象对故障类型进行初步判断，以便安排相应的人员以及工具进行抢修。各类型故障的初判断方法如下：（1）光缆故障。一般现象是网管出现光路中断、网元无法登陆。而出现网元无法登陆故障多以市电原因引起，容易引起传输维护人员麻痹。通常做法是，先通过代维之星查询是否有市电派单（若该站点有ups的话会有市电告警上传）；若没有市电派单，应立刻赶至现场进行检查处理。出现光路中断、网元无法登陆现象的故障的传输原因主要有光缆故障、传输设备光板故障、传输设备电源故障等。（2）2M传输中断故障（非光路中断引起、非微波传输）。2M传输中断是最常见的传输故障。主要现象是传输网管上相关光路无异常，在应用终端上（OSS、华为BSC6000、IP前置机检测系统等系统）出现相关2M传输中断告警。导致该类故障的传输因素主要有：基站/交换侧2M头故障、基站/交换侧2M线故障、传输网管业务配置出错、2M传输线接错、传输设备端口故障等。（3）微波故障。微波传输分为SDH、PDH传输。其中SDH微波传输可在传输网管上进行监控，网管上标有微波传输标志的纤芯两端的网元若报有MS_RDI、HP_RDI、MS_REI、HP_REI告警，可初步判断为微波传输故障；若报有R_LOS，则可能为光缆故障或设备故障。PDH微波传输的是2M业务，不能在传输网管上进行监控，该类故障判断方法为：在微波传输的末端站相应的2M头上进行环回，通过应用终端上（OSS、华为BSC6000、IP前置机检测系统等系统）查看传输状态是否正常，若正常则判断为微波传输故障，若不正常则判断为2M传输中断。 发现故障后，要求立刻针对故障现象做出初步判断，该判断过程不应超过5分钟。3.5 各类型故障处理流程3.5.1光缆故障处理流程（1） 初步判断为光缆故障后，相关人员立刻开展故障抢修： 机房检测人员带齐OTDR等工具，立刻赶至最近故障机房。务必在故障发生后1个小时内赶到现场进行检测。 网管人员（非正常工作时间为网管值班人员，负责单位网管人员需立刻回到网管）利用传输信息化支撑系统对故障进行初步定位。定位时间不应超过15分钟。 故障抢修指挥人员将各故障抢修小组的联系方式告知网管人员。为了防止系统资料不全等不确定因素，故障抢修负责人需利用拓扑图纸对故障进行初步定位。 现场线路抢修人员准备好相关抢修工具以及材料。（2） 初步定位出故障路由段后，现场线路抢修人员赶至该路由段进行断点搜索。（3） 机房检测人员测得故障点距离，立刻通知网管人员以及线路抢修人员相关数据。网管人员通过传输信息化支撑系统对故障点进行准确定位，并把相关定位信息传达给线路抢修人员。（4） 现场线路维护人员找到断点，按照现场情况立即对中断光缆进行修复。（5） 光路恢复后，网管人员核对传输是否正常，并且与BSC维护室核对是否小区正常工作。（6） 现场维护人员对故障现场进行保护，做好相关预防工作。（7） 针对有纤芯变化的，需在故障报告中注明，并以邮件方式提交至李树彬。（8） 重大光缆故障处理流程如光缆故障处理流程version3.vsd。3.5.2 2M传输中断处理流程2M传输中断故障是目前网络故障中最为常见的。该类故障的抢修流程如下图：确认2M传输路由排查对应2M网管告警逐段定位并做相应处理传输无异常，但终端运用无法使用？更换RBLT向保障人员反馈处理结果是否图 2-2 2M传输故障处理流程图（1） 初步判断为2M传输中断后，网管人员首先要确认故障2M传输的路由。具体方法如下： 通过电路调度系统，初步获取故障2M传输的路由。 电路调度系统无相关资料，利用BSC局向以及RBLT、交换设备DDF架位（若无该类信息，可与报障人联系获取）等信息通知局间维护人员现场查询所连接的传输设备以及端口。再利用传输网管在该端口上的业务获取该2M传输的路由。在初步确定2M传输路由后，需对该2M传输路由的确认。网管人员在网管上，在最远端对该传输进行环通环断处理（包括软件环回、业务去激活、业务环回等操作），利用应用终端（OSS、华为BSC6000、IP前置机检测系统等系统）判断是否该2M是需要处理的传输。（2） 网管人员查看传输网管上对应2M传输是否有告警信息以及相关性能事件，针对不同告警进行相应的处理： 现TU_AIS，LP_RDI告警，网管人员对该传输业务进行检查，若无异常一般为传输业务吊死，可通过去激活/激活方式尝试恢复传输。 若在远端或近端设备出现T_ALOS告警，一般为2M头或2M线故障，安排相关人员至现场进行检查处理。 若在性能事件中“低阶指针调整”参数不断增加，检查该站点的时钟跟踪情况，必要时更换时钟跟踪方向。（3） 若网管告警消除后，传输业务依然中断。对2M传输故障进行逐段定位并做相应处理，具体方法如下： 最远端网元的相应端口进行环回处理（必要时可对传输业务进行去激活、业务环回处理），在运用终端系统上查看传输是否正常。 若步骤环回正常，则故障定位为基站侧网元2M端口至基站运用设备间故障，安排维护人员赶至基站，在传输DDF架上做硬件环回，若正常，表明传输正常，通知其它维护公司人员进行处理；若不正常，故障定位为基站侧传输网元至传输DDF架间，检查该段传输线路的2M头以及2M线，必要时，更换网元2M传输端口。 若步骤环回不正常，则表明故障在交换侧交换终端至基站侧网元2M端口之间。在交换侧网元的2M端口进行环回处理，在运用终端系统查看是否正常，若正常，定位故障于交换侧2M端口与基站侧2M端口间。检查网管传输业务是否正常。若不正常，故障定位为交换侧交换设备至传输设备2M端口间。安排局间维护人员检查传输线路的2M头以及2M线，必要时，更换网元的2M传输端口。（4） 若交换终端测地传输正常，传输无滑码以及误码。并且现场可对该传输环断，但小区业务无法工作运行，此时故障可能为交换端口故障，可安排局间维护人员更换一套RBLT。更换完RBLT后，网管人员务必和电路调度系统维护人员（刘运嫡）交代RBLT更换情况。（5） 在以上处理步骤中，若涉及传输网元端口更换操作的，务必在故障恢复后，对该端口做进一步的检查，判断该端口是否真是损坏，若是，网管人员在传输网管上进行标明，若不是，找出故障的真实原因，并采取相应修复措施。（6） 与BSC维护室，和新IP等终端维护人员进行核对，确认该2M传输的终端业务能正常使用。3.6 故障抢修后续工作（1） 故障抢修完毕后，对故障原因进行总结。善于挖掘故障隐患，提出预防故障出现的建议。（2） 对故障处理流程进行优化同时总结故障抢修方法，各家公司若有好的建议以及经验，积极提出共享，完善故障抢修流程。（3） 光缆故障抢修完毕后，需提交相关故障报告，若有纤芯变化的，还要将相关报告发给纤芯维护人员（李树彬）。3.7 相关执行说明（1） 故障考核单次故障不得超过3个小时，若由于客观原因无法在规定时间内完成的，提交故障报告，说明故障超时原因，并按实际情况酌情扣分。（2） 每月平均每起故障时长不超过2.5小时，若超过2.5小时，请提交相关报告，说明超时原因，并按实际情况酌情扣分。（3） 鼓励对相关故障处理流程提出有效的建议，相关建议一经采纳的，酌情加分。各公司严格按以上流程进行故障处理，务必做到规范化。四、典型故障案例4.1 光缆故障抢修案例1、故障现象B7-1、B7-2、B12-2等6个汇聚环出现光路中断，接入层多处出现光路中断，累计53个站点业务受阻，191个小区退服。2、故障处理流程（1）传送网络维护室收到故障派单，报常平镇区出现多处光路中断，大量传输业务中断。立即启动传送网络故障紧急抢修预案，组织各负责人员进行抢修工作。（2）收到现场三盯人员电话通知，发现现场光缆被挖断。（3）东莞传送网络维护室维护人员分派4队人马分别前往常平一传输机房、常平二传输机房、板石基站等基站；同时，东莞传输网络维护网管人员开始启动电路路由割接。（4）到达现场后初步判断光缆全部中断，各机房人员准备调纤，经现场确认，通过调纤抢通故障工作暂无法进行。（5）东莞传送网络维护市网管人员通过网管电路路由割接后先后抢通了90个小区；（6）纤芯全部熔接完毕，东莞传送网络维护室抢修人员对部分损耗纤芯进行测试；经过测试和与网管确认，全部业务已经恢复正常，故障抢修完成.（7）现场人员进行对光缆损伤处做好现场光缆的保护；确认该次故障已恢复正常，无异常告警出现，抢修结束，抢修人员撤离现场。3、故障原因故障原因是由于市政重点工程夜间施工挖断通信光缆，施工人员不配合现场“三盯”人员施工导致光缆中断。4、经验(1) 对抢修队伍进行多条光缆同时中断应急演练，加强抢修人员分工、配合、应变能力，以提高抢修水平和综合能力。同时做好现场保护措施，加大人员盯防力度，防止此类隐患管道再次发生中断。(2) 加强与市政部门的联系和三盯人员教育。(3) 加强现场维护管理工作，对现场光缆路由，以及每个管井内的光缆进行全面核查，确保系统记录的光缆信息完整。(4) 电路改配是双平面电路挂接的较好业务临时抢通办法，但目前还是靠人工手动进行配置，手段较为落后，效率较低，下来需要加强与厂家的技术探讨，开发相关电路改配的工具，以不断提高电路改配的效率和准确性。 4.2 2M传输中断故障抢修案例1、故障现象两个站点分别有一个