Gb接口故障处理指导手册——江苏移动.doc

江苏移动通信有限责任公司 网络部 gbgb 接口故障处理指导手册接口故障处理指导手册 江苏移动通信有限责任公司网络部江苏移动通信有限责任公司网络部 20062006 年年 3 3 月月 江苏移动通信有限责任公司 网络部 目目 录录 第一章第一章 gbgb 故障处理职责以及流程故障处理职责以及流程 2 2 1 1g gb b接口故障处理的职责划分：接口故障处理的职责划分： 3 2 2g gb b接口的故障分析接口的故障分析 3 3 3g gb b接口流程处理图接口流程处理图 4 第二章第二章 mfsmfs 侧侧 gbgb 故障指导手册故障指导手册 6 6 第三章第三章 爱立信爱立信 bscbsc 侧侧 gbgb 接口故障处理手册接口故障处理手册2020 第四章第四章 爱立信爱立信 gprsgprs 核心网核心网 gbgb 故障处理手册故障处理手册2626 江苏移动通信有限责任公司 网络部 第一章第一章 gbgb 故障处理职责以及流程故障处理职责以及流程 针对 2005 年的 gprs 网络故障汇总和今年 2 月份的全省网络运行通报内容，gprs 网 络的 gb 接口故障目前是一个较为突出的问题，其在 gprs 网络类故障占比达到了 90以上， 该故障在处理过程中历时往往较长，直接影响到用户正常使用 gprs 业务的感知度，造成了 客户的网络类投诉，为了尽可能降低该类故障的发生，缩短故障影响时长，我们对 gb 类故 障的原因进行了总体分析，并给出了整改方案和工作计划。 gb 接口涉及 bsc/mfs 和核心网 sgsn，在故障处理时涉及分公司交换专业（苏南公司） 、 网优专业（苏北公司） 、传输专业和 gprs 核心网专业，作为一个交叉专业，对该类故障的 处理造成了一定的技术和管理上的难度。 这里所说的 gb 接口故障是指针对某 bsc 的 gb 接口通信全阻的情况（如双 nsvc abl 的 情况） ，对于单个传输或单个 nsvc 故障则对业务无影响，可属于一般故障的处理范畴。 1 1 gbgb 接口故障处理的职责划分：接口故障处理的职责划分： （1）分公司（交换专业/网优专业）作为 bsc/mfs 的 gb 接口的第一责任单位，如爱立信 bsc 的 pcu 硬件维护、nse/nsvc/dlci 等 gb 时间维护等，并在第一时间发现传输问 题，则需要协调传输专业一起解决。 （2）对于具备本地 sgsn 的分公司，按照 2005 年低流程优化专项工作中下发的江苏移 动通信维护管理实施细则gprs 分册相关内容，sgsn 的 gb 接口属于分公司职责 维护范围，如 gb 接口板、gb 传输和相关数据；相关分公司需要重视 sgsn 的本地 基础维护工作，切实提高属地 sgsn 的 gb 接口维护水平。 （3）省网管监控中心是 gb 监控运行告警监控第一责任单位，在通过 omcr/omcg/oss 设 备发现 bsc 或 sgsn 告警信息中发现 gb 接口故障（全阻）时， （在满足一定条件下， 见下述描述）将在第一时间向同时具备 bsc 和 sgsn 的分公司或不具备本地 sgsn 的 南京、徐淮盐连宿分公司发移动紧急故障工单并抄送省网 gprs 组，跟踪故障的解 决进度，做好相应记录及跟踪相关分公司提供事件分析报告。 （4）考虑到 gb 接口故障中在一定时间后的自恢复机制（无需人工干预） ，如 sgsn 侧 gb 板 pm_reboot 或 non-pilot station 自动切换引起 gb 接口 nsvc 中断均在 50 秒左 右、分公司 mfs 侧 gpu 自动 reset 恢复在 5 分钟以内、传输瞬断自恢复时间也很短， 我们的工单目的是尽快进行人工干预，所以我们建议在 bsc 的 gb 接口全阻 5 分钟 江苏移动通信有限责任公司 网络部 以后未恢复，就进行紧急故障工单派发，同时电话通知。 2 2 gbgb 接口的故障分析接口的故障分析 gb 接口涉及网元有 bsc/mfs 和 sgsn 及传输设备，常见的故障原因有： （1）爱立信地区 bsc 中和 gb 接口相关的设备是 rpp/rpg，2m 接口板和相关 gb 软件功能 模块，如果其中一个故障将导致 nsvc abl；阿尔卡特地区 mfs 中的 gpu 板吊死将 导致 gb 故障（较常见） 。 （2）核心网侧 gb 板出现异常，如爱立信 sgsn 的 gb 板 pm_reboot 将引起短暂的 gb 中断 （1 分钟左右） ，当然 gb 接口板循环 pm 启动则往往是全板物理损坏，将对 gb 接口 产生重大影响。 （3）传输中断、交叉、失步等均会影响到 gb 接口的正常工作。 针对以上原因引起的 gb 接口故障，需要在第一时间进行移动故障工单通知， 由 bsc/mfs 和 sgsn 技术人员进行告警确认，对故障点进行初步定位，并及时相互通报（如 通过 eoms 工单受理取得联系方式） ，然后 bsc/mfs 和 sgsn 按照标准的告警处理步骤进行及 时处理，并及时反馈省网监控。 目前全省阿尔卡特地区由于 sgsn 在省网管维护，我们对 2006 年 1 月份和 2 月份的 gb 告警进行了统计，单 nsvc/双 nsvc 中断或瞬断所有告警总计 783 条，具体描述如下： （1）核心网引起：8 条，原因是 non-pilot station 自动重启（sgsn1 发生 2 次，sgsn3 发生 1 次）引起，但均在 3-4 秒后自动恢复，目前阿尔卡特 sgsn 侧 gb 接口目前运 行十分稳定。 （2）其他原因；775 条，传输瞬断/中断引起；无线侧 mfs 的 gpu 吊死、mfs 切换故障引 起等，这部分是阿尔卡特地区 gb 告警的重要原因。 3 3 gbgb 接口流程处理图接口流程处理图 江苏移动通信有限责任公司 网络部 省监控发现 gb 接口告警 一般故障工单派发 分公司处理，对业 务无影响 无 是否有本地 sgsn？ 派发分公司 sgsn 和 bsc 维护人员处理 派发分公司 bsc/mfs（卡特 网优）工单处理，抄送省网 gprs 组关注 无 有 按照故障处理流程手册，且 bsc 人员和 sgsn 人员相互沟通，根据情况选择合适 的网元处理顺序，如 bsc 侧更容易传输 判断，原则上可以先 bsc 后 sgsn 反馈省 网监控 递交省网 gprs 组 协调处理，紧急情 况下可直接联系厂 家解决 结束 ok 是 传输问题？（中断、失步等） 否 传输组处理 5 分钟自动恢复？ 判断地市， 出现 bsc 全阻？ 结束 是 是 注：目前卡特地区的南京、徐、淮、盐、连、宿没有本地 sgsn，直接有省网 gprs 组的 4 套爱立信 sgsn（南京地区）和 3 套阿尔卡特 sgsn（其他苏北地市）承载。 江苏移动通信有限责任公司 网络部 第二章第二章 mfsmfs 侧侧 gbgb 故障指导手册故障指导手册 【告警】gpu 出现“lossloss ofof contactcontact withwith gpugpu”告警 【故障级别】critical 【故障影响范围】出现故障的 gpu 下 map 的小区的 gprs 不可用 【故障处理流程】 1、 首先在 rnusm 中点中 mfs 后点击右健观察“show gprs alarms” ，在告警窗口中出现 critical 告警“loss of contact with gpu” 。 2、 再点击右健“show equipment” ，如下图： 3、进入 mfsusm，可在左侧“ater supervision”和右侧“gb supervision”菜单中分别 观察该 gpu 板的相关状态。出现故障的 gpu 处于“board missing”状态。 江苏移动通信有限责任公司 网络部 4、在 mfsusm 菜单中 views navigate to imt，进入 imt 状态。 5、输入用户名 admin，密码：admin。 江苏移动通信有限责任公司 网络部 6、进入 imt 菜单后，view physical view subrack（根据出现故障的 gpu 板的问题选 择 subrack） ，进入 gpu 监控的图形界面。 江苏移动通信有限责任公司 网络部 7、 首先点中故障的 gpu 板先进行 reset_all 操作 若未恢复可现场插拔该 gpu 板（拔出 gpu 板后需放电 5 分钟后再插入） 若尚未恢复可将该 gpu 板倒到备用板 13 上（点击 switch over） 若还不能恢复正常工作的话，需立即更换 gpu 板，或可将该 gpu lock（该 bsc 需是配 置有两个 gpu，且另一个 gpu 处于正常工作前提下） ，后再对该 bsc 进行 reshuffle 操 作，即将该 bsc 下所有的小区都 map 到没有 lock 的 gpu 上，因此该 bsc 下的小区的 gprs 业务使用正常，待更换故障 gpu 后重新 reshuffle 江苏移动通信有限责任公司 网络部 【告警】nsvc 出现“nono responseresponse fromfrom networknetwork”告警 【故障级别】major 【故障影响范围】若 nse 下的 nsvc 都出现该类告警，则该条 gb 下的小区的 gprs 不可用 【故障处理流程】 先察看相关 tp 口是否有传输告警，有传输告警首先通知传输人员排障 mfs 侧和核心网侧工程师检查 gb 数据是否正确 若双方数据正确，mfs 侧和核心网侧工程师对相关 nsvc 进行激活或删创 附附 gbgb 数据删创操作步骤：数据删创操作步骤： gbgb 数据数据 createcreate 配置步骤：配置步骤： 1 rnusm 中点中 mfs 后右健“show equipment” 2 在 mfsusm 中,configuregb 江苏移动通信有限责任公司 网络部 3 editaddnse 4 输入 nsei 以及对应的 bsc 江苏移动通信有限责任公司 网络部 5.点中新添加的 nse 右击，选择 add nsvc 6.在 nsvc creation 图中选择 gpu 板、端口、nse，输入 nsvc id、priority 以及 dlci 和 gb ts，设置 cir、cbs、nir、ebs 等参数。 江苏移动通信有限责任公司 网络部 7 配置完成后 unlock nsvc 从而激活 gb。 8 检查 gb 接口状态。正常情况如下图： gbgb 数据数据 deletedelete 配置步骤：配置步骤： 1、首先需 lock 相关 nsvc，然后进行 remove 操作： 江苏移动通信有限责任公司 网络部 2、将 nse 下的 nsvc 都 remove 掉后，对 nse 进行 remove 操作 【告警】bscbsc gprsgprs serviceservice lostlost 【故障级别】critical 【故障影响范围】出现故障的 bsc 下小区的 gprs 不可用 【故障处理流程】 检查该 bsc 是否有故障，gsm、gprs 业务是否正常，首先处理 bsc 故障 检查 mfs 到 bsc 的 link（如相关 ater 口 link 配置是否正确、相关 asmb、dtc 是否工 作正常等） reset gpu 或更换 gpu 附附 aterater 数据配置步骤：数据配置步骤： 1、 rnusm 中点中 mfs 后右健“show equipment” 2、 在 mfsusm 中,configurelink and connections 江苏移动通信有限责任公司 网络部 3、选择相应 gpu 和 bsc，按照设计选中 gpu 相应端口和 bsc 的 ater 接口。然后 link。 江苏移动通信有限责任公司 网络部 4、align links 完成后，依次进行 configure gprs、align gprs configuration、unlock released time slots 操作。操作完成后 unlock 相关 highway 的 ater tp、unlock gsl。 5、检查 ater 状态。正常情况如下图：（即 gsl：yes，gsl oper. state：enable，configuration state：available，gprs capacity：100%，gsl admin. state：unlocked，gsl alarm state：cleared，alignment：aligned） 江苏移动通信有限责任公司 网络部 【告警】bssbss gslgsl isis brokenbroken 【故障级别】critical 【故障影响范围】若是这个 gpu 下配置的两个 gsl 都出现该告警，则出现故障的 gpu 下 map 的小区的 gprs 不可用；若只有一个 gsl 出现该告警，则只是对该 gpu 的 gsl 信令负荷 有所影响 【故障处理流程】 检查出现告警的 gsl 是否被 lock，若是 lock 的则需进行 unlock 后排查 检查相关的 pcm-ttp 是否有其它告警(主要是 bsc 侧)：若有传输告警，需先排查传输 告警；检查相关的 asmb、dtc、tsca，可进行 lock、unlock 操作 若 gpu 工作正常且相关 ater 口显示 gsl 工作正常，则是假告警，可对相关 gpu 进行 reset 或者 lock/unlock asmb 操作后状态即可恢复 【告警】bssbss bvcsigbvcsig isis brokenbroken 【故障级别】critical 【故障影响范围】出现故障的 gpu 下 map 的小区的 gprs 不可用 【故障处理流程】 江苏移动通信有限责任公司 网络部 检查相关的 nsvc 是否被 lock，若是 lock 的则需进行 unlock 后排查 检查相关的 pcm-ttp 是否有其它告警（主要是 sgsn 侧）：若有传输告警，需先排查传 输告警；检查相关的 nsvc 是否工作正常 【告警】lapdlinklapdlink isis brokenbroken 【故障级别】 major 【故障影响范围】若是这个 gpu 下配置的两个 lapdlink 都出现该告警，则出现故障的 gpu 下 map 的小区的 gprs 不可用；若只有一个 lapdlink 出现该告警，则只是对该 gpu 的负荷 有所影响 【故障处理流程】 检查相关的lapdlink是否被lock，若是lock的则需进行unlock后排查 检查相关的 pcm-ttp 是否有其它告警（主要是 bsc 侧）：若有传输告警，需先排查传 输告警；检查相关的 asmb、dtc、tsca，可进行 lock、unlock 操作 【告警】nseinsei mismatch:mismatch: sgsnsgsn sendssends a a wrongwrong nseinsei atat resetreset 【故障级别】 major 【故障影响范围】the nse is disabled. 【故障处理流程】 核心网侧：reconfigure nsei mfs侧：delete/create nsei with new nse 【告警】nsvcinsvci mismatch:mismatch: sgsnsgsn sendssends a a wrongwrong nsvcinsvci atat resetreset 【故障级别】 major 【故障影响范围】the ns-vc is disabled. 【故障处理流程】 核心网侧：reconfigure nsvc mfs侧：delete/create nsvc with new nsvci 【告警】rai:rai: remoteremote alarmalarm indicationindication signallingsignalling anan emissionemission problemproblem 【故障级别】critical 【故障影响范围】若一个 gpu 下的两路 ater tp 或一路 gb tp(一般每个 gpu 配有两路 ater tp，一路 gb tp)都出现该类告警，则该 gpu 下的小区的 gprs 不可用 【故障处理流程】 检查是否有其它告警，若有其它告警先处理 若一个 gpu 下配置的所有 pcm_ttp（两路 ater tp 和一路 gb tp）都出现该告警，首先 检查、更换 jae1c 板（jbgpu 板的后背板） ，再观察告警是否消除 resetdata gpu，再观察告警是否消除（也可通过倒换到备用板、插拔 gpu 板、更换 gpu 板来判断是否是 gpu 板问题） 若不是 jbgpu、jae1c 板问题，则需要检查 pcm_ttp 口的传输线是否插好, 及对端传输 设备的情况 通知传输人员检查传输 【告警】los:los: pcmpcm linklink betweenbetween transceivertransceiver andand receiverreceiver brokenbroken 【故障级别】critical 江苏移动通信有限责任公司 网络部 【故障影响范围】若一个 gpu 下的两路 ater tp 或一路 gb tp(一般每个 gpu 配有两路 ater tp，一路 gb tp)都出现该类告警，则该 gpu 下的小区的 gprs 不可用 【故障处理流程】 需要检查 pcm_ttp 口的传输线是否插好 若一个 gpu 下配置的所有 pcm_ttp（两路 ater tp 和一路 gb tp）都出现该告警，首先 检查、更换 jae1c 板（jbgpu 板的后背板） ，再观察告警是否消除 若不是 jae1c 板问题，则需检查相关的收发 2m 电缆和 ddf 架接头 通知传输人员检查本端的传输设备 【告警】以下传输告警的处理方法基本一样： ais:ais: onlyonly bitsbits 11 intointo twotwo successivesuccessive framesframes ch0-eerhch0-eerh : : excessiveexcessive errorerror raterate berber 10-310-3 lfa:lfa: lossloss ofof frameframe alignmentalignment crc4-berh:crc4-berh: excessiveexcessive errorerror raterate berber 10-410-4 crc4-berlcrc4-berl : : excessiveexcessive errorerror raterate berber 10-610-6 【故障级别】critical 【故障影响范围】若一个 gpu 下的两路 ater tp 或一路 gb tp(一般每个 gpu 配有两路 ater tp，一路 gb tp)都出现该类告警，则该 gpu 下的小区的 gprs 不可用 【故障处理流程】 若一个 gpu 下配置的所有 pcm_ttp（两路 ater tp 和一路 gb tp）都出现该告警，首先 检查、更换 jae1c 板（jbgpu 板的后背板） ，再观察告警是否消除 若仅仅是一块 gpu 上的个别传输有告警，则通知传输人员检查对端传输 注：以上故障若是影响一个注：以上故障若是影响一个 gpugpu 下下 mapmap 的小区的的小区的 gprsgprs 业务的、且该业务的、且该 bscbsc 配置有两个配置有两个 gpugpu 的的 话，如果故障修复时间较长可先将故障话，如果故障修复时间较长可先将故障 gpugpu locklock 后，将业务后，将业务 reshufflereshuffle 到正常工作的到正常工作的 gpugpu，再对故障进行处理。，再对故障进行处理。 江苏移动通信有限责任公司 网络部 第三章第三章 爱立信爱立信 bscbsc 侧侧 gbgb 接口故障处理手册接口故障处理手册 gb 接口故障是指针对某 bsc 的 gb 接口通信全阻的情况（如双 nsvc abl 的情况） ，对 于单个传输或单个 nsvc 故障则对业务无影响，可属于一般故障的处理范畴。 爱立信 bsc 中和 gb 接口相关的设备是 pcu，它由硬件和软件两个部分组成。 pcu 硬件 包括 1-16 个 rpp，这些 rpp 可以通过 ethernet 连接，每个 rpp 通过 gs 和 sgsn 连接，通 过 srs 和 bts 连接。pcu 软件由 cp 和 rp 两部分组成。 bsc 侧 gb 接口故障处理流程如下： 本地区某 bsc 全阻，已派发 分公司 bsc 维护人员处理 第 1 步：检查 gb 接 口状态 第 2 步：判断是否为 传输故障 第 3 步：检查 gb 接口是否 有足够的 mbl 设备使用 第 4 步：检查 rpp、em 状态是否正 常 第 5 步：闭解对应的 nsvc 第 6 步：pcu 侧闭塞并删 除 gb 接口，然后重新定 义 报传输人 员处理 yes no gb 接口故障恢复 第 7 步：检查 sgsn 侧数据 江苏移动通信有限责任公司 网络部 下面以下面以 czbsc61czbsc61 为例详细说明为例详细说明 bscbsc 侧侧 gbgb 接口故障处理过程。接口故障处理过程。 第