Y省B局点核心网GUTP传输通道配置问题导致无线掉线率升高

文档名称文档密级 2020 3 26华为机密 未经许可不得扩散第 1 页 共 15 页 1 Y Y 省省 B B 局点核心网局点核心网 GUTPGUTP 传输通道配置问传输通道配置问 题导致无线掉线率升高题导致无线掉线率升高 1现象描述现象描述 2015 年 1 月份 B 局点 LTE 的无线掉线率在 0 16 左右 2 月初开始无线掉线率开 始不断升高 2 月 4 日以后无线掉线率恶化至 0 23 以上 较 1 月份该指标平均 值 升高了 0 07 该指标恶化明显 接入类指标及移动性指标无明显变化 详 细指标请见下表 间 时间 粒度 LTE 基站 数 LTE 小区 数 RRC 连 接建 立成 功率 E RAB 建立 成功 率 无线 接通 率 无线 掉线 率 E RAB 掉线 率 切换成 功率 CSFB 成功 率 最大用 户数 01 28 2015 24 小 时 1236 3433 99 98 99 98 99 96 0 16 0 15 99 58 99 95 48530 01 29 2015 24 小 时 1238 3441 99 97 99 98 99 96 0 16 0 16 99 54 99 95 48570 01 30 2015 24 小 时 1241 3448 99 98 99 98 99 95 0 16 0 16 99 55 99 95 49528 01 31 2015 24 小 时 1242 3450 99 98 99 99 99 97 0 17 0 16 99 56 99 95 47963 02 01 2015 24 小 时 1242 3451 99 98 99 98 99 96 0 17 0 16 99 55 99 95 50694 02 02 2015 24 小 时 1248 3462 99 98 99 98 99 96 0 18 0 17 99 57 99 95 52270 文档名称文档密级 2020 3 26华为机密 未经许可不得扩散第 2 页 共 15 页 2 02 03 2015 24 小 时 1248 3462 99 98 99 98 99 97 0 19 0 18 99 45 99 95 52515 02 04 2015 24 小 时 1248 3462 99 98 99 98 99 97 0 23 0 22 99 43 99 95 53583 02 05 2015 24 小 时 1248 3462 99 98 99 98 99 97 0 24 0 23 99 54 99 93 54256 02 06 2015 24 小 时 1248 3464 99 98 99 98 99 96 0 23 0 23 99 57 99 954597 02 07 2015 24 小 时 1248 3464 99 98 99 98 99 96 0 29 0 28 99 58 99 86 53668 02 08 2015 24 小 时 1248 3464 99 98 99 98 99 97 0 25 0 2499 6 99 89 53019 表 1 网管 KPI 指标统计 1 月 28 日 2 月 8 日 2告警信息告警信息 无 3原因分析原因分析 1 无线掉线率指标定义 无线掉线率 eNodeB 发起的 S1 RESET 导致的 UE Context 释放次数 MME 发起 的 S1 RESET 导致的 UE Context 释放次数 UE Context 异常释放次数 UE Context 建立成功总次数 100 UE 上下文异常释放包括 eNodeB 主动发送 UE CONTEXT RELEASE REQUEST 消息 原 因为异常的释放以及 eNodeB MME 发起的 S1 RESET 导致的 UE 上下文释放 eNodeB 发起的 UE 上下文释放异常定义 当 eNodeB 向 MME 发送 UE CONTEXT RELEASE REQUEST 消息 会释放 UE 的所有 E RAB 当释放原因不为 Normal Release Detach User Inactivity CS Fallback triggered UE 文档名称文档密级 2020 3 26华为机密 未经许可不得扩散第 3 页 共 15 页 3 Not Available for PS Service Inter RAT Redirection Time critical handover Handover Cancelled 时 测量指标 L UECNTX AbnormRel 加 1 当 eNodeB 向 MME 发送 S1 RESET 消息时 根据包含的上下文个数 指标 L UECNTX Rel S1Reset eNodeB 进行累加 当 MME 向 eNodeB 发送 S1 RESET 消息 时 根据包含的上下文个数 指标 L UECNTX Rel S1Reset MME 进行累加 eNodeB 性能指标中定义的 eNodeB 发起的 UE 上下文释放原因只有 5 种 分别为无 线问题 User Inactivity UE LOST 切换流程失败 上行弱覆盖 指标体系并 不完善 另外性能指标中对核心网发起的 UE 上下文释放原因并没有进一步定义 小区 eNodeB 发起的 UE 上下文释放原因各指标名称及描述如下 指标 ID指标名称指标描述所属网元 1526728857L UECNTX Rel eNodeB Rnl eNodeB 发起的原因为 无线层问题的 UE Context 释放次数 BTS3900 BTS3900 LTE 1526728858L UECNTX Rel eNodeB Userina ct eNodeB 发起的原因为 User Inactivity 的 UE Context 释放次数 BTS3900 BTS3900 LTE 1526728859L UECNTX Rel eNodeB UeLost eNodeB 发起的原因为 UE LOST 的 UE Context 释放次数 BTS3900 BTS3900 LTE 1526728860L UECNTX Rel eNodeB HOFailu re eNodeB 发起的原因为 切换失败的 UE Context 释放次数 BTS3900 BTS3900 LTE 1526730863L UECNTX AbnormRel UlWeak eNodeB 发起的原因为 上行弱覆盖的 UE Context 异常释放次 数 BTS3900 BTS3900 LTE 2 性能指标统计分析 文档名称文档密级 2020 3 26华为机密 未经许可不得扩散第 4 页 共 15 页 4 通过对话统中定义的 UE 上下文释放测量指标进行统计 得到 2 月 2 日 2 月 11 日的数据原表 各指标的 UE Context 的释放次数如下 可以看到 eNodeB 发起 的 UE Context 释放次数没有明显的变化 反之 MME 发起的 UE Context 释放次 数呈现明显的增长 eNodeB 发起的原因为无线层问题的释放次数有所浮动 但 不是异常释放总数升高的主因 而原因值为其他的 MME 发起的释放 UE Context 次有明显上升 MME 释放总次数 原因为 Normal Release 的 MME 释放次数 因 此从整网指标的变化情况上看 UE Context 异常释放次数增多与 MME 发起的释 放原因有关 表 3 UE Context 释放原因值统计 图 1 UE Context 释放各原因值比例变化情况 3 TOP 问题小区分析 选择 2 月 5 日的 TOP3 XX 固东爱国 HLH 3 XX 辛街大官市 HLH 1 XX 永昌 白塔 HLH 1 问题小区进行针对性分析 提取这三站点 2 月 5 日一键式日志 并通过工具进行解析 2 月 5 日这三个站点无异常告警 事件以及网络操作 从内部释放原因表中可以看到三个小区的掉话次数主要原因为 UEM UECNT REL RECV GTPU RESET BEAR REQ 占总掉线次数的 80 以上 从 文档名称文档密级 2020 3 26华为机密 未经许可不得扩散第 5 页 共 15 页 5 TOP 用户分析表中看到每一个问题小区下的掉线次数集中在一个 TIMSI 下 结合 TOP 终端分布可以进一步确认是否由于某类终端异常导致 但是结合三 张表可以看到 XX 固东爱国 HLH 3 下 TOP 终端为 Coolpad8720L 但是该类终 端在 XX 辛街大官市 HLH 1 下表现正常 并且 XX 辛街大官市 HLH 1 下的 TOP 终端 OPPOFind7 X9077 但该小区下另外一部同类型终端正常 因此判断小 区异常掉线升高不是某一款终端异常导致的 而是某些 TOP 用户导致的 XX 固东爱国 HLH 3 内部释放原因掉话次数比例 结果建议 UEM UECNT REL RECV G TPU RESET BEAR REQ2770892 74 掉话 L E RAB AbnormRel TNL 通过查询GTPU Trace 确认是否存在错误指示 UEM UECNT REL UE RLC UNRESTORE IND15275 11 掉话 L E RAB AbnormRel Radio 通过 L2RlcReTx事件观 察最大重传次数 通过 L2 DRB STRU事件观 UEM UECNT REL MME C MD4771 59 掉话 统计至L E RAB AbnormRel MME 观察SigInfoList事件中 最后1条信令信息 统 计核心网发起的释放原 UEM UECNT REL SAE BE ARER REL NUM MAX4840 28掉话 获取对应时间的Debug 日志 联系L3 RR模块 进行处理 UEM UECNT REL UE RES YNC DATA IND REL CAUS E360 12 掉话 L E RAB AbnormRel Radio 通过 L2 XX USER TA FAI L EVENT事件观察TA UEM UECNT REL SAE BE ARER REL NUM MAX5240 08掉话 获取对应时间的Debug 日志 联系L3 RR模块 进行处理 UEM UECNT REL RRC RE EST SRB1 FAIL120 04 掉话 L E RAB AbnormRel Radio 通过L2 USER INFO 事件确认 RRC Conn Reest信令 UEM UECNT REL MME C MD BEFORE SRB2 RRCC ONNRECFG CMP60 02掉话 通过L2 USER INFO 事件确认 RRC Conn RECFG信 表 5 XX 固东爱国 HLH 3 掉线内部释放原因统计 TMSI 掉话次数 上行弱覆盖上行干扰信号陡降其它 XX854C272781900627813 FFFFFFFF1740036138 XXA55E252718009 XX8DBE092424000 XX7XX354B1F1800315 文档名称文档密级 2020 3 26华为机密 未经许可不得扩散第 6 页 共 15 页 6 XX0FBA131800315 XX354B1F1500015 XX9626051500015 XX98E923129003 XX28DD19123090 XX51A9211200012 其他 171014701801383 表 6 XX 固东爱国 HLH 3 掉线 TOP 用户统计 UE能力 前14 位 UE能力 中间8 位 UE能力 末位 终端类型 UEM UE CNT REL RECV GTPU R ESET BE AR REQ UEM UE CNT REL UE RLC UNREST ORE IND UEM UE CNT REL RRC RE EST SRB 1 FAIL UEM UE CNT REL UE RES YNC DAT A IND R EL CAUS E UEM UE CNT REL MME C MD UEM UE CNT REL SAE BE ARER R EL NUM MAX4 UEM UE CNT REL MME C MD BEF ORE SR B2 RRCC ONNREC FG CMP UEM UE CNT REL SAE BE ARER R EL NUM MAX5 总数 00E00000004014fe0dd89c0Coolpad8720L2770849809158402428338 0 00E 007e0df8825645s港版移动A1530060000006 0 00E 007f0ffc864G716 L07001200300015 0 00E 00fe0dd89e0 未知 060000006 0 00E 007f4ffe9e564 中兴Star1 S2002 021001800039 0 00E 007fcffe9a564 未知 012004206060 0 00E 007fcffe9a164 未知 0300900012 1 00E 247fcffe9a164 未知 000060006 00E00000004014fe0dd89e0 未知 036001200048 00E000000044137f0ffc864G716 L070027093000066 01E000000044247fcffe9e564 未知 000060006 01E000010045145c0dd8840E5375000030003 01E000010045147e0dd8840 未知 030030006 表 7 XX 固东爱国 HLH 3 掉线 TOP 终端统计 XX 辛街大官市 HLH 1 文档名称文档密级 2020 3 26华为机密 未经许可不得扩散第 7 页 共 15 页 7 內部释放原因 掉话 次数 比例 结果建议 UEM UECNT REL RECV GTPU RESET BEAR REQ 816484 11 掉话 L E RAB AbnormRel TN L 通过查询GTPU Trace确认是否存 在错误指示 UEM UECNT REL SAE B EARER REL NUM MAX5 146015 04 掉话 获取对应时间的Debug日志 联系 L3 RR模块进行处理 UEM UECNT REL UE RLC UNRESTORE IND 340 35 掉话 L E RAB AbnormRel Ra dio 通过 L2RlcReTx事件观察最大重传 次数 通过L2 DRB STRU事件观 察空口信道质量 UEM UECNT REL UE RE SYNC DATA IND REL CA USE 210 21 掉话 L E RAB AbnormRel Ra dio 通过 L2 XX USER TA FAIL EVENT事 件观察TA失步的原因 通过 L2 DRB STRU事件观察空口信道 质量 UEM UECNT REL MME C MD 160 16 掉话 统计至L E RAB AbnormRel M ME 观察SigInfoList事件中最后1条信令 信息 统计核心网发起的释放原因 值 UEM UECNT REL SAE B EARER REL NUM MAX4 60 06 掉话 获取对应时间的Debug日志 联系 L3 RR模块进行处理 UEM UECNT REL RRC R EEST SRB1 FAIL 20 02 掉话 L E RAB AbnormRel Ra dio 通过L2 USER INFO事件确认 RRC Conn Reest信令终端是否收 到UE反馈的ACK 通过 L2 DRB STRU and L1 SegInfo了 解同时刻上行信道质量 UEM UECNT REL MME C MD BEFORE SRB2 RRCC ONNRECFG CMP 20 02 掉话 通过L2 USER INFO事件确认 RRC Conn RECFG信令终端是否 收到UE反馈的ACK 通过 L2 DRB STRU了解同时刻上行信 道质量 UEM UECNT REL WAIT R RC CONN RECFG RSP TI MEOUT 10 01 掉话 L E RAB AbnormRel Ra dio 通过L2 USER INFO事件确认 RRC Conn RECFG信令终端是否 收到UE反馈的ACK 通过 L2 DRB STRU了解同时刻上行信 道质量 表 8 XX 辛街大官市 HLH 1 掉线内部释放原因统计 TMSI 掉话次数 上行弱覆盖 上行干扰信号陡降其它 XX18551496300009630 FFFFFFFF93006 XXAFE81D43001 XX39370330003 XX194F1833000 XX05591D33000 XX49611A30003 XX64896F30003 XX45911030003 其他 4580136 文档名称文档密级 2020 3 26华为机密 未经许可不得扩散第 8 页 共 15 页 8 表 9 XX 辛街大官市 HLH 1 掉线 TOP 用户统计 UE能力 前14 位 UE能力 中间8 位 UE能力 末位 终端类型 UEM UE CNT REL RECV GTPU R ESET BE AR REQ UEM UE CNT REL UE RLC UNREST ORE IND UEM UE CNT REL WAIT R RC CON N RECF G RSP T IMEOUT UEM UE CNT REL RRC RE EST SRB 1 FAIL UEM UE CNT REL UE RES YNC DAT A IND R EL CAUS E UEM UE CNT REL MME C MD UEM UE CNT REL MME C MD BEF ORE SR B2 RRCC ONNREC FG CMP UEM UE CNT REL SAE BE ARER R EL NUM MAX4 UEM UE CNT REL SAE BE ARER R EL NUM MAX5 总数 0 00E 007f4ffe9a164OPPOFind7 X90778164000000614609630 00E00000004014fe0dd89c0Coolpad8720L012006000018 00E000000044137f0ffc864G716 L07006003100010 0 00E 00ff0ffc984 华为523 0500310009 0 00E 00fe0dd89a0 未知 0200600008 0 00E 00ff4ffe98564 未知 0400020006 0 00E 007fcffe9a564 未知 0000040004 0 00E 007f4fde844Jazz0300000003 0 00E 007e0dd8804SamsungNote2 GT N7108D0000300003 0 00E 00fe0dd89c0Coolpad8720L0002000002 1 00E 247fcffe9a564 未知 0000002002 0 00E 007f4ffe9a564OPPOFind7 X90770010010002 0 00E 007f4f1e844P7索菲亚L700200000002 1 00E 147fcffe9a564 未知 0000010001 表 10 XX 辛街大官市 HLH 1 掉线 TOP 终端统计 XX 永昌白塔 HLH 1 內部释放原因掉话次数 比 例 结果建议 UEM UECNT REL RECV GTP U RESET BEAR REQ 269276 08 掉话 L E RAB AbnormRel TNL 通过查询GTPU Trace确认是否存 在错误指示 UEM UECNT REL SAE BEAR ER REL NUM MAX5 72020 35 掉话 获取对应时间的Debug日志 联系 L3 RR模块进行处理 UEM UECNT REL UE RLC UN RESTORE IND 601 69 掉话 L E RAB AbnormRel Radio 通过 L2RlcReTx事件观察最大重 传次数 通过L2 DRB STRU事件 观察空口信道质量 UEM UECNT REL MME CMD591 66 掉话 统计至L E RAB AbnormRel MME 观察SigInfoList事件中最后1条信 令信息 统计核心网发起的释放原 因值 UEM UECNT REL HO OUT IN TRA FREQ X2 REL BACK FAI L 50 14 掉话 L E RAB AbnormRel HOFailure UEM UECNT REL MME CMD BEFORE SRB2 RRCCONNREC FG CMP 20 05 掉话 通过L2 USER INFO事件确认 RRC Conn RECFG信令终端是否 收到UE反馈的ACK 通过 L2 DRB STRU了解同时刻上行信 道质量 表 11 XX 永昌白塔 HLH 1 掉线内部释放原因统计 TMSI 掉话次 数 上行弱覆 盖 上行干 扰 信号陡 降其它 XX1DE21234120003412 FFFFFFFF4260927 XXA1722970043 XX6DCD1230030 文档名称文档密级 2020 3 26华为机密 未经许可不得扩散第 9 页 共 15 页 9 XX7AEF1530030 XX83251F30003 XX84880C30003 XX64803430003 XX640C3D30003 XX91BB1820002 其他 5760843 表 12 XX 永昌白塔 HLH 1 掉线 TOP 用户统计 UE能力 前14 位 UE能力 中间8 位 UE能力 末位 终端类型 UEM UE CNT REL HO OUT INTRA F REQ X2 REL BAC K FAIL UEM UE CNT REL RECV GTPU R ESET BE AR REQ UEM UE CNT REL UE RLC UNREST ORE IND UEM UE CNT REL MME C MD UEM UE CNT REL MME C MD BEF ORE SR B2 RRCC ONNREC FG CMP UEM UE CNT REL SAE BE ARER R EL NUM MAX5 总数 0 00E 007f4ffe9a564OPPOFind7 X9077026922307203417 0 00E 00fe0dd89a0 未知 002030023 1 00E 247fcffe9a564 未知 004150019 0 00E 007f4ffe9e564 中兴Star1 S2002 001240016 0 00E 007fcffe9a164 未知 000102012 0 00E 007f4ffe9a164OPPOFind7 X907700740011 0 00E 00ff0ffcb84 未知 000100010 01E000000004247f4ffe9e564 中兴Star1 S2002 0032005 00E00000004014ff4ffe9e764 未知 0004004 表 13 XX 永昌白塔 HLH 1 掉线 TOP 终端统计 4 TOP 用户分析 以 XX 固东爱国 HLH 3 为例 TMSI 为 D48XXC27 的 TOP 用户 导致掉话 L E RAB AbnormRel TNL 内部释放原因全为 UEM UECNT REL RECV GTPU RESET BEAR REQ eNodeB 中对统计 L E RAB AbnormRel TNL 的定义为 当判断相应承载有数传且释放原因为传输层错误 时 GTPU 为用户面隧道协议 在两个端点间建立专用隧道 传输用户数据 在 S1 u 接口实现隧道功能 满足多个用户共享少数传输通道的需求 在 X2 u 接口实现隧道功能 传递数据和某些信息 如 PDCP SN 空口并不涉及 GTP U 协议 下面为 GTPU 协议层在 LTE SAE 网络的示意图 文档名称文档密级 2020 3 26华为机密 未经许可不得扩散第 10 页 共 15 页 10 图 2 GTPU 协议层在 LTE SAE 网络的示意图 选取 2 月 5 日 01 14 53 的异常掉线事件分析 在此后的时间里该用户平均 3 5 秒左右会发生一次掉线 查看 SigInfoLst 发现在第 15 个信令消息的记录里 eNodeB 向 MME 发起 S1MsgType S1AP UE CONTEXT REL REQ 10 并且释放请求 原因 S1Cause Transp TRANSPORT RESOURCE UNAVAILABLE 512 在第 16 条信令 消息里面 eNodeB 收到 MME 下发的 S1MsgType S1AP UE CONTEXT REL CMD 11 图 3 无线掉线内部释放原因 图 4 SigInfoLst 内容 根据掉话性能优化 X 板斧的规定动作 下一步进行 GTPU 检测 如果是 GTPU 请求 文档名称文档密级 2020 3 26华为机密 未经许可不得扩散第 11 页 共 15 页 11 响应超时 则需要传输和核心网共同分析 如果是 GTPU Err Ind 联合核心网 一期分析对方发送 Err Ind 的原因 eNB 侧可以根据信令分析说明问题过程推动 核心网投入分析 由于信令查询需要提前开启 并且 XX 固东爱国 HLH 3 非持续 掉线指标恶化小区 因此需要通过对其他具有相同掉线原因的高掉线小区进行信 令分析 4处理过程处理过程 1 XX 辛街阿今中寨 HLH 复现掉线问题 提取 2 月 14 日传输层问题导致的 E RAB 异常释放次数 无 无线掉线 TOP 小区 发现隆阳辛街阿今中寨 HLH 2 连续两个 15 分钟出现大量 L E RAB AbnormRel TNL 原因值的掉话 因此对该小区分析 S1 标口 UU 标口及传输 GTPU 信令 开始时间 周期 分 钟 网元名称小区 SRB RLC 复位导致 的激活的 E RAB异 常释放次 数 SRB达到 最大重传 次数导致 的激活的 语音业务 E RAB异 常释放次 数 UE Reply 超时导致 的激活的 语音业务 E RAB异 常释放次 数 UE在上行 失步状态 的E RAB 释放总个 数 传输层问 题导致的 E RAB异 常释放次 数 02 14 2015 11 45 0015XX辛街阿今中寨 HLHXX辛街阿今中寨 HLH 20 NILNILNIL408 02 14 2015 11 45 0015XX中和卧龙 HLHXX中和卧龙 HLH 10 NILNILNIL307 02 14 2015 11 00 0015XX中和樊家营 HLHXX中和樊家营 HLH 30 NILNILNIL200 02 14 2015 11 30 0015XX辛街阿今中寨 HLHXX辛街阿今中寨 HLH 20 NILNILNIL162 02 14 2015 11 30 0015XX明光东营街 HLHXX明光东营街 HLH 30 NILNILNIL113 02 14 2015 11 45 0015XX由旺永福街 HLHXX由旺永福街 HLH 11 NILNILNIL70 02 14 2015 11 15 0015XXX党校综合楼 HLHXX党校综合楼 HLH 30 NILNILNIL67 02 14 2015 11 45 0015XX妇幼保健院 HLHXX妇幼保健院 HLH 21 NILNILNIL50 表 14 2 月 14 日传输层问题高掉线小区统计 2 XX 辛街阿今中寨 HLH 2 从 11 点开始无线掉线率开始突然升高 13 点后无线 掉线恢复正常 查询告警事件日志 在 1 月 30 日后该网元无异常告警 通过 操作日志发现在该时间点附近同样无异常指令下发 文档名称文档密级 2020 3 26华为机密 未经许可不得扩散第 12 页 共 15 页 12 图 5 高掉线时间内告警 事件 操作日志查询 3 从掉线原因统计明细中看到 XX 辛街阿今中寨 HLH 2 无线掉线内部原因值统 计为 UEM UECNT REL RECV GTPU RESET BEAR REQ 的最早一条信令是在 11 38 24 图 6 隆阳辛街阿今中寨 HLH 2 最早异常时间点 4 按照 11 38 24 时间点查询 DBG 日志 NO 179860 11 38 13 记录的消息为 PathLink 可用 在 NO 179861 中记录的消息为 gtpuPeerMtSendErrorIndMsg2TR