27、陕西LTE核心网关键性能指标提升经验交流终版[共20页]

1、LTE核心网关键性能指标提升 陕西公司 2014.10 性能管理体系 目录 4G健康度体系及指标分析流程 优化工作成效 * 智慧 运维 智慧 管理 提高客户网络满意度 目 标 网络品质 成本效益 核 心 KPI+健康度+客户感知 三个手段一个体系 四个步骤 123 华为PS Toolkits 4G健康度 LTE信令监测 集中故障监控问题发现 问题定界 问题定位 解决与验证 以塑造LTE“精品”网络为目标，以客户感知为核心，以“智慧管理、智慧运维”为突破 口，通过”一个体系，三个手段，四个步骤”的方法，系统推进LTE性能指标提升工作落地， 完成全省4G网络指标达到挑战值。 陕西公司LTE性能管理

2、体系 . l4G健康度定义指标门限 4G健康度为集中故障监控提供性 能指标告警门限。 lPS toolkits日志分析 通过PS toolkits工具分析设备 CHR日志，进行精确定位。 lLTE信令监测 通过信令监测系统多维度分析， 进行失败原因定界。 l集中故障监控指标异常 实时监控指标，低于门限即生成 集中化故障工单，通过EOMS下发。 问题发现 问题定界 问题定位 性能管理运作流程 通过集中故障监控发现指标异常，生成工单下发维护人员，借助LTE信令监测系统多维 度统计，进行失败原因定界，CHR分析设备错误日志定位根因，解决后回复工单归档。 性能管理体系 4G健康度体系及指标分析流程 优

3、化工作成效 * 4G健康度-优化考核体系 性能指标分地市 集中故障监控指标门限定义 建立4G健康度指标体系，借助LTE信令监测系统，实现指标分地市呈现，从接入性、移动 性、保持性三方面综合评比地市指标优劣，并作为集中故障监控系统性能指标告警派单标准。 集中故障监控平台主动监控 问题发现问题定界问题定位解决与验证 1、集中故障监控平台设立LTE场景，实 时监控全省设备指标情况 2、当LTE关键性能指标低于门限值，会 生成Eoms告警工单。 3、EOMS故障工单T1处理角色经过指标 预处理后，将工单派发T2处理。 4、T2接到工单通知，随后对指标问题进 行定位、解决及归档处理。 集中故障监控-问题

4、发现 自动派单 指标 异常 短信 通知 主动监控 告警呈现 自动派单 问题处理 归档 借助集中故障监控平台实现实时性能管理工作的落地，4G实时性能告警监控实现基于 4G实时性能指标的集中监控、集中预处理和集中派单，并跟踪反馈结果，实现闭环管理。 LTE信令监测-问题定界 问题发现问题定界问题定位解决与验证 MME S-GW eNodeb P-GW S11 S1-U 数据采集数据采集器器(Detector) 枢纽楼/锦业路机房 HSS S6a S1-C 陕西公司全网集中部署LTE信令监测系统，通过LTE信令监测对相应指标异常网元进行基于TAC、enb、小 区用户等多维度分析，结合失败原因值定位出

5、大致原因，实现异常指标失败原因的快速定界。 系统部署拓扑情况 原因值钻取 全程关联 信令统计 统计问题网元异常指标失 败次数，失败原因值占比， 聚类TOP失败原因值 统计附着、请求、释放等 信令 关联分析S1-c、S6a、 S10/11接口信令，定界问 题网元 S1-MMESGSS6aS10/11 事件合成 全程关联 成功率异常次数时延分析 分级告警 信令交互图 多维度钻取 时间 端口 事件类型 业务 TOP排行 设备 问题发现问题定界问题定位解决与验证 多维度统计 异常指标分 析 失败原因钻 取 问题定界 34% 27% 18% 9% 6% 1% 占比占比(%) (#7 EPS servic

6、es not allowed) (#111 Protocol err, unspec) (#7 Serv not allowed) (#15 No suitable cells in TA) (#19 ESM failure) (#15 No Suit Cells In TA) LTE信令监测-问题定界 1、集中故障监控派单后，通过LTE信令监测对相应指标 异常网元进行多维度分析。 2、统计结果显示宝鸡TAC 37238跟踪区下指标明 显很低下，拉低整体指标 3、对于该TAC下EPS附着失败次数进一步钻取统计 失败原因值。 4、TOP3失败原因为#15、#111、#19，#111失败占比最大，

7、 问题定界为：MME1指标异常主要由TAC 37238下#111过 多导致。 问题定界流程 中兴系统进行问题定界 问题发现问题定界问题定位解决与验证 CHR分析工具-问题定位 目前，从LTE信令监测系统统计到的称为协议失败原因值，对于不同厂家的设备，每个协议失败原因值，都 是由一个或多个外部/内部失败原因映射而成，后者才是导致指标异常的根因。PS toolkits有助于快速分析CHR 设备错误日志，找到协议失败原因与外部/内部失败原因的映射关系。 1、LTE信令监测的协议失败原因统计 2、通过PS TOOLKITS提取MME 错误日志,细分协议失败原因值 对应的内部失败原因 3、通过内部原因，

8、可以将问题进一步细化至设备具体问题， 如ERAB建立超时、Enodeb传输资源不足、SAEGW资源不足、 DNS解析失败、取鉴权集失败、签约信息错误等，并针对性的 解决问题。 USN_MM_S1AP_CAUSE_RADIO_NW_FAIL_IN_RADIO_ITF_PROC USN_MM_UDM_CAUSE_UNKNOWN_EPS_SUBSCRIPTION USN_MM_CTRL_CREAT_DFT_BR_RSP_FAIL 63% 22% 10% 3%2% 0% Attach协议失败协议失败原因分析原因分析 #7 EPS services not allowed #111 Protocol e

9、rr， unspec #15 No Suit Cells In TA #16 MSC temporarily not reachable #19 ESM failure USN_MM_S1AP_CAUSE_TRANSP_RSRC_UNAVAILABLE USN_MM_UDM_CAUSE_USER_UNKNOWN USN_MM_CSFB_TAILAI_RECORD_NOT_FIND 无线 核心网 用户 协议原因值外部原因值内部原因值 ATTACH失败原因分析-映射关系表 问题发现问题定界问题定位解决与验证 协议失败原因协议失败原因外部原因值内部原因值 #7 EPS services not al

10、lowed MM_HSS_UNKNOWN_EPS_SUBSCRIPTIONUSN_MM_UDM_CAUSE_UNKNOWN_EPS_SUBSCRIPTION MM_HSS_UNKNOWN_EPS_SUBSCRIPTIONUSN_MM_UDM_CAUSE_UNKNOWN_EPS_SUBSCRIPTION_GPRS_DATA MM_HSS_UNKNOWN_EPS_SUBSCRIPTIONUSN_MM_UDM_CAUSE_UNKNOWN_EPS_SUBSCRIPTION_NO_GPRS_DATA #15 No Suitable Cells In tracking area MM_HSS_AUTHOR

11、IZATION_REJECTEDUSN_MM_UDM_CAUSE_AUTHORIZATION_REJECTED MM_HSS_UNKNOWN_EPS_SUBSCRIPTIONUSN_MM_UDM_CAUSE_UNKNOWN_EPS_SUBSCRIPTION MM_HSS_UNKNOWN_EPS_SUBSCRIPTIONUSN_MM_UDM_CAUSE_UNKNOWN_EPS_SUBSCRIPTION_GPRS_DATA MM_HSS_UNKNOWN_EPS_SUBSCRIPTIONUSN_MM_UDM_CAUSE_UNKNOWN_EPS_SUBSCRIPTION_NO_GPRS_DATA MM

12、_HSS_USER_UNKNOWNUSN_MM_UDM_CAUSE_USER_UNKNOWN #19 ESM failureMM_SM_FAILUSN_MM_CTRL_CREAT_DFT_BR_RSP_FAIL #16 MSC temporarily not reachableUSN_MM_CSFB_TAILAI_RECORD_NOT_FINDUSN_MM_CSFB_TAILAI_RECORD_NOT_FIND #17 Network failure MM_HSS_EQUIPMENT_UNKNOWNUSN_MM_UDM_CAUSE_FAILURE MM_HSS_MESSAGE_WRONGUSN

13、_MM_UDM_CAUSE_MESSAGE_WRONG #111 Protocol error, unspecified MM_S1_ENB_RSP_FAILUSN_MM_S1AP_CAUSE_RADIO_NW_FAIL_IN_RADIO_ITF_PROC MM_S1_ENB_RSP_FAILUSN_MM_S1_RELEASE_ATTACH_WAIT_AUTH_RSP MM_S1_ENB_RSP_FAILUSN_MM_S1AP_CAUSE_TRANSP_RSRC_UNAVAILABLE MM_S1_ENB_RSP_FAILUSN_MM_S1_RELEASE_ATTACH_WAIT_SMC_CM

14、P MM_S1_ENB_RSP_FAILUSN_MM_S1_RELEASE_ATTACH_WAIT_ATTACH_CMP MM_S1_ENB_RSP_FAILUSN_MM_S1AP_CAUSE_RADIO_NW_RADIO_RSRC_NOT_AVAIL MM_SM_NO_RSPUSN_MM_CTRL_CRT_DEFAULT_BR_TIMEOUT ATTACH失败大致可分为三类：用户原因，签约问题和鉴权失败等；核心网原因，核心设备参数配置问 题、路由问题、硬件问题等；无线原因，ENODEB参数配置和设备异常等问题。 用户原因核心网原因无线原因 USN_MM_S1AP_CAUSE_RADI O_N

15、W_FAIL_IN_RADIO_ITF_P ROC 无线侧建立eRAB超时或者失败， 检查ENB。 USN_MM_S1_RELEASE_ATTA CH_WAIT_AUTH_RSP 等待鉴权回应超时，S1释放，检 查ENB。 USN_MM_S1_RELEASE_ATTA CH_WAIT_ATTACH_CMP 等待ATTACH complete超时，S1 释放，检查ENB。 USN_MM_S1_RELEASE_ATTA CH_WAIT_SMC_CMP 安全算法响应超时，检查终端。 USN_MM_S1AP_CAUSE_TRA NSP_RSRC_UNAVAILABLE 传输资源不可用，检查EnodeB

16、是 否有射频告警，eRAB建立成功率 较低。 ATTACH失败处理建议-解决与验证 问题发现问题定界问题定位解决与验证 USN_MM_UDM_CAUSE_UNKNOW N_EPS_SUBSCRIPTION 取鉴权集失败，检查用户是否为废卡 或签约错误。 USN_MM_UDM_CAUSE_UNKNOW N_EPS_SUBSCRIPTION_GPRS_DA TA 没有签约4G业务。 USN_MM_UDM_CAUSE_USER_U NKNOWN 用户没有签约数据造成取签约时失败。 USN_MM_UDM_CAUSE_AUTHORI ZATION_REJECTED HSS返回安全失败。检查HSS中是否

17、有该用户的安全四元组信息。 USN_MM_UDM_CAUSE_UNKNOW N_EPS_SUBSCRIPTION_NO_GPR S_DATA 没有签约PS业务。 USN_MM_CTRL_CREAT_DFT_BR _RSP_FAIL 创建默认承载失败，检查是否由异常 APN引起，或SAEGW异常。 USN_MM_CTRL_CRT_DEFAULT_ BR_TIMEOUT 创建默认承载时超时，检查SAEGW 负荷及链路状态。 USN_MM_CSFB_TAILAI_RECORD _NOT_FIND 联合附着的位置区对应关系找不到， 核查TAILAI配置。 USN_MM_UDM_CAUSE_FAILUR

18、E （HSS） USN和HSS之间链路问题，检查USN 到HSS间链路，检查HSS的运行情况， 以及检查用户的签约数据是否存在问 题。 用户原因核心网原因无线原因 TAU失败原因分析-映射关系表 问题发现问题定界问题定位解决与验证 协议失败原因外部原因值内部原因值 #7 EPS services not allowedMM_HSS_UNKNOWN_EPS_SUBSCRIPTIONUSN_MM_UDM_CAUSE_UNKNOWN_EPS_SUBSCRIPTION_GPRS_DATA #15 No Suitable Cells In tracking areaMM_HSS_UNKNOWN_EPS_

19、SUBSCRIPTIONUSN_MM_UDM_CAUSE_UNKNOWN_EPS_SUBSCRIPTION #10 Implicitly detached MM_DNS_QUERY_FAILUSN_MM_ACC_DNS_QUERY_FAIL MM_NO_PDP_CXTUSN_MM_SM_CAUSE_BEARER_CONTEXT_NOT_EXIST_OR_FOUND MM_PEER_RET_MS_DETACHEDUSN_MM_CAUSE_GTP_V1_CAUSE_MS_IS_GPRS_DETACHED #16 MSC temporarily not reachable MM_VLR_NO_RSP

20、USN_MM_CSFB_VLR_NO_RSP MM_VLR_RET_CAUSE_UNKOWNUSN_MM_CSFB_VLR_RSP_FAIL #40 No EPS bearer context activated/Feature not supported MM_MS_NO_RSPUSN_MM_CTRL_WAIT_COMPLETE_TIMEOUT MM_NO_PDP_CXTUSN_MM_L3_24301_CAUSE_NO_EPS_BEARER_CONTEXT_ACTIVATED MM_NO_PDP_CXTUSN_MM_SM_CAUSE_BEARER_CONTEXT_NOT_EXIST_OR_F

21、OUND #9 UE identity cannot be derived by the network MM_PEER_RET_IMSI_UNKNOWNUSN_MM_CAUSE_GTP_V1_CAUSE_IMSI_NOT_KNOWN MM_PEER_RET_IMSI_UNKNOWNUSN_MM_CAUSE_GTP_V2_CAUSE_IMSI_NOT_KNOWN MM_MAND_INFO_INVALIDUSPU_MM_CHECK_IE_FAIL MM_UNSPECIAL_ERRORUSN_MM_CTRL_WAIT_CTX_RSP_TIMEOUT #111 Protocol error, uns

22、pecified MM_HSS_NO_RSPUSN_MM_UDM_CAUSE_TIME_OUT MM_UNSPECIAL_ERRORUSN_MM_CTRL_PROC_CONFLICT MM_S1_ENB_RSP_FAILUSN_MM_S1AP_CAUSE_RADIO_NW_FAIL_IN_RADIO_ITF_PROC TAU失败大致可分为三类：用户原因，签约问题；核心网原因，DNS配置问题、S5/S8链路问题、 HSS问题等；无线原因，ENODEB参数配置和设备异常。 用户原因核心网原因无线原因 TAU失败处理建议-解决与验证 问题发现问题定界问题定位解决与验证 USN_MM_S1AP_CAU

23、SE_RADIO _NW_FAIL_IN_RADIO_ITF_PROC 无线侧建立eRAB超时或者失败，检 查ENB。 USN_MM_CTRL_PROC_CONFLI CT 流程未完成核心网收到了用户其它信 令流程，核心网侧处理新的信令流程； 需要抓取信令查看具体失败原因。 USN_MM_UDM_CAUSE_TIME_O UT HSS响应超时。排查Diameter链路。 USN_MM_UDM_CAUSE_UNK NOWN_EPS_SUBSCRIPTION 取鉴权集失败，检查用户是否为 废卡或签约错误 。 USN_MM_UDM_CAUSE_UNK NOWN_EPS_SUBSCRIPTION_ G

24、PRS_DATA 没有签约4G业务。 USN_MM_ACC_DNS_QUERY_FAIL 从GU TAU到E网络时,new MME通过 GUTI获得old S4 SGSN地址时，DNS 解析失败，检查DNS配置。 USN_MM_SM_CAUSE_BEARER_C ONTEXT_NOT_EXIST_OR_FOUND UE在旧侧MME上承载已被删除。 USN_MM_CAUSE_GTP_V1_CAUSE _MS_IS_GPRS_DETACHED UE在旧侧MME上已经被隐式分离了。 USN_MM_CSFB_VLR_NO_RSP VLR链路问题，排查TAILAI及LAIVLR 是否配置准确及是否存在链

25、路故障。 USN_MM_CSFB_VLR_RSP_FAIL 给VLR发送“Location Update Request” 消息，VLR返回“Location Update Reject”消息。 USN_MM_CTRL_WAIT_COMPLETE _TIMEOUT 旧侧MME等待新侧MME发送complete 消息，不影响指标。 用户原因核心网原因无线原因 性能管理体系 4G健康度体系及指标分析流程 优化工作成效 16 7月陕北MME06 TAU成功率较低，联合网优中心进行现场测试定位，解决榆林与山西交界 处TAU失败问题，MME6 TAU成功率从90.2%提升至96.5%。 案例一：链路异常

26、导致TAU承载建立失败 问题现象 陕西府谷和 山西保德边界处经常 发生TAU更新失败，失败原因主要为 #9 Identity not derived。 #10 10% #111 4% #15 ) 0% #40 37% #9 49% 1、联合山西进行抓包分析，从 山西MME失败跟踪消息看是create session resp 超时。 2、 SGW跟踪消息看Modify Bearer Request消息一直处于请求无 响应状态，在对端PGW侧无响应。 3、核查本地FW的4G Gn段， 防火墙已放开。 #9 Identity not derived代表 MME未在核心网中找到用户历史信息， 可能由

27、于陕西SGW与山西PGW创建承 载失败。 问题分析 问题定位优化效果 86 88 90 92 94 96 98 优化前优化后 MME06 TAU成功成功 率率 6.3% 4、核查FW上联CMNET省网汇聚交换机S9312-5、 S9312-6的路由配置正确，但观察发现S9312-5上联省网核 心的trunk链路中一条物理链路上的错包数量在增加，导致 物理链路质量下降，产生丢包，切换到备用链路解决。 指标异常 MME 6 TAU成功率低 问题定界 #9 Identity not derived 失败最多 场景复现 现场测试复现失败场 景，抓包 失败原因定位 陕西SGW与山西PGW 建立承载超时

28、KPI提升 MME 6 TAU成功率提升 解决措施 切换备用链路 17 8月陕南附着成功率下降，部分地区反馈4G无信号，通过CHR日志分析解决陕南附着失败 问题，成功率从75%回升至89%。 案例二：参数配置错误导致ATTACH失败 问题现象 陕南部分地区反映4G无法上网， 主要集中在新建Enodeb站点区域，失 败原因主要是USN_MM_CTRL_ CREAT_DFT_BR_RSP_FAIL。 统计 USN_SM_CAUSE_GTP_V2_CAUSE_SERVICE_DENI ED所有失败都来至一个TAC9165，查看现网配置中 HOSTFILE是否有TAC9165的配置，发现DNS配置中

29、TAC9165指向的SGW有误，HSINDEX应=1。 所有的PDN连接失败均来自IP为 223.103.11.50和223.103.11.49的SGW， 失败原因主要为以下3类。 问题分析 问题定位优化效果 14% 指标异常 MME1 附着成功率突降 问题定界 CREAT_DFT_BR_RSP_FA IL失败最多 筛选TOP站点 失败次数最多TAC 失败原因定位 DNS指向错误 KPI提升 MME1附着成功率提升 解决措施 修正DNS配置 75 89 70 75 80 85 90 95 优化前优化后 MME1 附着成附着成 功率功率 18 8月关中附着成功率下降严重，联合无线进行现场测试定位，解决关中MME5附着失败问题， 成功率从80.2%回升至94.3%。 案例