DNS吊死造成missing or unknown APN 批量投诉

DNS 吊死造成批量投诉分析 一 现象 在 5 月 5 日 11 点以后 嘉兴投诉量激增 开始出现批量用户投诉 因为嘉兴 IBS 服 务器未接 TD 数据 所以只能看到这些用户在 2G 网内的上网记录 通过 IBS 平台查询这 些投诉用户记录发现这些用户 11 点之前上网正常 在 11 点以后集中出现大量的 PDP 激 活失败 原因值返回 missing or unknown APN 27 查看用户 PDP 激活请求的 APN 全部都为 cmnet 用户信令如下图所示 5 月 5 日嘉兴全天共产生此类投诉工单共 19 单 二 问题分析 通过业务支撑平台查看这些投诉用户的 APN 签约信息 发现这些用户签约的 APN 正 常 并无遗漏掉 cmnet 结合用户之前存在使用 cmnet 进行 PDP 激活成功 且业务正 常 所以排除签约 APN 遗漏问题 通过 IBS 平台统计嘉兴 2G 网内 5 月 5 日 11 00 19 30 的 PDP 激活数据 与 5 月 4 日相同时间段内的数据进行对比 下表是各原因值用户数对比情况 拒绝原因拒绝原因 2014 5 42014 5 4 1111 00 19 3000 19 30 2014 5 52014 5 5 1111 00 19 3000 19 30增幅增幅 Time out11275877019 31 70 Requested service option not subscribed30395305860 63 Missing or unknown APN56562991014 87 Activation rejected by GGSN13917324 46 Activation rejected unspecified203139 31 53 User Aauthentication failed173288 24 Operator Determined Barring37133 33 Service option not supported220 00 Insufficient resources 1 Invalid mandatory information21 50 00 Protocol error unspecified110 00 Reactivation required 1 从上表可以看出 5 月 5 日 11 00 19 30 内 PDP 激活失败返回 Missing or unknown APN 的用户数比 5 月 4 日相同时间段内增加了 1014 87 统计各主要 APN 返回 Misssing or unknown APN 的情况 具体如下表 2014 5 42014 5 42014 5 52014 5 5 APNAPN 1111 00 19 3000 19 301111 00 19 3000 19 30 增幅增幅 CMNET21859542631 19 cmwap29532811 19 zjdl zj1171170 00 uninet3433 33 fetnet01330 00 vzwinternet 5 uniwap13200 00 从上表中可以看出 cmnet 激活的用户返回 Missing or unknown APN 的用户数 同一时间段内 5 月 5 日比 5 月 4 日增加了 2631 19 其他几个 APN 并无明显大幅度增 加现象 从此现象可以看出 此次造成批量投诉的原因是因为通过 cmnet 进行 PDP 激活时被 拒绝返回 Missing or unknown APN 造成的 统计该时段内这些用户的分布情况 如下表所示 SGSNSGSNSGSNSGSN IPIP2014 5 42014 5 42014 5 52014 5 5 SGSN2110 73 28 25148 SGSN2110 73 28 26127 SGSN2110 73 28 271917 SGSN2110 73 28 281916 SGSN2110 73 28 291917 SGSN2110 73 28 301718 SGSN2210 73 30 1913 SGSN2210 73 30 2811 SGSN2210 73 30 3811 SGSN2210 73 30 4914 SGSN2210 73 30 52016 SGSN2210 73 30 61614 SGSN2310 73 30 2513835 SGSN2310 73 30 2615815 SGSN2310 73 30 2714658 SGSN2310 73 30 2813662 SGSN2310 73 30 2911564 SGSN2310 73 30 3011545 SGSN2410 73 30 499883 SGSN2410 73 30 5013883 SGSN2410 73 30 5112732 SGSN2410 73 30 5210722 SGSN2410 73 30 5315609 SGSN2410 73 30 5415627 SGSN2910 73 22 10017605 SGSN2910 73 22 10113536 SGSN2910 73 22 10213553 SGSN2910 73 22 979831 SGSN2910 73 22 9811842 SGSN2910 73 22 9915590 总计 39912654 从表中可以看出 突增的这些用户集中在 SGSN23 SGSN24 和 SGSN29 下 而且 在这 3 个 SGSN 下的各个板卡上增幅大致相当 并未集中在个别板卡上 SGSN21 和 SGSN22 未见明显增长 统计这些用户的信息 发现这些用户绝大多数使用的都是 4G 卡 终端类型终端类型终端是否支持终端是否支持 4G4G 是否是否 4G4G 卡卡 是否开通是否开通 4G4G 业务业务 酷派 8720L是是否 三星 SM N9005否是是 苹果 IPHONE 5S 联通版 是是否 小米 MI 3 移动版 否是是 未知 是否 三星 GT N7105否是否 苹果 IPHONE 5S 联通版 是是否 苹果 IPHONE 5S 联通版 是是否 苹果 IPHONE 5S 港版 A1530 是是是 苹果 IPHONE 5S A1530 公开版 是是是 步步高 Y1否是否 苹果 IPHONE 5S 联通版 是是否 OPPOR8007 是是否 未知 是否 苹果 IPHONE 5S 联通版 是是是 苹果 IPHONE 5S 联通版 是是否 苹果 IPHONE 5S 联通版 是是是 苹果 iPhone 5S A1518 移动版 是是否 中兴 U202否否否 CC27 代表未知或缺少 APN 的错误 是 MS UE 在做 PDP 激活时的一种常见错误 具体来说有如下几种情况 1 MS 在做 PDP 激活的时候 会在上下文激活请求消息里携带请求的 APN 告知 网络侧自己想要访问的外部 PDN 代表什么 但 MS UE 可能没有在激活消息里携带请求的 APN 或未签约的 APN 造成网络侧也就是 SGSN GGSN 不知道用户想要访问哪个外部网 络 造成激活失败 2 MS 做激活的时候 携带了请求的 APN 但在 SGSN 做 APN 的 DNS 解析请求 的时候 DNS SERVER 上没有数据 不能返回正确的 GGSN IP 给 SGSN 或者 DNS SERVER 根本就没有响应 造成激活失败 所以通过分析用户的上网记录 各 APN 情况和用户分布情况 可以看出 用户之前 使用 cmnet 正常 11 点以后才出现此现象 且查看用户签约 APN 也正常 所以排除用户 签约 APN 问题 统计 cmnet 情况 该 APN 并没有全部返回错误 只是小部分用户出现 此类问题 而且也集中在个别 SGSN 上 所以排除 DNS SERVER 上没有该 APN 相关 GGSN 的数据的问题 所以初步判断为 DNS 服务器存在某些异常或 SGSN23 24 和 29 相连的 GGSN