WAP业务典型故障处理经验交流——广东移动

1、wap业务典型故障处理经验交流业务典型故障处理经验交流 中国移动广东公司中国移动广东公司 connect问题分析 手机串号问题分析 手机异常访问分析 数据库异常问题分析 手机串号问题分析 手机异常访问分析 数据库异常问题分析 connectconnect问题分析问题分析 大量用户投诉在不知情的情况下被订购某sp的业务，而 且在misc平台也发现该sp业务的访问量及用户数异常增高， 并且访问日志中没有发现用户的私网地址（x-forwarded-for 字段）。对于这种情况，初步判断是sp欺诈行为造成的。 connectconnect问题分析问题分析 q 用户否认定购业务。 q 订购用户无相关的g

2、prs流量。 q wap网关无订购用户相关的访问记录。 q misc平台有完整的访问日志，并且访问均来自wap网关。 采样点采样点2 2、wap内网交换机，该 采样点可以监控到手机向wap网 关以及wap网关去往misc的数据 包。 从各种现象来看，怀疑是sp通过某种方法伪造用户信息进行业务定购， 而这种定购行为需要通过wap网关（misc平台的访问日志表明，定购请求是来 自wap网关的）完成。基于以上考虑，应当在wap网关与ggsn连接侧及与cmnet 连接侧同时进行抓包，获取第一手信息以进行后续分析。 wapmisc cmnet 采样点采样点1 1、公网交换机，该 点可以监控到从wap网关

3、去 往misc的数据包。 1. 手机终端发起对misc平台“80”端口的connect请求。 2. wap网关收到用户请求后，与misc平台建立安全连接隧道。 3. 手机终端通过安全连接隧道向misc平台提交访问请求（wap网关 对安全连接隧道中的数据进行透明传递），请求中附带了伪造 的用户信息，如其他用户的手机号码，用户终端类型等。 4. misc平台接受用户请求并按正常流程进行处理。 spsp欺诈过程欺诈过程 wap论坛规范对http层的connect的定义： “http“http层的层的connectconnect信令是用于从终端通过信令是用于从终端通过wapwap网关建立安全的网关建立

4、安全的 tunneltunnel隧道连接到隧道连接到spsp，wapwap网关对于建立网关对于建立tunneltunnel连接后的终端请连接后的终端请 求不应做任何修改，应该透传。求不应做任何修改，应该透传。” sp正是利用了misc平台允许用户connect到“80”端口建立安全 连接隧道的漏洞进行欺诈活动。 wap网关网关 wap db misc 3、订购请求（含ip、 不含手机号码） 2、pdp激活成功，wap 网关将用户手机号码和 ip地址的对应关系存储 在数据库中。 5、wap网关发送用户的订购请 求（含手机号码&ip） 6 6、业务订购成功、业务订购成功 1、pdp激活（含手 机号

5、码&ip） 4、网关在数据库中根据ip地址查询用户手 机号码，对于信任的sp网站（设置在网关的 白名单中）将号码封装在http包头中进行发 送，对于不信任的sp站点将不发送手机号码 和用户的ua。misc是wap网关信任的一个 站点。 正常的业务访问流程 wap网关网关 wap db misc 6、订购请求（含ip& 他人手机号码） 8、 wap网关发送用户的订购请 求（含ip&他人手机号码） 9 9、业务订购成功、业务订购成功 1、pdp激活（含手 机号码&ip） 2、pdp激活成功，wap 网关将用户手机号码和 ip地址的对应关系存储 在数据库中。 7、由于手机已经和misc建立连接，网关

6、得 到的请求不再进行数据库的查询工作，直接 根据信任关系对消息进行转发。 3、到misc的 connect请求 4、 发送手机到misc的 connect请求 5、手机终端到misc之 间建立连接。 sp欺诈的业务访问流程 手机终端申请向misc平台的“80”端口建立 connect连接 wap网关透传用户 请求，连接建立。 手机终端通过安全连 接隧道向misc平台发 出访问请求。 访问请求中伪造其他 用户信息。 解决办法： 1. wap网关封堵到misc平台“80”端口的connect请求。 2. misc平台直接封堵用户终端发起的connect请求。 现网是采用第一种方案，即wap网关通过

7、加载禁止用户发起 到“80”端口的connect请求的补丁来实现漏洞的封堵。 诺基亚wap网关存在的新情况： 补丁加载一段时间后，诺基亚wap网关再次发现sp利用connect漏洞进行 欺诈活动，诺基亚wap网关的补丁并没有完全封堵sp欺诈行为。广东公 司根据掌握的情况，在广东省网二诺基亚wap网关实施了抓包。 1. 在wap网关 vpn侧防火墙用tcpdump抓包，获取手机用户与wap网关之间 交互的所有数据包。 2. 由于抓到的数据包较多（大约12g），个人笔记本无法打开，只能在 服务器上用tcpdump将数据包解析保存到文本文件中，然后在文件中搜 索关键字。 3. 用tcpdump从源数

8、据包中过滤相关的信息。 4. 对过滤后的信息进行分析。 标准的标准的connetconnet报文的报文的connect headerconnect header： 标准的http协议中描述header里面的host应该以name:value对存在 ，也就是说host后面应该有“:”，分隔主机ip地址。 spsp欺骗报文的欺骗报文的connect headerconnect header： sp欺骗的报文中，header里面的host后面没有“:”，与标准的 http协议规范不符。 q wap网关的封堵机制只考虑了标准http报文，这种非规范的 http connect报文绕过了wap网关的封堵

9、，顺利与misc平台 建立安全连结隧道。 q 诺基亚公司在分析sp欺诈报文的基础上提交了新的补丁，对 非规范的http connect报文均返回“500”错误，对规范的 http connect报文进行端口过滤判断。 经验总结： 1. 针对sp欺诈行为，要结合各方面信息定位问题所在。一般来说，应检查 misc系统话单，wap网关话单及sgsn的gprs话单。如果misc系统有来自 wap网关的话单，而wap网关及sgsn没有相应的话单，则应该首先考虑从 wap网关着手去收集信息。 2. 跟踪手段要完善。通常情况下，需要通过抓包获得足够的信息，以进行 分析、研究工作。有相应的工具进行抓包及分析是

10、最好的，如果没有， 只能是在现有条件找到合适的方法进行分析排查。 3. 分析过程要结合各系统的信息，考虑各种异常情况。 4. 问题解决后，做好后续工作，包括模拟测试、现网核查等。 connect问题分析 手机异常访问分析 数据库异常问题分析 手机串号问题分析手机串号问题分析 现象描述： 移动公司收到用户投诉，反映手机上wap出现串号问题。 所谓串号，就是a用户上网的时候，使用了b用户的号码。例 如户访问梦网网站，梦网网站看到的却是号码。 用户反映上手机邮箱显示的是其他手机号码，而不是自己 的手机号码。 维护人员检查wap网关的日志，也没有发现

11、相应的用户访 问记录。 用户产生了gprs流量。 在pdp激活以后，ggsn会将用户主叫号码和用户私网ip地址对应关系发送 给wap网关，保存在wap网关数据库中。 在用户访问过程中，wap网关根据用户私网ip地址从网关数据库中提取用 户主叫号码，附加在用户请求报文中发送给wap sp网站。 诺基亚wap网关内部处理机制 跟踪过程： 1. 采用moto e360手机（用户投诉手机）作为测试手机。 2. 测试号码采用测试apn进行测试。 3. 访问测试网页，测试网页具有显示用户主叫号码的功 能。 4. wap网关针对测试号码整个访问流程进行抓包分析。 串号现象是由于手机终端不规范而造成！串号现象

12、是由于手机终端不规范而造成！ 串号存在的客观条件：串号存在的客观条件： 市面上大量手机使用openwave浏览器，这个浏览器的特点是手机端固定使 用8502端口访问业务。moto e360手机同样使用openwave浏览器。 部分手机终端下线时没有发送disconnect信令。 moto e360手机在特定情况下（如频繁的上、下线），没有遵循标准信令。 ggsn ip地址重分配的时间间隔小于wap网关释放沉默会话的超时时间间隔。 wap网关负荷分担机制是根据源地址、源端口、目的地址和目的端口实施的。 wap网关节点服务器仅在会话连接建立时从数据库提取用户ip地址与手机号 码对应关系。 a用户（

13、使用 openwave浏览器） b用户（使用 moto e360） 节点服务器数据库 wap网关 wap网站 1 connect 2 3 4 connectreply 5 get 6 get with msisdn a 7 8 reply 9 disconnect 10 disconnectreply 11 connect 12 13 14 15 get 16 get with msisdn b 17 18 2）、12）：节点服务 器根据用户ip地址从数 据库获取用户主叫号码。 正常用户访问流程（a用户与b用户分配了同一个ip地址） a用户（使用 openwave浏览器） b用户（使用 mot

14、o e360） 节点服务器数据库 wap网关 wap网站 1 connect 2 3 4 connectreply 5 get 6 get with msisdn a 7 8 reply 9 get 10 get with msisdn a 11 12 2）节点服务器根据用户ip 地址从数据库获取用户主叫 号码。 a用户下线时候没有发送 disconnect信令，网关保持 着会话。 b用户上网后首先发送get信 令，由于此前会话信息仍保 留，wap网关认为仍然是a用 户在发送请求，因此wap网关 将a用户号码添加在请求包中 发送给网站。 串号情况下用户访问流程（a用户与b用户分配了同一个ip地

15、址） 解决办法 破坏串号发生的条件-ggsn调整ip重新分配时间间 隔，使得ip重新分配时间间隔大于wap网关会话超时时 间间隔。 connect问题分析 手机串号问题分析 数据库异常问题分析 手机访问异常分析手机访问异常分析 现象描述： 用户反映使用nokia n-gage qd/1.0 访问梦网页面出现乱码 现象,不能正常浏览。 q用户手机是水货手机。 q用户手机支持中文系统。 q访问梦网部分页面出现乱码，访问部分中文网站正常。 q访问乱码页面时，wap网关话单显示http返回码是“200”。 分析及定位： 1. 获取手机与wap网关的交互过程，与其他手机进行比较。 2. 获取手机访问梦网

16、网站的信息，包括手机与wap网关的交互 过程，wap网关与梦网网站的交互过程。 3. 分析在乱码情况下的数据包。 手机实际支持的编码格式和手机声明的编码格式不符！手机实际支持的编码格式和手机声明的编码格式不符！ utf-8utf-8编码编码 字符字符 utf-8utf-8编码编码 字符字符 手机终端声称支持utf-8编码方式。 wap网关返回utf-8编码的网页。 手机终端能正确识别部分utf-8编码的内容，但对其他utf- 8编码的内容不能识别，显示为乱码。 对于wap网关而言，内容已正确传递给手机终端，访问成功。 解决办法 建议客户使用通过正当途径购买的手机。 经验总结： 1. 处理用户投

17、诉时，要尽量模拟真实情况，如使用同样的 手机，模仿用户使用习惯等。 2. 对于手机访问异常的问题，首先检查手机对字符集的支 持情况。 3. 市面上手机终端五花八门，存在缺陷的手机终端也有不 少。在分析过程中必须对各种流程有清晰了解，才能准 确定位，及时发现问题。 4. 利用各种有利条件进行验证测试。 5. 不断积累知识，提高故障定位效率。 connect问题分析 手机串号问题分析 手机异常访问分析 数据库异常问题分析数据库异常问题分析 wap网关工作状态异常，业务处于半中断状态 q网关不响应ggsn发送过来的radius请求。 q节点服务器上处理请求/响应的线程缓存大小急剧增加。 q四层交换机

18、将所有节点服务器的radius模块、wap 1.x和wap 2.0模块标识为不可用。 分析及定位 按照wap业务应急预案进行故障排查 检查防火墙状态检查防火墙状态 vpn侧防火墙的数据包交互状态 防火墙工作状态 检查节点服务器状态检查节点服务器状态 节点服务器工作状态 数据包交互状态 检查数据库状态检查数据库状态 数据库服务器工作状态 cmnet侧防火墙的数据包交互状态 radius包交互状态 各模块工作状态 与数据库之间的数据包交互状态 数据库进程 q 磁带满导致数据库增量备份失败。 q 归档日志没有被删除，导致数据库的归档日志目录满。 q 数据库服务器cpu利用率达到100%，数据库服务器不再响应 网关发起的请求。 q 节点服务器与数据库之间的通讯中断，节点服务器挂