基于大数据的http端到端关联方法研究

1、成果上报申请书成果名称基于大数据的http端到端关联方法研究成果申报单位中国移动通信集团湖北有限公司成果承担部门/分公司中国移动通信集团湖北有限公司网管中心项目负责人姓名项目负责人联系电话和Email成果完成人完成人数量不超过10个成果一级领域IT成果二级领域IT应用成果三级领域大数据应用成果专业类别*所属专业部门*成果研究类别*省内评审结果*关键词索引（35个）应用投资0万兀（指别的省引入应用大致需要的投资金额）产品版权归属单位中国移动通信集团湖北有限公司对企业现有标准规范的符合度：（按填写说明5）1、中国移动统一 DPI设备技术规范；2、中国移动集中性能管理平台建设规范；成果来源：如果该成

2、果来源于集团研发计划内项目，请填写研发项目年度、项目名称及类型； 否则填写“计划外项目”（按填写说明6）计划外项目专利情况：如果该成果产出相关专利，且专利处于国知局专利申请审查阶段或已授权，请说明专利名称、类型、申请号、状态、是否海外申请等情况。（按填写说明7）未申请专利成果简介：随着网络带宽的增长与服务器性能的提高，http服务越来越侧重，WEB页面 越来越花哨。如新浪首页中包含40个站点和超300个请求。而无线网络空口资源是 有限的，需要考虑如何在有限的资源下提高 Http协议传输效率，以及Http用户的 上网体验。通过大数据平台发现,http不同版本对Http时延有很大的影响。在移动互联

3、网环境，时延过大，丢包不再是网络发生拥塞的必要条件，无线 网络由于切换、信号衰落、强干扰等引发的突发丢包和时延抖动都会引出网络拥塞， 都会被TCP误判，所以引入Http的端到端分析，与用户的 MR信息进行关联，能 够有效的避免这种误差，更为精确的定位这种无线环境问题引起的http问题。该篇主要通过研究 Http业务的端到端关联方法，利用机器学习，合成基于HTTP端到端分析的SDR数据，为分析HTTP端到端业务提供数据基础。省内试运行效果：本方案结合了大数据平台的数据，进行Http用户的深度挖掘，节省了路测优化 所带来的人力与物力开销，同时也避免数据单一对整体指标的准备性的影响，可以 更加准确的

4、发现问题，定位问题，解决问题，可以更好的提升问题处理效率，更好 的提升高速专网的运行能力与用户满意度。本方案针对挖掘出来的真实Http用户，结合现有大数据平台的数据、用户MR数据深度关联，实现相应的专题分析功能，完成Http业务各种网络问题原因分析，实现整个Http过程由用户到服务器的端到端分析。文章主体（3000字以上，可附在表格后）：根据成果研究类别，主体内容的要求有差异，具体要求见表格后的 填写说明8”。具体内容见表格后的附件。一、背景说明随着网络带宽以及服务性的提高，目前由IP网络承载的各种业务已经成为移动网络 的命脉，业务性能的好坏直接影响到客户感知，业务开展以及商业市场。目前语音方

5、面 有基于IMS分组域的VOLTE，数据方面主要是基于Http协议的各类服务，优化Http业 务质量，已经显得尤为重要了。目前 Http问题的定位相互推诿的现象非常普通，一种能 够精确分析定位，并且互相认可的分析方法已经迫在眉睫。HTTP协议（HyperText Transfer Protocol,超文本传输协议）是用于从 WWW 服务器 传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效，使网络传输减少。它 不仅保证计算机正确快速地传输超文本文档，还确定传输文档中的哪一部分，以及哪部分内容首先显示（如文本先于图形）等。HTTP是基于TCP协议之上的。在TCP/IP协议参 考模型的各层对

6、应的协议如下图，其中HTTP是应用层的协议。应用层TCP (Transmission Comrol Poiocol；传綸控制悔茨UDP (User Data Potocol > :用户数据协议IP (Internet Protocol):网络协谏ui物理戻ARP (Address Resolution Protocol) ： Milh解析沏说ICMP (Internet Control Message Protocol):同特闹粒制消圧协谅I HDLC (High Data Link Control .高级数据琏路控制SUP （串行线路IPJ.PPP：到点协誠触大或卑常删的荷那.在两个电

7、堺国，输蔑利毎 个比将图1.1 HTTP在TCP/IP协议中所在协议层因此，研究Http的端到端分析，有助于提高HTTP业务的定位能力手段，将其转换成系统性规则或提取成知识。本案例，将研究与用户面与控制面数据关系，以供后续HTTP分析平台的搭建，发生时得以有效且快速解决，并建立数据分析系统，当发生HTTP业务故障时，系统可自动产生处理建议，提醒工程师注意，及时跟进处理。、HTTP端到端关联方案2.1方案创新点目前现网中对HTTP业务的优化主要是分段式的优化手段，分为无线侧、核心网侧、业务网侧，目前优化手段主要是无线侧，对核心网、业务网优化的手段较少。传统的优 化分析手段，也容易造成各个分析环境

8、的脱节，单个问题的分析周期加长，导致问题的 整个生命周期过长，最后不了了之的情况居多，造成很大程度上的用户感知差情况。比如: 客户投诉微博刷新慢，王者荣耀游戏卡顿的情况等，这种情况下很多时候链路是正常的， 但是就是无法确认问题原因，这个问题目前普遍存在。如下图2.1-1所示：图2.1-1处理HTTP业务故障存在的问题从最终用户角变共机中御件Web网豁GCO 9X1 1D00 11 CO TZ&Q 门扣 Uf'S 15 03 16'QO V：CCHTTP端到端方案，就是想着力于解决目前这个问题，将整个HTTP业务流程无线侧 +用户面+控制面单个XDR的数据关联在一个SDR

9、(SUPER XDR)中，快速准备的定位某 个HTTP流程中的问题所在。2.2数据关联准备UE开机，通过小区选择和小区重选，驻留到合适的小区后，就进行” Initial EPS Attach 的过程。通过初始EPS附着，UE可以在EPS网络进行分组域服务的注册，同时，建立缺 省的EPS承载，进行用户数据的传输，就能够建立HTTP业务服务。(详情参见3GPP 23.401 和 29.274)图 2.2-1 LTE InitialAttach ( 3GPP23.401)过程接收到MME发送的Create Session Reques消息后，SGW会为S5接口上的GTP Tunnel 创建SGW侧的

10、标识，以供PGW侧发来的下行GTP Tunne使用。由于S5接口上既包含有UE 用户面的数据，也包含有控制面的数据。因此，需要建立GTP- C和GTP- U的Tunnel,SGW需要创建 SGW GTP-C的FTEID 和SGW GTP-U 的FTEID。SGW向PGW发送Create Session RequeS消息，包含上述 TEID信息和接收到MME的 Create Session Reques中 的部分信息。图2.2-2 Create Session Reques中包含用户IMSI以及MSISDF等用户信息Table 7,2.1-1: Information Elements in a

11、 Create Session Request'infonmatiomi elements ,Pf comment.IE Typ« in*-The IMSI shall be included in the message except for th e case: i- tf the UE is emergency attached and the UE is UICCIes5.slIMSI.0.,The IMS) shftil be Included inthemessugebut not used as 且n identifier- jf UE is emergency

12、 attached but IMSI is not: authenticated.!MSI SDN :c.For an E-UTRAN Initial Attach the IE shall be included when used on the Si 1 int&rfftce, il provided in the subscriptiori data, from the： HShFora POP Context Activation proc&durethe IE shall be included when used on ttieS4 interface, if pr

13、ovided in the subscription data from the HSS. sThe IE shall be included for the case of a. UE Requested PON Connectivity, it shun be included If the MME has It s to red for thM UE. It shall be included when used on the SS/SB interfaces if provided b/the MMlE/SGSN.-,MSI SDN ,D.iME Identity (MEI：J nc.

14、The MME shall include the ME Identity (MEI) IE:-If the UE is emergency attached and the UE 15 UlCCl»S ,MEI.0.,- If the UE iis emergency attached an d the IlMlSI iis not authenticated .1: cPGW为UE分配相应的IP地址，建立 UE到PDN之间的路由。返回 Create Session Response 给SGW。Create Session Respon的内容包括有：分配的 PDN Address,

15、以及PGW TEID C和PGW TEID U等。这样SGW和PGW之间的EPS Beare就建立起来了。SGW 分配SGW TEID-C 和SGW TEID U，并将他们包含在返回给 MME的Create Session Respons中。Create Session Respon中的GTP Header的TEID值取为 SGW在Create Session Request报上来的 SGW FTEID C。图2.2-3 Create Session Respons中包含链路的隧道标识Table 7.2.2-1: Infomiation Elements in a Create Session

16、 Response*1Inrormadon eleiTients,P.Condition f Comment .IE Type、InSn+1Cause.-See NOTE2. Cause07Change Reporting Action，C.This IE shall be included 山ith theappropriateActicnfield if the location Change Reporting mechanism is to be started orstoppedforthis subscnbef in the SGSN/ML1E.,Cha ng 已 Reportin

17、g Action，0iCSG Information ReportiriQ Action icoThis IE shall be included with the appropriate Actionrftht CSG Info reporting mechan ism is to be started or stopped forthis subscriber in the SGSN/MME.CSG Information Reporting Action0,Sender F-TEID for Control Plane *c.This IE shall be sent onthe S11

18、 /S4 interfaces. For the S5/SS interfaces it is not needed because its content wo uid be identical to the IE PGW S5JS8 F-T已DforPhtlP based interface orfor GTP based Control Plane interface.FhEI 口 .0,PGW S5/S5 F-TEID forPMIP bued interface or for GTP based Cantral Plane interface .c.PGW sh»llinc

19、ludethi5E on 55/58 during the Initial Attach. UE requested PDf J conn activity and PDP Context Activation procedure.If SGW receives this IE it shal I forward ttie IE toSGSN on S11/S4 interaface.This IE shall inciudetheTEiD in the GTP bued 55/S8 case and the GRE key inthe PT/flP based 25/S8 case. In

20、PMIP b詰亡d S5JS8 case, same IP address is used for both control plane andttieuser plane commurication.,F-TEID -1 HPDN Address Allocation (PAA) nThis IE shall be included f or the E-UTRAN initial attach, the PDP Gon tot Activation and the UE requested PDN connectivity.The P口忖 typ亡 field in the PAA sha

21、ll be set to IPv4, orlPv6 orlPv4v6 by thePGW.,Iftheis used for IPv4 address allocation. tiielPv4iddress field shall be set to 0.0.0.D.、PM,QTpAPN Restriction.,c.This IE shall be included in theE-UTRAN initial attach, PDP Can text Activation and UE Requested PDN connectivity procedures.This IE shall a

22、lso be included on S4/S11 dun ng the Gn/Gp SGSN to S4 SGSN/tlME RAU/TAU proceduresThis IE derotesthe restriction on the combi nation of types t A Cn i j£* JdL. X Cm i - 11 : L f CAPN Restriction,0.J3因此通过机器学习，我们能够掌握到用户的IMSI , MSISDN , IMEI,USER-IP ,SGW-IP, TEID通过学习回填的方法，能够在用户面和控制面通过统一的回填标识进行关 联，

23、关联的结果。因此只要通过回填IMSI , MSISDN , USER-IP, TEID就能够通过这些 唯一条件关联HTTP业务流程涉及到的ENODEB、MME、SGW、UEMR、空口。这样就 将HTTP涉及到用户面、控制面、无线环境全部关联起来，为整个HTTP的端到端分析提供了依据。2.3 HTTP 端到端关联方法通过上面的章节我们知道， HTTP 的端到端关联的关键在于用户号码的回填，确认回填规律以及 学习方法，是保证我们回填有效性和准确性重要的步骤。2.2.1 S11接口号码学习在 S11 接口中能够学习到 IMSI 、 IMEI 和 MSISDN ，能够与用户面数据相关联的用户标识有US

24、ER-IP、SGW-ID （以控制面 SGW-IP通过静态配置文件映射） +SGW-TEID （用户面）、SGW-TEID （用户面） +ENODEB-TEID （用户面）。2.2.2 USER-IP 与号码关联的学习用户的 USER-IP标识由PGW分配，在 S11接口的CreateSession类型XDR中与用户IMSI 绑定，由S11接口的DeleteSession类型XDR中解除与用户的绑定； 我们据此实现为收到CreateSession类型 XDR时创建IMSI与USER-IP关系，在收到DeleteSession时删除USER-IP与IMSI的对应关系； DeleteSession

25、-XDR中的USER-IP是无效的，其只能先通过 SGW-IP（控制面）+SGW-TEI（控 制面）索引与 USER-IP做关联，然后才能删除相应的USER-IP与IMSI的对应关系。2.2.3 SGW-ID+SGW-TEID （用户面）与号码关系的学习用户的SGW-ID+SGW-TEID（用户面）标识由 SGW分配，在S11接口的CreateSession类型XDR中与用户号码绑定，由S11接口的DeleteSession类型XDR触发解除与用户号码的绑定；我们据此实现为收到 CreateSession类型XDR时创建IMSI与SGW-ID+SGW-TEID（用户面） 的关系，在收到 Del

26、eteSession 时删除与 IMSI 的对应关系；CreateSession与DeleteSession-XDR中只有 SGW控制面的IP地址，而用户面 XDR中仅有 SGW用户面的IP地址，因此只能先通过一个静态配置文件将 SGW-IP（控制面）映射为一 个全局唯一的SGW-ID,然后才能建立起与用户面 XDR的SGW-IP的对应关系。由于 SGW-ID+SGW-TEI（用户面）只能通过 CreateSession与 IMSI 绑定，在 CreateSession 丢失的情况下，会导致用户面XDR以SGW-ID+SGW-TEID（用户面）回填号码失败；在DeleteSession丢失的情

27、况下会导致SGW-ID+SGW-TEI（用户面）与IMSI的对应关系被错误保存，如果第二个用户的CreateSession 和同时丢失的情况下，会导致把第一个用户的号码误回填给第二个用户。2.2.4 SGW-TEID （用户面） +ENODEB-TEID （用户面）与号码关系的学习用户的 SGW-TEID（用户面）+ENODEB-TEID（用户面）标识由 SGW和ENODEB分配，由 S11接口的CreateSession类型XDR与用户IMSI绑定，由ModifyBearer类型XDR更新与用 户号码的关联关系，由 S11接口的DeleteSession类型XDR中解除与用户号码的绑定； 我

28、们据此实现为收到CreateSession类型XDR时创建 IMSI与SGW-TEID（用户面）+ENODEB-TEID（用户面）的关系，在收到ModifyBearer时更新与IMSI的关系，在收到DeleteSession 时删除与 IMSI 的对应关系；ENODEB-TEID由 ENODEB分配，因此在用户做 X2和MME切换时，就会导致 SGW-TEI（用 户面）+ENODEB-TEID（用户面）更新，因此这个索引的变化频率相对比较频繁。由于SGW-TEID（用户面）+ENODEB-TEID（用户面）通过 CreateSession与IMSI绑定，并 且通过 ModifyBearer更新

29、，因此在 CreateSession或ModifyBearer丢失的情况下，都会导 致用户面XDR以SGW-TEID（用户面）+ENODEB-TEID（用户面）回填号码失败或误关联； 在DeleteSession丢失的情况下会导致 SGW-TEIED用户面）+ENODEB-TEID用户面）与IMSI 的对应关系被错误保存，如果第二个用户的CreateSession或ModifyBearer同时丢失的情况下，会导致把第一个用户的 IMSI 误回填给第二个用户。2.2.5 S1-U 接口 XDR 号码回填方法以USER-IP为索引查询号码每个S1-U接口 XDR都带有USER-IP USER-IP

30、由PGW分配，变化概率较小，因此优先用 USER-IP故为号码回填查询索引；每个S1-U接口 XDR都带有SGW-ID+SGW-TEID（用户面）信息，该信息由 SGW分配，变 化概率相对较小，在用 USER-IP回填失败的情况下，优先用 SGW-ID+SGW-TEID（用户面） 做为号码回填查询索引；每个S1-U接口 XDR都带有SGW-TEID（用户面）+ENODEB-TEID（用户面）信息，该信息 由SGW和ENODEB分配，在用户做 X2和MME切换时，就会导致 ENODEB-TEIED用户面） 更新，因此这个索引的变化频率相对比较频繁，在前面两个查询索引回填号码失败的情 况下，最后使

31、用 SGW-TEID（用户面）+ENODEB-TEID（用户面）做为号码回填查询索引；2.2.6 UU 接口 XDR 号码回填方法S1AP_ID为关联条件进行关联号码用户的要发送一条 eNB-UE-S1AP-ID 配，由S1MME接口的接收到建立连接之后， 向UE 索要 IMSI 信息， S1MME 通过 S6A 接口查询 UE 合法性后， 完成一条 S1AP 链路建立连 接。我们据此实现为收到 eNB-UE-S1AP-ID -类型XDR时创建IMSI与MME-S1APID （控制面） 的关系，在收到鉴权时更新与 IMSI 的关系，在收到鉴权拒绝时时删除与 IMSI 的对应关系； eNB-UE

32、-S1AP-ID 由UE申请，因此在用户做 X2和MME切换时，就会导致 S1AP-ID （更 新，因此这个索引的变化频率相对比较频繁。2.4 HTTP 端到端关联总结由于SGW-TEID（用户面） +ENODEB-TEID（用户面）通过 CreateSession与IMSI绑定，并且通过 ModifyBearer更新，因此在 CreateSession或ModifyBearer丢失的情况下，都会导致用户面XDR以SGW-TEID（用户面）+ENODEB-TEID（用户面）回填号码失败或误关联；在 DeleteSession丢失的情况 下会导致SGW-TEID（用户面）+ENODEB-TEIE

33、D用户面）与IMSI的对应关系被错误保存，如果第二个用 户的CreateSession或ModifyBearer同时丢失的情况下，会导致把第一个用户的IMSI误回填给第二个用户。目前HTTF已经完成整个端到端关联，相关关联率为80%左右，因此为了提高 HTTP端到端关联，还需要增加以下修正方法：USER-IP由 PGW分配和释放，但 DPI规范中S11接口 XDR中没有任何 PGW相关信息，因此 退而求其次的相对合理的解决办法是，给USER-IP加上SGW-TEID（用户面）做为限制；不能用SGW-ID做为限制的原因是，一个SGW会与多个PGW相连，每个PGW分配USER-IP的取值策略完全是

34、独立的，因此对一个SGW来说就可能同时存在多个相同的USER-IP用SGW-TEID做限制也并不完美，但SGW-TEID是 32位整数，其与同为 32位整数的USER-IP组合起来，在一定时间段内与另一个用户重复的概率很小，几乎可以忽略不计；这个改进方案的一个难点是，一个用户在同一时刻可能有多个用户面SGW-TEID这些SGW-TEID都需要与USER-IP组合成查询索引，增大了号码关系信息的数据量。 而为用户分配SGW-TEID的除了 CreateSession之外，还有 CreateBearer 和 UpdateBearer，对 SGW-TEID的释放有可能是通过 DeleteBearer

35、，也有可能是在最后仅通过一个DeleteSession统一全部释放，这就要求不但要跟踪关联每一个用户所有的，从CreateSession开始到DeleteSession结束之间的CreateBearer、UpdateBearer和DeleteBearer，还要将所有已分配未释放的 SGW-TEID都 保存起来，以备在 DeleteSession时删除全部的相关索引；同一个地市内USER-IP应该不会出现重复问题，只有从外地市切换过来的才可能出现，而这个比例应该是非常低的，因此我们建议先不忙着修改，还是先确认一下这种重复的概率有多高，如果非常低，那么我们不建议进行修改。三、后续开发本方法对接入网

36、的S1-U（主要是HTTP协议）,S1MMJEUEM接口消息，采用机器学习 的方法回填，合成基于HTTP端到端的SDR用于分析HTTP业务的时延、下载速率慢、HTTP 掉线等问题。由于该方案属于比较前瞻性方案，资金投入较少，目前实现平台一体化的 工程暂未开展，建议后期通过大数据平台，建成集成的，可视化，易操作的HTTP端到端优化分析平台。后续应用平台实现基于HTTP业务基于不同维度的KPI指标分析呈现，维度可以包括CELL ENDODMME SGW IMEI等多个终端的页面请示成功率， HTTP下载速率，HTTP时延，视频业务、即时通信业务等进行专项分析。四、应用价值社会价值：充分利用可轻松获取的各接口数据，降低一线员工劳动强