绿网-基于DPI技术的大数据应用武汉绿网

1、基于基于DPI技术的大数据应用技术的大数据应用武汉绿色网络信息服务有限责任公武汉绿色网络信息服务有限责任公司司2016/4/6 DPI技术原理介绍技术原理介绍 基于DPI技术的大数据应用目录目录3DPI原理介绍原理介绍DPIDPI说明说明应用层网络设备应用层网络设备 DPI除了对4层以下的基础信息进 行分析外，还增加了应用层分析， 识别各种应用及其内容。 DPI通过RADIUS属性和信令属性 及IP地址来识别用户，通过“包分 析”和“流分析”来识别应用， 将其进行组合，识别用户行为并 根据策略进行控制的重要技术。 DPI(Deep Packet Inspection)深度包检 测技术，是一种基

2、于应用层的流量检测和 控制技术。DPI价值体现价值体现 DPI系统应该作为网络运营商进行IP业务流量监控的一种 辅助手段，其主要目的是为实现服务差异化、计费多样化、 营销精细化以及为部分增值业务提供技术支持，同时也是面向大数据方向的信息采集系统。DPI原理-特征码检测2016/4/6L7按照特征字符识别报文间的逻辑关系L2-L4Get报文（字符长A个字节）http回应报文（字符长3A）按照协议指纹FIN/PSH/URG关闭的TCP端口ACK=初始值+1打印机服务 ACK=初始值其他服务信令分析类信令分析类DPI整合方案整合方案 信令分析DPI功能简述 主要对信令进行采集解析，生成信令XDR话单

3、提供给上层业务系统InterneteNodeBP-GWS-GWSAE-GWS8 GTP-CS8 GTP-USGIS1-UMMES1-MMEHSSS6aS11ePCFA10/A11HS-GWS2aRxGxGxc分流器数据解析和存储镜像/复制接口FTP接口实时接口其他系统手机恶意软件监控系统信令分析系统 现网部署位置3G信令分析DPI设备主要部署在Gn/Gb口等位置；4G网络部署在UU、X2、S1-MME、S6a和SGs等位置。上网日志留存系统网络状态分析系统数据采集点XDR话单样本 信令XDR摘录2016/4/6序号字段名字段类型字段长度说明1Interfaceunsigned byte11：G

4、n 2：reserve 3：IuPS4：Gb2IMSIstring15用户IMSI（TBCD编码）3IMEIstring16终端IMEI（TBCD编码）4MSISDNstring24用户号码5USER_IPunsigendInt4用户IP地址6LACint4LAC7RACint4RAC8CIDint4CI（或者SAC，ECI）9SGSN_C_IPunsigendInt4SGSN信令面IP10SGSN_U_IPunsigendInt4SGSN用户面IP11GGSN_C_IPunsigendInt4GGSN信令面IP12GGSN_U_IPunsigendInt4GGSN用户面IP13RATstri

5、ng321 UTRAN0-未携带2 GERAN3 WLAN4 GAN5 HSPA Evolution6 EUTRAN14APNstring32XDR话单样本 HTTP XDR规范摘录：45HOSTchar64全F46URIchar128全F47X-Online-Hostchar128全F48User-Agentchar64全F49HTTP_content_typechar64全FHTTP的内容是文字还是图片、视频、应用等50refer_URIchar128全F参考URI51Cookie字段char64全F协议中Cookie字段52Content-Length字段unsignedbyte40协议

6、中Content-Length字段53目标行为unsignedbyte1全F目标行为，0：会话是用户主动点击的页面；1站点目标而产Th的页面。54wtp中断类型unsignedbyte1WTP层的失败类型55wtp中断原因unsignedbyte1WTP层失败原因56titlechar256全F在上网内容里解析57key wordchar256全F在上网内容里解析58charge_IDunsignedInt20计费信息 DPI技术原理介绍 基于基于DPI技术的大数据应用技术的大数据应用目录目录关系链数据构建 对自然人在网络行为中提取和关联 帮助构建基于自然人的网络唯一ID 帮助精确追踪自然人的

7、网络行为淘宝腾讯 百度基于关系链数据的应用有效区分自然人，保证画像结果精确。跨屏打通，PC, Pad, 手机上完整关联用户画像用户画像基于自然人的数据更有效支撑风控模型计算对催收业务可以支持恶意欠款用户位置查找征信精准营销应用用户画像 通过自然人ID标识用户 通过APP协议识别标识 用户兴趣点 通过URL知识库标识用 户兴趣点 通过搜索关键字标识用户兴趣点基于画像属性反查用户 输入用户使用APP属性 反查用户群 输入用户搜索兴趣属性反查用户群 输入用户位置属性反查 用户群用户触达 通过运营商外呼平台接触用户 通过运营商信息推送平 台接触用户咨询报告类应用人流/选址数据分析 通过信令数据积累人流 统计信息 给出指定位置的人群画像信息竞品分析 报告和分析同类APP的 使用情况 报告和分析同类内容网 站的使用情况舆情分析 分析URL中的详细内容 追踪论坛中用户的发布 内容和用户画像关于数据质量的话题 数据质量是大数据运营的核心竞争力数据质量是大数据运营的核心竞争力 如何定义和度量数据质量？ 用户话单的信令关联率 （唯一ID的覆盖率） 用户流量的覆盖率 （DPI链路覆盖率） 用户上行流量还是上下行流量的同时数据提取 （同源同宿问题） 能够提取