4.1 统一DPI成果发布.pptx

中国移动统一dpi整体规划 研究院2015年1月 目录 一 什么是dpidpi的概念dpi协议解析层次逻辑功能网络连接方式二 现状和问题三 统一dpi规划四 相应管理机制建设 dpi deeppacketinspection 的概念 dpi功能是对业务流量的分析统计 dpi深度解析数据包7层内容 是对互联网协议和数据进行分析和管控的设备 dpi广泛用于多种业务和流量分析系统 完成流量识别与处理的第一步 优化资源配置 如 流控系统pcc 创造业务价值 如 内容计费web p2pcache 保障信息安全 如 流量清洗不良信息检测僵木蠕防护 分析与监测 如 gn流量分析idc流量流向分析日志留存系统 dpi设备 数据包 数据包 是对用户行为的挖掘梳理 是对不良信息的监测管控 是对非法业务的发现整治 是对智能管道的数据支撑 dpi的协议层次 交换机 路由器 应用层 表示层 会话层 传输层 网络层 数据链路层 物理层 dpi 网络接口层 网络层 传输层 应用层 tcp ip4层模型 osi7层模型 dpi对报文所有层次的内容进行解析 尤其是4 7层的信息处理各数据包四层以上的信息差异性多变性显著 其处理和分析方法没有标准可循 源 目的mac地址 源 目的ip地址 源 目的tcp udp端口号 urlmsisdndns 路由器 交换机 只根据二三层的源 目的地址做数据包交换与转发 不涉及三层以上协议的处理 对数据包承载的应用协议与内容透明 dpi设备 增强4 7层协议的处理能力 按照预先定义的手段对高层信息进行解析和识别 并按需对数据流进行干预 dpi的逻辑功能 dpi设备没有通用标准 由厂家自行开发实现 设备形态 技术各异 总体上可分为识别 过滤 日志 统计 控制几个逻辑功能 识别 统计 过滤 丢弃 控制 日志 dpi设备逻辑功能 原始报文镜像 日志 xdr 统计数据 规则 特征库 过滤dns报文并镜像 丢弃p2p流量 统计各类业务占比 dns25 http42 p2p33 dns请求 http浏览 806kbp2p下载 top5000englishwords 500kb 识别 根据特征库对流量进行业务识别 如识别流量为微信 支付宝等 过滤 根据规则进行流量镜像 转发 如将dns报文过滤给webcache 日志 记录识别结果 形成日志 xdr 如上网日志留存 统计 对流量行为进行统计 如流量流向 业务占比等 控制 对特定流量进行阻断 限速等控制 如p2p限速 不良信息管控 dpi的设备形态 目前业界dpi设备主要有三种形态 网内厂家共23家 dpi设备可以串接或并接在网络链路中 一般来讲 需要控制功能选择串接方式 着重分析功能选择并接方式 可靠性高 对现网业务无任何影响控制能力中 通过发干扰包间接控制设备性能要求中 可以适度缓存流量进行识别 没有转发需求 可靠性较高 若dpi发生故障 利用by pass器件切换到光路直通控制能力强 能控制所有可识别流量设备性能要求高 需能在识别基础上线速转发 机框 板卡式设备 盒式集成硬件设备 通用服务器 软件实现 典型厂家 华为 典型厂家 宽广 典型厂家 绿网 目录 一 什么是dpi二 现状和问题dpi全网现状问题一 重复采 重复存 重复开发问题二 数据格式不一致问题三 无法形成全量数据的全视景问题四 整体依赖厂家三 统一dpi规划四 相应管理机制建设 dpi全网现状 全网存在35种应用系统 31种428套dpi 1 数据业务监测与分析 信令监测 移动用户业务分析 15省 2 数据业务分析 移动用户业务分析 8省 3 信令检测及投诉 信令监测 5省 4 手机防病毒 病毒检测 31省 5 gn流量控制 流控 1省 1 省网出口流控 流量流向分析与特定流量控制 24省 2 p2pcache 缓存p2p类内容 8省 3 webcache 缓存web类内容 5省 4 异常流量清洗 清洗异常流量 10省 5 非法voip 发现 封堵非法voip网关 3省 1 idc流量流向监控分析 分析访问idc的流量流向及业务组成 9省 2 不良信息 检测网页 邮件等应用中的不良信息 31省 3 idc流量流向监控分析及业务分析 分析访问idc的流量流向及业务组成 6省 4 异常流量清洗 清洗idc异常流量 1省 5 idc isp信息安全管理系统 日志留存及不良信息监控 31省 1 webcache 缓存web类内容2 非法voip 发现 封堵非法voip网关3 不良信息 检测网页 邮件等应用中的不良信息4 异常流量清洗 清洗异常流量5 僵木蠕 分析上网病毒内容6 网间流控 流量流向分析与特定流量控制7 域名管控 对不合法的网络访问进行控制 ps侧 iu gb gn ggsn gi idc 省网出口 骨干网间出口 6 上网日志留存 用户上网记录 31省 33套 7 不良信息 检测网页 邮件等应用中的不良信息 31省 8 pcc 用户粒度的差异化计费与流量控制 31省 9 综合网关 信息前传和增值服务等 3省 10 gi流量控制 流控 4省 11 数据业务分析系统 自有业务监测 31省 1 省网网间流控 流量流向分析与特定流量控制 29省 2 非法voip 发现 封堵非法voip网关 29省 3 不良信息 检测网页 邮件等应用中的不良信息 29省 4 p2pcache 缓存p2p类内容 4省 5 webcache 缓存web类内容 2省 省网网间出口 异常流量清洗 不良信息 僵木蠕 数据业务监测与分析 网间流控 非法voip 信令检测及投诉 手机防病毒 数据业务分析 不良信息 idc流量流向监控分析 异常流量清洗 pcrf 骨干网 webcache dpi pcc 不良信息 idc 省网出口 sgsn 上网日志留存 ggsn internet其它运营商 省网 第三方网络 综合网关 gn流量控制 域名管控 gi流量控制 异常流量清洗 非法voip p2pcache webcache idc流量流向与业务分析 省网网间出口 骨干网间出口 ps侧 城域网 城域网出口 wlan日志留存 城域出口流控 各类自有业务平台 数据业务分析系统 1 wlan日志留存 wlan私网地址用户的日志记录 31省 2 城域出口流控 流量分析与控制 4省 城域网出口 信息安全管理 注 dpi套数按机房个数统计 问题一 重复采 重复存 重复开发 重复采dpi系统烟囱式部署 存在多点建设dpi位置重复 同位置建设多套dpi功能重复的现象 a省 gn部署4套dpi设备 6套应用系统 sgsn ggsn 数据业务监测与分析 信令检测及投诉 手机防病毒 流量业务运营支撑 上网日志留存 流量监控 重复存dpi采集的各类数据在不同应用系统 各省 集团中重复存储 重复开发同类应用各省重复开发 如省网出口 idc出口的数据分析应用 采集跟随流量扩容 2014单年新增流量覆盖一遍约投资6亿元 若不能统一规划 dpi采集投资将是n 6亿元 日志留存系统2个月 性能管理系统2个月 部分省经分3个月 集中化经分系统3个月 sgsn ggsn b域 o域重复存储移动网dpi的xdr数据 同一份日志数据存储三遍 由于同种应用重复开发 全国35种应用的实际应用个数为n 35个 省 集团 如省网出口的异常流量清洗系统 10省部署 共7个厂家 相当于1个应用重复开发7 10遍 省网 骨干网 异常流量清洗 a省 厂家1 省网 骨干网 异常流量清洗 b省 厂家1 省网 骨干网 异常流量清洗 x省 厂家n 问题二 数据格式不一致 各话各说 不同厂家不一致不同厂家实现方式不同 导致数据呈现未遵循统一格式 以业务划分方式为例 不同厂家识别的业务命名 定义 数量不同 不同系统数据基础不一致 sgsn ggsn 业支 按内容分类 打用户标签 网络 按应用分类 支撑运维 粒度不一 归属不一 不同位置不一致不同位置数据格式 tlv 缺乏统一规划 难以关联 无法端到端分析 t type 类型l length 长度v value 内容 不同系统数据在各层面均无法达成一致 以移动用户使用微信业务为例 gn口得到信息如下 省网出口得到信息如下 两位置得到的结果不完全对应 无法完成端到端分析 问题三 无法形成全量数据的全视景 不充分体现价值 各域 各系统数据采集 存储 处理 应用纵向绑定 大小烟囱林立 无法端到端呈现全局数据 难以发挥大数据价值 m域系统 经分系统 日志留存系统 信令监测系统 b域系统 o域系统 网管 crm boss 基地平台 erp b o m三大域缺乏全视景全网数据分散b o m三大支撑系统和各基地业务系统中 难以跨域关联 wlan日志留存 省网出口 idc出口 移动上网日志留存 gn等 难以形成手机用户上网的完整视图 同一域内各系统缺乏全视景o域内系统多个采集点相关数据存储与分析独立 如gn与wlan日志系统 问题四 整体依赖厂家 无法形成需求的自我感知及能力的自我培养 需求感知依赖 识别能力依赖 dpi的识别分析依赖厂家 造成不直接掌握网络状况 无法及时感知新需求并快速应对 dpi的识别能力依赖厂家 分析准确性和一致性难以保证 自身缺乏统一识别能力 识别统计依赖厂家 某省p2p流量 华为识别占比64 7 宽广识别占比42 6 识别种类依赖厂家 如宽广193子业务 中创549子业务识别粒度依赖厂家 子业务识别的精细程度有差别 如对于微信流量 个别厂家只能识别为http 个别厂家可进一步区分文本消息 语音对讲等细分流量 案例1 手机qq用户达3千万 并导致网络资源拥塞之后才开始进行相关分析和技术攻关案例2 手机病毒传播用户上万 并产生大量投诉之后才开始进行有针对性的处理 缺乏需求感知 问题积累 集中爆发 事后补救 慢人一步 缺乏自身识别 各说各话 真伪难辨 无法对比 难以整合 目录 一 什么是dpi二 现状和问题三 统一dpi规划1 统一采集2 统一格式3 统一存储4 灵活应用四 相应管理机制建设 同一个点上采用一套统一dpi设备为多套应用系统提供数据 实现dpi复用统一dpi需要满足多种应用系统的识别需求 根据不同复用方式 应用系统可按需保留部分分析功能 1 统一采集 全网统一为一种dpi设备 在五个位置上建设全网采用同一种统一dpi设备 设备功能覆盖不同位置的采集需求根据不同位置的不同流量特性 全网建议设置5个dpi采集点 s1 gn口 idc出口 省网出口 省网网间出口 骨干网间出口 五个点之外的其余节点位置原则上不允许设置新的dpi 用户识别 黑白名单用户控制 业务识别 病毒 攻击识别 指定报文过滤并镜像输出 标准格式xdr生成输出 不良信息阻断 p2p限速 识别 过滤 日志 控制 统计 kpi报表统计 流量流向统计 网站 用户topn排名 统一dpi设备包含五个采集点所需的全部功能 pcrf 骨干网 dpi idc 省网出口 s1 gn口 internet其它运营商 省网 骨干网间出口 第三方网络 省网网间出口 注 s1 gn口需要从相关信令系统中获取码号 位置等信息进行回填 对于dpi七层识别的全部结果 实现类型 type 长度 length 值 value 全字段的统一和对齐 2 统一格式 dpi 数据流 dpi设备实现细粒度的业务标识统一 字段 t l 统一 取值 v 统一 统一数据标准 达到书同文 车同轨 话同说规范dpi输出日志的格式和内容 tlv 在各采集点 各厂家 各分析系统之间形成通用语言 奠定大数据端到端分析的基础 dpi统一完成业务标识 各系统按需进行大类划分 3 统一存储 dpi数据集中存储 构画全网大数据视景dpi产生的xdr全部在大数据中心集中存储取消xdr数据在各省 各系统 各采集点的分别存储对于省公司需要实时 本地特色强的相关原始报文 可以留在本省短期存 1 3天 并开发相应应用 生产系统 集中 本地 dpi数据处理层 dpi本地存储 短期存储 故障分析 信令还原 xdr pcrf 骨干网 dpi idc出口 省网出口 s1 gn internet其它运营商 省网 骨干网间出口 第三方网络 省网网间出口 采集层 信令原始报文 xdr dpi统一是大数据实施的基础 大数据将进一步解决dpi数据应用等问题 大数据采集机 dpi日志关联 4 灵活应用 统一处理 各取所需建立统一的企业级大数据中心 进行数据标准化预处理后 按需为需求方提供三种服务daas 提供原始材料 预处理后的数据 需求方的数据集市获取并进一步处理数据 开发应用 paas 提供工具 olap 挖掘等 和资源 包括计算 数据 需求方在大数据中心利用工具处理数据 并获取应用结果 saas 提供成品 主题分析 直接为需求方提供完整的应用和展示 需求方直接通过portal访问 数据文件即席查询固定报表等 统计挖掘多维分析等 主题分析等 daas服务 paas服务 saas服务 目录 一 什么是dpi二 现状和问题三 统一dpi规划四 相应管理机制建设dpi的动态管理问题大数据的集中管理问题 dpi的动态管理问题 1 建立专业 专职识别队伍 2 规范特征库管理流程 建立专业专职分析团队 研发流量特征库 可由集团相关部门 省公司 研究院组成建立对特征库有效性进行测试评估的机制 团队自建 特征自研 效果自查dpi管理由电信模