TMA介绍资料PPT课件

TMA宽带网络流量监控产品 北京宽广电信高技术发展有限公司 宽广电信KUANGUANG 2 宽带网络运营机遇和挑战 中国宽带市场迅速扩大 网民数目保持多年高速增长 其中大部分都是宽带用户宽带应用逐渐丰富 多样化的全媒体 互动性 高附加值业务成为网络热门 更多的新型业务及应用还在不断涌现宽带网络市场氛围已经成熟 在可预见的将来 国内宽带运营市场的用户和业务都将进入一个持续发展的黄金时期面临转型压力的主流运营商愈加重视提高数据业务收入 而宽带网络经营正是数据业务增收的重点 3 宽带网络运营机遇和挑战 宽带用户争夺日趋激烈 如何在发展新用户的同时 尽量减少已有客户的流失 带宽扩容压力始终存在 如何挖掘现有网络资源潜力 发挥更大效益 网络业务纷繁复杂 如何拓展高价值业务 有效抑止低效垃圾业务流量 运营商面临转型压力 如何实现宽带领域的精细化运营 推出新的业务亮点 4 解决途径 5 6 宽广的产品线 用户行为分析系统用户业务流量控制系统非法VoIP监控系统基于xFlow的流量监测系统应用层流量监测探针系统二层流量监测探针系统 7 宽广产品线 通用硬件平台 所有产品线共用硬件处理平台基于高速芯片处理 实现对报文的解封装 协议识别 业务识别和用户识别提供从FE GE 2 5G 10G的线速双向流量监测 控制能力通过更换芯片程序及嵌入式软件 可以实现不同产品的功能互换 8 硬件体系结构 9 硬件体系 功能模块A 依据五元组或其扩展 深度报文观测所定义的业务 或者用户帐号等进行的流分类和流汇聚 对于这些流的转发或丢弃 流量控制 内容替换 首部截取 指定参量的统计功能模块B 流转发要求远小于功能模块A 可以提供更复杂 精细的统计分析能力 比如流的分类和汇聚 基于连接的流量统计等MPU模块 接口于硬件平台的外部网络 执行复杂而不适宜在硬件系统完成的功能 比如数据存储 WebGUI等 10 硬件处理的优势 11 硬件处理的优势 高速信息被送到一片超大规模的高速集成电路后 它被立即复制为若干个所有需要的分析处理在硬件中多路并行分布地进行硬件电路以最基本的处理单元为单位 按照预先设定的程序组合成各种专门的处理功能 以最为经济有效的方式完成处理工作可以达到纯软件方式不能企及的效率和性能系统还能提供无损透传 镜像等基于CPU体系无法实现的功能 12 系统体系 13 业务识别 突破传统的 协议 端口号 识别业务限制利用内置在设备中的智能业务识别模块 综合协议指纹和连接特性等多种检测技术 逐报文进行协议特征识别和流量分析 可以识别当前主流的应用协议和业务 包括使用可变端口的P2P及VoIP业务采用专用硬件引擎可以对报文进行多业务并行识别 系统性能不因识别业务的种类数目增加而下降智能业务识别模块支持在线远程升级 以支持对新出现业务的识别 14 P2P业务识别技术 同时采用多种协议指纹对不同的P2P协议进行识别和标识对于已知特征的P2P连接创建硬件缓存表项对整个连接进行标识记录特定的P2PID对于某类P2P协议 在整个通信过程持续匹配和收集一种或多种协议特征不断进行特征累积后续的报文可继承原有连接特征或加强特征 15 P2P业务识别 可以识别BT eMule POCO DC Kugoo等十余种国内外常用的P2P下载应用支持识别BT等主流协议的最新版本 如BitComet BitSpirit等在TCP受阻后转为UDP传输支持识别PPLive PPStream QQLive等基于P2P技术的流媒体应用也支持迅雷等常用的P2SP下载协议识别 16 VoIP业务识别 标准的H323 SIP MGCP协议基于标准协议进行简单修改 变换的 私有协议 对标准协议进行加密的私有协议 破解加密算法 如世纪网通 GBPhone RedVIP COSCOM等十余种识别QQ MSN Yahoo等即时通信软件的语音通信过程 17 Skype识别 通过流量模式和通信特征来识别强加密的Skype SkypeOut信令及媒体通信的内容指纹呼叫信令报文的交互规律报文长度分布和比例 报文速率和字节速率语音编码规律 连接级的特征匹配度对Skype的识别能力Skype SkypeOut的媒体通话详单SkypeOut网外网关列表 18 VoIP封堵 支持从信令和媒体通话两个层面进行封堵发送伪造甚至丢弃特定的信令报文实现信令层面的封堵对媒体通话报文实行按比例丢弃 随机替换 增加时延等方式劣化其通话语音质量支持设定黑白名单和各种封堵策略 19 流量控制技术 提供GE 2 5G和10G线速转发和业务管控能力采用标准令牌漏桶算法实现对流量精确控制处理能力不依赖于用户 业务和策略的复杂度全硬件架构设计 无条件实现线速业务识别和控制在用户 业务 策略满配置方式下不影响处理性能在满带宽 满流控策略情况下 报文转发时延小于50us 20 宽带用户行为分析系统介绍 21 用户行为分析的重要性 用户行为分析和基于用户行为分析的营销活动已经成为很多传统消费行业提高收益的重要手段在传统电信网络中用户行为分析起到很大作用与传统的单一业务电信网络相比 目前宽带网更象一个纷繁复杂的集市 对于集市的经营者来说 了解用户行为规律有助于更好地经营集市 需要了解集市上的买卖双方 即用户和业务 运营商具有的独特优势 22 用户行为分析的意义 积累运营商独占的信息资源深入了解宽带用户的消费行为 掌握其内在规律了解用户和市场的差异和变化 促进有针对性地面向用户的市场营销活动为自身产品的定位和销售策略制订提供足够信息为保持良好的运营环境提供足够的信息 为用户业务流量管控提供科学依据向各类不同的客户提供适宜的增值服务 23 应用举例 发现特定类型的用户上网习惯 进行针对性营销 例如 针对特定客户群 发现上网喜好 针对特定喜好用户的资费产品设计针对某种喜好的用户 推销相关电信业务 例如 针对影视爱好者 推销IPTV 开发针对用户的网络或信息服务 以及改进电信产品内容的设计针对特定用户的广告投放对于网页拥有者 特别是广告 提供用户分析 使其对于网页效果有明确的印象 24 宽带用户行为分析体系的建立 建立宽带用户行为分析的基础设施长期积累数据进行用户行为分析实践 推出现实的具体应用并积累经验扩充和完善基础设施形成业务流程 25 TMA用户行为分析系统逻辑结构 26 TMA用户行为分析系统典型部署 汇聚交换机或BRAS的上联链路采用镜像或分光方式接入采集设备的重点部署vs全面部署 27 系统基本采集能力 链路级整体流量采集基于帐号或固定IP地址集合的用户识别多种网络业务识别基于用户分类的特征提取用户使用业务的深入分析异常流量的发现用户上网喜好的提取和分析重点网站的深入分析 28 全局分析能力 链路级的总体流量分析总流量 封装类型 协议类型TOS TCPFlag ICMPCode TTL异常流量 Option 分片 疑似扫描 29 用户上网基本情况分析 灵活定义动态用户的类型用户在线数 在线率 上下线次数 在线时长 流量 报长分布用户业务分布访问的地域和运营商分布排名对比分析和历史趋势分析 30 用户分布分析 按照特征的用户数区间分布分析各区间的用户列表收发流量 收发报文数 带宽占用率收发流量比和报文比上线次数 在线时长 31 用户活跃度分析 活跃度特征 流量 上网次数 在线时长活跃度的二维分类 流量 上网次数流量 在线时长上网次数 在线时长 32 动态用户登录分析 登录次数的趋势分析和时间分布成功登录和失败登录的次数及比例关系识别或异常登录的分析和定位失败原因 帐号 MAC 33 逐用户分析 流量 报长分布上下线记录和在线时长 时段使用的业务种类TOSTTL TCPSeqnum TCPWindowsize异常流量 非法TCPFlag Option 分片 特征字串匹配用户质量分析 34 业务分析 业务流量比例及趋势Port ICMP流量比例及趋势网内业务分析提供业务的用户网外的业务使用者分布质量分析网外业务分析服务器地域分布网内用户分析质量分析 35 深入业务分析 WEB业务 用户上网喜好的分析 流量不能完全说明问题 结合点击次数 频道等附加信息重点站点 频道的深入分析 比如了解互联星空具体内容的用户群 定位忠实用户网站访问量排名分析 36 深入业务分析 搜索关键字分析 发现当前网络热点 比如当前流行时尚 热门话题 把握不同网民群体关注热点发现当前热门搜索的电影视频 流行歌曲 Flash和博客等具体内容 充实运营商的服务内容 比如增加相应的IPTV节目 下载手机铃音 MP3曲目等和网页浏览一样 用户的搜索关键字也能体现其专注点 可以结合其他特征信息找到有特定喜好的用户群体 比如运营商想推广IPTV业务 就可以通过这些条件来找到喜欢影视内容的潜在用户群体 1 通过P2P大量下载影视文件 2 在线时间比较长 也喜欢在线观看流媒体节目 3 经常搜索热门影视节目 37 用户特征属性分析 系统将用户的上网行为抽象提取为活跃度 使用业务个数 业务质量 异常流量情况 上网喜好等几类特征每类特征包括具体多个特征属性 如活跃度包括上下行流量 上网次数 上网时长等具体属性系统支持依据上述特征属性 建立综合数据分析模型 从多个方面的上网行为来刻画某类用户特征 准确找出目标用户群比如可以用 上网活跃度高 使用业务单一 IM业务使用频繁 的条件找出上网主要是使用IM的用户群 38 分析数据导出和报表 所有分析界面可以导出为Excel数据文件系统按运营商习惯 预制了涵盖基本需求的报表模板可定制多种类型的报表支持定期自动生成报表 39 40 41 42 43 用户业务流量控制系统介绍 44 SSS系统 TMA SSS系统是专门的用户流量控制系统串接在城域网 省网核心链路或出口链路自2005年起已经大规模商用支持GE 2 5GPOS和10GPOS设备 45 SSS系统部署 46 OptiSwap 采用无源光器件 自身无需供电在SSS设备故障 掉电 光纤中断等异常情况下 自动将SSS设备旁路 恢复链路到直通状态 切换时间小于10ms可以通过指令控制OptiSwap在直通 控制状态间切换预留旁路流量监测接口 47 现网发挥的作用 链路P2P业务总流量压制非法VoIP语音质量劣化支持时间调度策略和VoIP劣化的黑 白 灰名单提供集中式带宽管理手段 可以通过中心服务器同时配置多台SSS设备在抑止P2P业务流量占用过多链路带宽和打击地下VoIP运营方面发挥了重要作用 48 SSS系统功能 业务识别用户分群流量控制流量统计黑白名单时间调度集中管理 49 业务识别 综合协议指纹 流量特征 序列化累积等识别技术支持P2P VoIP VideoStream Web eMail等各类业务大类业务下细分为小类业务 如P2P下载业务下区分BT eMule 迅雷等 P2P流媒体业务下区分QQLive PPLive等系统支持对按业务大类和某个子类业务同时实施流量控制业务也可以和用户群组结合 按用户实时针对性的流量控制策略持续跟踪各种主流P2P应用和其他应用的发展和演进 形成协议分析识别的标准流程 可轻松应对新出现的P2P业务 50 业务识别 纯硬件架构 提供链路双向线速处理识别能力逐报文进行协议特征识别和流量行为分析适用于各类复杂的网络环境和协议封装支持PPPoE VLAN NAT MPLS封装支持各类VPN隧道协议 如GRE L2TP等负载均衡链路或单向链路报文过滤和特征识别 51 业务识别 识别流程是一系列递进叠代的分析过程 通过一般疑似 重点分析 高度疑似 疑似排除或疑似确认自学习分步骤的方法进行多维度分析和筛选综合协议指纹 通信模式和流量特征进行识别基于协议握手信令的解析和状态机跟踪基于流量统计特性的分析基于时间序列累积特性的分析 52 P2P业务识别 同时采用多种协议指纹对各类P2P协议进行识别和标识主板芯片对于已知特征的P2P连接创建硬件缓存表项对整个连接进行标识记录特定的P2PID对于某类P2P协议 在整个通信过程持续匹配和收集一种或多种协议特征不断进行特征累积后续的报文可继承原有连接特征或加强特征 53 P2P业务识别 特征字识别并非只匹配识别内容净荷的前几个字节或固定偏移位置 而是对整个报文的净荷进行滑动匹配一个或多个协议关键字 在2 5Gbps线速下逐报文匹配 以BT为例 HandShake特征字为 BitTorrentProtocol 协议指纹报文的应用层格式符合特定的约束条件 以eMule为例包括Marker MessageType MessageLength等 大多数P2P协议的应用层封装中都呈现出类似TLV的格式 而且有些协议在内容净荷的头和尾部还有一些特殊的字符 例如 等 54 P2P业务识别 协议状态机P2P的客户端在Peer和Peer的交互过程中大多采用特有的 信令 过程 以BT为例 如Handshake Bitfield Unchoke Interested Request Piece等 即使在数据传输阶段也有类似的握手报文 例如Peer申请下载哪个Piece 通告其他Peer自己有哪些Piece等 通过这些 特殊 报文的识别进行特征增强通信特征包括TCP UDP比例 对端Peer的个数 上下行流量的对称性 报文长度分布等进行特征辅助识别 55 用户分群 以IP地址段按类别划分用户群每一种类别刻画用户的一维特征按行政区域划分 海淀 朝阳 崇文 按用户类型划分 公客 商客 个人 按接入类型划分 ADSL LAN 专线 支持按类别属性来定义用户群组二维特征标识用户群 例如海淀ADSL客户支持按IP地址 网段 范围等定义用户群 每个用户群支持多个地址条目 56 流量控制 按大类或小类业务实施流控比如对P2P和BT分别设定流控阈值按用户群或用户分类实施流控比如对 网吧设定总流量阈值用户群和业务的组合控制能力定义的用户群 大类业务 如设定海淀ADSL用户的P2P总流量定义的用户群 小类业务 如设定朝阳商客用户的病毒流量支持基于任意IP五元组的流控支持源 目的IP 协议类型 源 目的端口的任意组合适应各种复杂多变的用户流控需求支持支持对数据流同时进行多维控制 并发策略 57 流量控制 支持黑 白 灰名单策略流控支持基于时间调度的流控时变策略支持TOS DSCP重标识功能针对异常和未知业务的控制能力可按端口或地址设置流控参数 有效抵御各类病毒和泛滥攻击将未知业务的流量控制在设定范围内保证有效业务带宽 防范突然出现的病毒或是DDoS攻击 保护网络不至于彻底瘫痪提供基于宽带用户帐号组的流量控制能力 58 流量控制 使用令牌桶技术实施流控对检测出的P2P业务流量进行带宽限制和流量整形两种流控方式总流量控制方式独立流量控制方式业务管控策略随时间变化的管控策略对出入境流量分别实施控制可灵活设置不同的流控参数按用户群制定和实施不同的管控策略 59 流量统计 链路全局的流量统计各类用户和业务的流量统计各类流控策略的流量统计灵活设定策略流的流量统计指定IP地址或用户群的流量统计提供实时和历史流量统计 60 系统性能 高速硬件引擎前端过滤提取P2P连接对于P2P业务逐连接进行缓存和标记对于搜索探测和无效的P2P连接快速删除在复杂网络环境连接泛滥的条件下有效识别和控制P2P流量P2P连接溢出时优先删除长时间不活跃表项 同时保证业务数据流直通 61 系统性能 提供GE 2 5G和10G线速转发和业务管控能力处理能力不依赖于用户 业务和策略的复杂度全硬件架构设计 无条件实现线速业务识别和控制在用户 业务 策略满配置方式下不影响处理性能采用多个自主设计的大规模高速数字专用芯片转发时延 50us 62 大类业务分析 63 具体业务比例 64 具体业务比例 65 周流量曲线 66 P2P流量压制效果 67 SSS系统应用价值 带宽精细化管理充分挖掘现有网络潜力以精细化的带宽管理节约网络投资 提高网络有效利用率让网络流量为运营商创造更多的价值 68 SSS系统应用价值 结合宽带用户行为分析系统进行客户带宽管理对大流量客户实施针对性控制对伤害性客户实施流量限制按对收入贡献合理调解不同用户群占用带宽比例优化用户体验 减少客户投诉 69 SSS系统应用价值 强化对业务的控制能力优先保证给运营商创造价值的业务流量带宽通过特定业务的策略限制来引导用户行为区分 好 的P2P和 坏 的P2P业务 70 SSS系统的应用价值 开辟新的增值业务基于使用P2P的增值业务基于使用VoIP的增值业务大客户病毒流量抑止的增值业务 71 VoIP业务监控系统介绍 72 VoIP协议识别能力 标准的H323 Sip MGCP协议基于标准协议进行简单修改 变换的 私有协议 对标准协议进行加密的私有协议 破解加密算法 如世纪网通 GBPhone RedVIP COSCOM等十余种识别QQ MSN Yahoo等即时通信软件的语音媒体过程 73 Skype 通过流量模式和通信特征来识别强加密的Skype SkypeOut信令及媒体通信的内容指纹呼叫信令报文的交互规律报文长度分布和比例 报文速率和字节速率语音编码规律 连接级的特征匹配度已经实现对Skype的识别能力Skype Skype