电信行业的大数据解决方案

行业背景 电信运营商近几年面对移动互联网的高速发展，客户的移动数据流量需求迅猛增长， 数据流量收入已超过点对点短信，成为拉动数据业务收入增长的主要驱动力的现实。在 3G 的全业务市场竞争环境下，急需根据竞争情况和客户需求，加快实现流量的实时计费和提 醒，优化数据流量资费体系，降低套餐内外的资费水平差距，提高精细化营销能力，不断 提高客户的满意度和大幅度降低流量投诉。这就催生了对流量大数据分析的需要,大数据依 赖于成熟的技术方案,应用的关键在于业务层面,因此大数据在运营商中应用中催生了很多 商业机会, 同时运营商现有的系统架构在面对大数据的挑战和机会面前遇到了问题。 商业机会商业机会 改善用户体验 分析用户行为，改进产品设计； 通过用户爱好分析，进行及时、精准的业务推荐和客户关怀； 优化网络质量 分析流量、流量变化，调整资源配置； 分析网络日志，进行网络优化和故障定位； 合理给各类业务分配带宽及优先级等； 助力市场决策 通过业务、资源、财务等各类数据的综合分析，快速准确确定公司管理和市场竞争策 略； 基于用户的职业、年龄、LBS 等信息提供精准营销手段； 业务创新 在确保用户隐私不被侵犯的前提下，对数据进行深度加工，对外提供信息服务，帮助 企业盈利； 精确了解与预测用户的需求的变化趋势，为未来研发提供方向和指导； 面临问题面临问题 系统分散建设，难以实现资源和应用共享 经营分析、信令监测、综合网络分析、不良信息监测、上网日志留存等大 数据系统垂直建设较多，另外很多省分公司的系统建设存在重复建设、应 用重复开发、各类专家资源无法共享等情况； 数据分散存储，标准化程度低 各大数据系统数据模型不统一，跨系统综合分析困难； 统一管理难度较高； 以 OLTP 为核心的传统架构，难以满足新业务发展要求 多采用高端架构建设（类 IOE），成本极高； 仅具备结构化数据处理能力，无法支持飞速增长的非结构化、半结构化数 据处理； 对高速增长的数据，传统架构很难满足存储需求； 大部分业务只对内提供服务，未能有效地进行成规模商业利用 如何建立商业模式？ 如何解决用户隐私保护问题？ 方案架构 针对电信运营商大数据管理总体系统框架分为四层, 分别是物理层,数据成,模型层应 用层, 数据层是整个运营商大数据管理的核心部分,为上层应用提供数据支撑。 大容量存储服务器 网络系统机房基础设施建设 文件系统， NOSQL数据库 客户基本数据A口数据Gb口数据 WLAN数 据 其他 数据组织挖掘工具ETL工具类SQL语言 计算调度框 架 安全管理 数据仓库 用户位置信息业务使用统计其他 用户位置信息用户位置信息 用户位置信息 用户位置信息 用户位置信息 分析结果 用户关系网 用户位置信息 用户位置信 息 用户流量特 征 终端使用 重入网特征 增值业务使 用 营销目标客户定位针对营销方案设计营销效果评估趋势预期测 应用层 模型层 数据层 物理层 业务应用 话费详单查询系统解决方案话费详单查询系统解决方案 针对话费详单公众查询查询业务，系统设计上要满足海量历史数据的获取和存储，同 时也要满足大并发量的查询和检索。针对海量详单查询系统的架构设计如下： 查询用户 数据中转服务器 运行生产区数据库服务器 查询用户 话费详单数据存储组织区 数据中转服务器 大规模并发查询区 话费详单公众查询系统特点: 查询数据和生产去耦合，生产数据中转之后进行处理 借助曙光 XData 大数据处理平台，实现数据高效导入和查询及处理 大数据处理平台线性扩展架构，能够面对数据量增加和查询量增加而轻松扩展 电信流量业务电信流量业务 DPIDPI 系统解决方案系统解决方案 目前流量业务管理存在诸如： 用户感知差，P2P 滥用基站资源的有限带宽资源，高峰时段用户感知差，基站维护和 增建，网络优化缺少依据。安全威胁多，黄色、暴力、反动等不良内容充斥网络 ，被黑客 控制的僵尸网络主机。快速蔓延，安全隐患严重 ，DDoS 攻击手段日新月异，攻击行为泛 滥且难于防范。运维管理困难，疲于应付各种事件和问题，各个系统无规则迭加部署 ，众 多的离散系统，无法统管理，网络的可用性和可维护性面临挑战。需要统一的系统对网络 应用监管，实现业务的保值到增值，而现如今面对业务多样化，数据泛滥的系统，大数据 理念给我提供优良的解决方案。电信流量业务 DPI 系统解决方案架构如下： 汇聚分流设备 大数据处理区 数据采集清洗 应用区 用户分析 网站分析 热点基站分布 网元p2p监控 病毒，攻击溯源 不良信息过滤 用户访问日志 审计 共享接入数据 分析 Web营销推送 电信流量业务 DPI 系统解决方案特点： 采用高速设备直接从骨干网络抓取数据 曙光 XData 大数据平台能过应对大规模流量做近实时的分析，感知整个网络状态, 优化网络运行 开发的大数据平台能够支撑多种应用的开发 在应对海量数据处理、并发，大数据平台由于传统的关系数据平台，更加适合 DPI 业务处理 基于开放架构，高性价比的解决方案 方案价值 电信行业