运营商大数据典型业务场景

1、 2013 IBM Corporation运营商大数据典型业务场景运营商面临的挑战 移动互联网时代，运营商传统增值业务的“后花园”围墙已经倒塌，运营商苦心经营的通讯网络，成为互联网企业甚至独立开发人员和团队的“蓝海”，终端、应用APP成为主角，传统业务如：语音和短信等也被逐渐蚕食。运营商在移动互联网价值链中被边缘化，网络的流量与收入之间的落差越来越大，即常言所说的“被管道化”。运营商的创新策略途径有三方面：运营商的创新策略途径有三方面：途径一：途径一：进一步压缩网络运营成本，运营商利用大数据分析能力，对网络运营实现以投入产出比为导向的优化，是降低运营成本的重要途径；途径二：途径二：拓展新业务，

2、进入OTT业务范围，运营商利用大数据分析能力，转型营销模式，结合客户行为分析实现个性化、定制化和精确化营销；途径三：途径三：对流量进行整合，以智能管道为目标，通过业务创新获得流量价值，运营商利用业务分析和集成能力，建设以业务策略为导向、大数据平台为基础的智能管道架构设计和业务创新的设计。电信运营商的大数据业务应用BSS域: 计费系统架构优化、上网详单查询、内容计费OSS域: 实时信令检测、无线网络优化EDA域: 流量分析、实时流量预警、轻量级数据汇总、批量数据关联、历史数据查询MSS域: 企业大数据检索市场与营销（MBO）: 客户洞察、互联网行为分析、位置分析、实时营销、舆情分析3Big Da

3、ta计费计费流程流程4固网固网业务业务移移动业务动业务数据数据业务业务其他其他业务业务原始原始话单话单预处预处理理 采集采集 批批 价价 合合 帐帐 优优 惠惠 入入 库库查询帐务采用大数据分布式处理技术优化现有计费系统架构，采用大数据分布式处理技术优化现有计费系统架构，支持流量计费与海量上网详单存储于查询支持流量计费与海量上网详单存储于查询海量分布式数据存储与分析平台海量分布式数据存储与分析平台 流量流量 话单话单 文件文件批量快速加载入批量快速加载入HBASE批量快速加载入批量快速加载入HBASE详单查询流量预警汇总分析不断增大支持分级存储、支持分级存储、生命周期管理、生命周期管理、快照、

4、复制、快照、复制、全兼容文件操作全兼容文件操作.计费系统架构优化计费计费流程流程5固网固网业务业务移移动业务动业务数据数据业务业务其他其他业务业务语语音音话单话单预处预处理理 采集采集 批批 价价 合合 帐帐 优优 惠惠 入入 库库查询帐务采用大数据分布式处理技术优化现有计费系统架构，采用大数据分布式处理技术优化现有计费系统架构，支持流量计费与海量上网详单存储于查询支持流量计费与海量上网详单存储于查询海量分布式数据存储与分析平台海量分布式数据存储与分析平台详单查询流量预警汇总分析支持分级存储、支持分级存储、生命周期管理、生命周期管理、快照、复制、快照、复制、全兼容文件操作全兼容文件操作.流量流

5、量话单话单装载装载 流量流量 话单话单 文件文件批量快加载入批量快加载入HBASE计费系统架构优化-续流量流量话单话单6海量分布式数据存储与分析平台海量分布式数据存储与分析平台流量流量话单话单文件装载文件装载 流量流量 话单话单 文件文件实时流量预警流量流量预预警警预处预处理理 采集采集 批批 价价查询 实实 时时 流流 量量 汇汇 总总 实时流量实时流量累计对比累计对比预警 用户流量用户流量 监控表监控表基于历史数据基于历史数据 挖掘预测挖掘预测设定设定预警预警阀值阀值批量快加载入批量快加载入HBASE2013 IBM Corporation7 7预处理中心预处理中心可查询的归档可查询的归档

6、 存储海量归档历史数据数据仓库数据仓库实时流数据处理海量数据着陆区数据仓库数据仓库结合非结构化信息 数据仓库数据仓库1查找和查看数据数据探索微秒级延迟的在线分析数据分析 数据挖掘数据挖掘报表展现探索性分析探索性分析23与传统数据仓库的融合汇总存储海量结构化、非结构化数据8Ingest数据缓冲、分析、沙箱区数据缓冲、分析、沙箱区Indexes, facetsHive/HBaseCol StoresDocumentsIn Variety of FormatsAnalyticsMapReduceRepository, Workbench实时数据摄取与提炼区实时数据摄取与提炼区DataSinksFil

7、ter, TransformIngestCorrelate, ClassifyExtract, Annotate数据仓库区数据仓库区Enterprise WarehouseData MartsQuery EnginesCubesDescriptive,PredictiveModelsModelsWidgetsDiscovery,VisualizerSearch数据分析区数据分析区元数据与数据治理区元数据与数据治理区连接器连接器整合的经营分析平台架构 2012 IBM Corporation9DPI爬爬虫虫Internet分分词词URL词库词库 URL 分类库分类库网络信令URL分类分类上网日志

8、上网日志 上网话单上网话单( (含含URL标签标签）客户资料客户资料数据业务数据业务流量流向流量流向 等等分析分析挖掘挖掘工具工具URL分析 App应用分析流量分析 客户消费分析关联分析挖掘预测 数据数据 集市集市 高扩展、实时高扩展、实时 流计算引擎流计算引擎 对海量上网日志对海量上网日志实时分类和打标签实时分类和打标签 流计算引擎处理流计算引擎处理URL，实时分词，实时分词分布式海量数据存储与分布式海量数据存储与分析平台，提供对海量分析平台，提供对海量上网话单的高效存储和上网话单的高效存储和查询访问查询访问BigInsight 强大的强大的 统计分析展现统计分析展现与数据挖掘平台与数据挖掘

9、平台 内存数据库内存数据库提升提升URL分类库分类库 的比对性能的比对性能 ETL与数据仓与数据仓库解决方案库解决方案BigSQL/DataStage/ISAS/Netezza互联网行为分析 2010 IBM Corporation10Raw Data1. CDR_SMS2. CDR_Voice3. Network4. IN5. ReloadEND POINTS1. Call Center2. SMSC3. Email4. IVR5. Etc.Event CodeSubscriber No.011380110020001139020230080213504212345Etc.。Real Tim

10、e Analytical ProcessingPromotion Event Tables Repository 1.Real Time Events monitoring2. Insert detected data into event tables3. Unica timely scan the event table for event based Campaign processing Method 1： Streams & Unica integrate via database tablesEvent CodeDescription013 drop calls withi

11、n 1 days025 International call within 3 daysEtc.。event tables4. Streams directly trigger Unica pre-defined triggers for event based Campaign processing 基于流计算的实时营销Method 2： Streams & Unica integrate via trigger Unica triggers 2010 IBM Corporation大数据平台数据分析展现通过Stream流计算集群对短信数据流中的失败标志位进行实时过滤将失败短信（包括

12、失败原因）加载到HBASE展现前台对分析结果进行呈现BigInsights存储海量失败短信基于流计算的失败短信处理失败短信实时过滤全量短信数据流失败短信数据加载短信短信网关网关短信短信详单详单 2012 IBM Corporation12StepDescription1Offline Analytic Toolkit built the initial white, black and grey lists 2SMS records of senders in grey list or new numbers will be sent to Real time Temporal Pattern

13、 Analyzer3Suspicious numbers sent to Topology Graph Analyzer for social network analysis4Statistical results are visually displayed with Online Decision Support Tool 5Operator finally identifies spammers6Operator updates White, black and grey lists垃圾短信检测器垃圾短信检测器离线垃圾短信分析在线垃圾短信分析在线垃圾短信分析短信中心白名单黑名单新号码灰

14、名单社交网络分析决策支持展现统计分析与社交网络分析结果，帮助运营商最终确认垃圾短信号码后台系统计费CRM经分AdminNetwork基于历史数据的垃圾短信预测分析236145实时短信记录时序分析流计算处理与社交网络分析模型实现精准垃圾短信处理 2012 IBM Corporation1313Forrester Wave关于大数据的报告 2012 IBM Corporation14企业级大数据平台 BigInsightsInfoSphere Data Explorer NEW & BUNDLED: Indexing and “on the glass” integrationInfoSp

15、here StreamsBUNDLED: Enables real-time, continuous analysis of data on the flyInfoSphere Guardium NEW: AuditingNetezzaNEW: Query and join data using UDFsCognos Business IntelligenceNEW & BUNDLED: Support for Hive; Business Intelligence capabilitiesInfoSphere BigInsightsAdministration & Secur

16、ityWorkload OptimizationConnectorsAdvanced EnginesVisualization & ExplorationDevelopment ToolsOpen source Hadoop componentsInfoSphere DataStageData collection and integrationPlatform Computing NEW: High performance, low-latency platform computing gridR NEW: Application that allows users to execute R jobs directly from BigInsights web consoleDB2 and JDBCHigh speed parallel read-write for DB2 and JDBC connectivityWebSphereNEW: WAS 8.5 Liberty Profile high performance secure REST accessRational &