电信运营商大数据解决方案课件

1、1电信运营商大数据解决方案第1页，共76页。2目录一主流分析型数据库技术介绍、对比及选型二数据处理技术的演进电信运营商大数据平台三第2页，共76页。3什么是大数据大数据指不用随机分析法（抽样调查）这样的捷径，而采用对所有数据进行分析处理的方法维克托迈尔舍恩伯格“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和 流程优化能力来适应海量、高增长率和多样化的信息资产全球领 先的信息技术研究和分析公司Gartner一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库 软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流 转、多样的数据类型和价值密度低四大特征麦肯锡第3页，共7

2、6页。4大数据4V特征VolumeVarietyVelocityValue随时随地产生数据，数据量更大以“低成本”的方式获得“可接受” 的数据分析结果Cheap：“廉数据”数据具有多样性数据来源多、类型多Multi-X：同一对象多维描述价值密度低更多高价值的数据产生对有价值数据进行“提纯”大数据的目的对处理速度要求更高实时和在线Swift：“快数据”Big DataBig Money第4页，共76页。5大数据处理流程数据库技术是大数据处理的关键数据获取数据ETL数据存储数据分析数据服务数据库技术是大数据的关键！第5页，共76页。6数据处理技术的演进SQL/ACID传统关系型数据库的崛起，提出面

3、向企业 应用的商业智能，面向数据仓库的数据分 析（OLAP）技术兴起20001995200520102015分布式技术提出谷歌提出分布式文件系统、分布式数据库和 分布式计算框架，奠定大数据技术基础大数据Hadoop技术提出开源Apache Hadoop逐渐兴起，大幅推进互联网大数据应用实时计算技术提出流计算、图计算、交互式分析、内存计算等 技术不断演进混合技术架构兴起Spark、Flink等新一代分析引擎融入大数据平台第6页，共76页。7数据处理框架的演进RDBMPP数据库Hadoop第7页，共76页。8数据处理框架-RDB(Relational Database)特点单服务器、小型机集中式数

4、据和业务处理ACID(Atomicity、Consistency、Isolation、Durability)Scale-UpOLTP(On-Line Transaction Processing)，响应时间敏感成本低缺点大数据处理性能较差容灾性较差稳定性有局限业务和数据处理规模有限扩展性和灵活性较差第8页，共76页。9数据处理框架-MPP特点Massively Parallel Processing多服务器、多节点，多任务并行执行数据分布式存储和计算ACIDScale-outOLAP(Online Analytical Processing)商业化缺点扩展规模有限对并发的支持有限节点增删维护工

5、作较复杂不支持非结构化数据成本较高第9页，共76页。10Hadoop，允许使用简单的编程模型，以跨集群分布式的方式，处理大型数据集。具有可靠、高效、可伸缩的特点。它的目的，是从单一的服务器到上千台机器进行扩展，从而利用各自的本地计算和存储资源。是一个能够让用户轻松构建和使用的分 布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。Hadoop在应用层面检测与处理各类错误，因此能够在 一个集群内实现高可用性。并且Hadoop已经成为大数据行业的标准，形成了一个健康活跃的生态系统。可靠性、高扩展性、高效性、高容错性、低成本。Hadoop生态系统第10页，共76页。11数据

6、处理框架-Hadoop特点多服务器、多节点的集群架构大数据多任务的分布式处理HDFS(Hadoop Distributed File System)分布式文件系统、流式访问MapReduce曹冲称象，分而治之可靠、高效、高扩展（Scale-out）、高容错、低成本可处理多种格式数据源，非结构化、半结构化数据开源缺点对SQL的支持有限无法高效存储大量小文件不支持多用户写入及任意修改文件缺乏专业的支持服务第11页，共76页。12数据处理框架的对比数据库框架分析性能扩展性容灾性数据类型业务场景支持全SQL异构数据整合成本RDB一般较差较差结构化OLTP能不支持中等MPP好局限局限结构化OLAP能不支

7、持较高Hadoop好好较好（非）结构化OLAP部分支持低没有最好的技术，只有最合适的技术。针对业务需求“有的放矢”。第12页，共76页。13目录一主流分析型数据库技术介绍、对比及选型二数据处理技术的演进电信运营商大数据平台三第13页，共76页。时间分布移动互联网：通信功能 = 80：20数据来源：GSMA 2013流量分布用户分布数据来源：Infoma 2013数据来源：Cisco 2013全球移动互联网用户数量激增，已3倍于固定互联网用户数量移动互联网流量激增，2012年底，移动数据流量占比超过13%移动互联网应用使用时间激增，是使用通信服务时间的4倍中国移动互联网发展有相类似的趋势，截至2

8、013年6月，中国手机网民已达4.6亿，上半年移动互联网接入流量同比增长62.6%（CNNIC、工信部）移动互联网用户流量激增，手机数据化、宽带化趋势明显第14页，共76页。4G、M2M将大大加快移动网络数据业务和流量增长2013年4G网络将占到全球流量的20%，2016年将超过3G网络流量，2018年将占据超过2/3的移动网络流量。2013-2018年，4G流量的年复合增长率达到82.2%。2018年数据业务收入占运营商的份额的47.3%ABI Research 2013.09数据来源：Ericsson 2013.112012年9月Verizon LTE网络建成不到2年，用户达到11M，占V

9、erizon用户总数约12%，流量消耗占全网流量的35%以上。2013年1月，4G流量占比50%，2013年11月，4G流量超过64%，视频是主要业务2017年，全球4G终端产生的数据流量是非4G终端的8倍，每月数据流量超过10EB 1EB=1000PB （Cisco VNI 2013）M2M终端数量大幅度增长4G驱动流量增长2014年，M2M设备数量接近智能终端数据来源：ABI Research 20124G、M2M将大大加快移动网络数据业务和流量增长第15页，共76页。移动互联网服务商电信运营商SNS博客电商视频图片音乐签到问答点评优惠券专业SNS微博消息论坛2G、3G、4G、WIFI 新

10、闻地图管道数据类型多样、数据巨大、处理速度要求高，同时也存在质量问题，是电信运营商大数据的主要来源超过7.1亿用户超过100万基站每分钟超过800万通话每天信令数据超过1PB每秒上网流量超过40GB经分系统数据规模接近10PB面对巨大流量，移动运营商面临强大的挑战第16页，共76页。网络优化决策支持精准营销业务创新A+Abis信令Mc信令Gn+Gb信令Gn-IuPS信令Wifi、Radius信令4G X2等信令语音等业务数据DNS 数据虽然结构化的业务数据虽然价值含量很高，但是管道数据却提供了用户的数据消费、社交网络、行为轨迹、内容偏好等业务数据中无法提供的重要信息，这对用户刻画、套餐设计、用

11、户体验提升等个人和企业产品设计所需依据均有巨大帮助日志结构化数据+需要建立采集、存储、分析、交互等全方位能力，其中既包括传统已经具备的能力，也包括需要新建的大数据能力需要融合巨大的管道数据和业务数据第17页，共76页。/wp-content/uploads/2013/10/Tully-SparkSummit4.pdfBy Tim Tully (Distinguished Engineer/Architect, Yahoo)互联网公司目前主要采用Hadoop、Streaming、RDBMS、NoSQL等技术应对大数据4V挑战，例如Yahoo针对日志数据进行两种处理，并与业务系统结合（后期尝试Sp

12、ark技术）示例：Yahoo数据处理流程互联网公司通常采用混合架构解决大数据问题第18页，共76页。Google在全球多个数据中心大规模混合部署和调度数据处理能力，系统利用率高达80%+，2011年MapReduce系统每天处理1000PB左右输入数据，支撑其核心业务，包括搜索、广告、地图、邮件、社区等业务。针对不同的数据处理需求提供多种数据处理系统。随着技术能力提高，将大数据处理能力服务化。Facebook以Hadoop为基础建设了包括流计算、实时计算、离线分析在内的各种大数据系统系统。2012年每天要处理25亿条消息、用户点击Like按钮的次数达到27亿次、上传3亿张照片。Graph Se

13、arch可以检索10亿用户、2400亿图片和1万亿次访问。目前已经支持多区域数据同步。Facebook Puma每天处理超过200亿事件，延迟小于30秒Amazon为被托管应用提供了多租户、按使用付费的大数据服务，整合了非结构化（S3）、结构化（RDS、SimpleDB、DynamoDB）数据，通过并行计算EMR能力，将数据放入RedShift用于最终的数据展现等目的。Twitter利用Hadoop和Pig工具完成数据的批量分析，并进行决策支持和数据挖掘，利用Storm每天实时推送1亿活跃用户的5亿消息大数据技术在互联网公司得到成功应用第19页，共76页。分析型数据库分析型数据库是面向分析应用

14、的数据库，可以对数据进行统计分析和即席查询等挖掘数据 价值的工作。传统数据库是以事务处理为主，大数据时代的主要应用则是数据分析。数据库三大阵营：OldSQL、NoSQL、NewSQL分析事务互联网OldSQL一种架构支持多类应用NewSQL分析OldSQL事务NoSQL互联网OldSQL+NoSQL+NewSQL多种架构支持多类应用14第20页，共76页。15大数据下的分析型数据库OldSQL行存储关系型ACIDSMPNewSQL列式存储关系型ACIDMPPNoSQL列式存储Key-Value灵活性MPP分布式计算，分布式文件系统内存计算（In Memory Computing）新的硬件：Fl

15、ash Card，SSD，高速网络、Infiniband第21页，共76页。16OldSQLOldSQL是指传统的关系型数据库，借助于数学概念和方法来处理数据。数据规范化：关系型数据库的数据存储是为了更高的规范性，把数据分隔成最小的逻辑表(关系表)以 避免重复，获得最精简的空间利用。事务性：SQL数据库支持对事务原子性细粒度控制，并且易于回滚事务。第22页，共76页。17NewSQLNewSQL是对各种新的可扩展、高性能的关系型数据库的统称。既能够提供OldSQL的质量保证，也能提供较强的可扩展性。第23页，共76页。18NoSQL大数据类型的多元化急速增长，OldSQL不满足分布式技术架构的

16、适用性。Not Only SQL，泛指非关系型的分布式数据库。第24页，共76页。19OldSQL&NoSQL&NewSQL总结海量数据实时分析Vertica/Impala第25页，共76页。20类型OldSQLOldSQLOldSQLNoSQLNoSQLNoSQLNoSQLNoSQLNewSQLNewSQLNewSQL存储方式行/列式存储行式存储行式存储分布式文档存储分布式K-V存储分布式列式存储分布式HDFS分布式HDFS行式存储分布式存储分布式列式存储运算方式磁盘磁盘内存内存/磁盘内存/磁盘内存/磁盘内存磁盘磁盘磁盘内存/磁盘系统架构RDBMSRDBMSRDBMSC/S分布式集群C/S分

17、布式集群HadoopHadoopHadoopC/S分布式集群MPPMPP支持SQL支持支持支持不支持不支持需插件类SQL类SQL支持支持支持大数据处 理能力较差较差一般较好较好好很好好好好很好容灾性较差较差较差较好较好好好好较好好好应用场景传统数据分析WEB应用低成本内存运算对象存储及处理数据键值关系突出海量存储与扩展实时分析批处理分析二次订制开发数据仓库即席查询扩展性Scale-upScale-upScale-upScale-outScale-outScale-outScale-outScale-outScale-upScale-outScale-out开放性商业开源商业开源开源开源开源开源

18、开源开源商业目前主流分析型数据库对比第26页，共76页。21分析型数据库选型思路决定性因素关键因素一般因素分析需求数据格式数据存储方式数据查询能力稳定性&容灾能力数据分析运算能力架构选择可扩展性成本第27页，共76页。22目录一主流分析型数据库技术介绍、对比及选型二数据处理技术的演进电信运营商大数据平台三第28页，共76页。23一运行分析视图二大数据平台总体架构规划支撑视图三决策支撑视图四目录第29页，共76页。24网络建设初期阶段阶段一：先期基于路测数 据、投诉数据进行简单分 析；后引入MR数据进行深 度覆盖分析；阶段二：网络规划建设简 单、粗糙，直接在空白区 域建设。缺乏针对用户、业务和终

19、端进 行深入关联分析；网络精细化建设阶段基于现网23类运行数据， 建立了基于移动网络 “O 域+B域”数据的分析方法 体系；在长春、成都、重庆、广 州、兰州、上海6重要城市 进行推广和验证。探索六城市精细化建设支撑，并固化方法模型。大数据平台化阶段基于“以我为主、自主研 发”原则，搭建大数据分 析平台，进行迭代式开发， 实现方法固化。逐步实现全网数据的统一 采集、解析与存储管理；开发大数据平台，实现规模化、 精准化建设支撑。通过运行数据挖掘分析，实现网络优化精准分析、提升网络建维优的精准性和有效性电信运营商大数据平台-背景第30页，共76页。25人在哪干什么怎么样电信运营商大数据平台-建设总体

20、思路用户群体特 征分析为轨迹分析不同业务体验 分析B侧价值发现用户群体的行用户投诉O侧网络定位覆盖能力评估网络性能、质量网络问题分 析关联要素时间小区终端业务区域三大落地支撑客户维系， 支撑精准市场推广维度接口3G分析定 位问题4G支撑引 导规划网络性能反馈支撑网络运维 优化，改善网 络质量支撑网络规划 建设，提高资 源投放精准度第31页，共76页。电信运营商大数据平台-方法体系全面梳理23类数据序号分类数据源1OSS侧数据基础数据2DT/CQT数据3IU-PS（挂表采集）/Gn数据4CDR（平台采集）5MR数据6无线话统数据7无线参数8核心网参数9告警数据10无线侧呼叫记录数据11设备版本及

21、补丁12设备与板卡负荷数据13无线COUNTER数据14核心网报表数据（核心网COUNTER 数据）15投诉数据16话单数据17配套资源配置及运行情况18BSS侧数 据用户信息19月度话单数据20语音详单21数据详单22套餐信息23终端数据库系统建立现网分析方法体系-24个分析模块序号分类分析模块项目1网络与资 源无线侧资源情况室内外站、建筑物、物理站址分析2网络覆盖下行覆盖、上行干扰、上行干扰分析3资源瓶颈网络资源、空口效率、载波负荷分析4网络性能网络侧性能指标、问题小区分析5网络结构站高、站密、重叠覆盖、有效性分析6多网协同2、3、4G多网络协同分析7用户与终 端终端情况终端统计、终端与用

22、户及业务分析8用户情况用户情况总体分析9用户画像用户属性、消费、时间、业务等标签10群体特征分析用户结构及用户偏好分析114G转网用户分析4G转网用户及潜在4G用户分析12感知分析用户各类业务感知分析13用户轨迹各级别用户迁徙及单用户轨迹分析14业务与应 用业务情况语音数据业务、分类主流业务分析15业务分布及特征总体业务情况及分类业务情况16业务质量语音、CSFB、数据业务质量分析17综合专题趋势分析小区数、用户数、业务量等发展趋势18联合分析覆盖、结构、资源、感知综合分析19资源重点投放场景、网格、扇区等区域价值分析20LTE部署区域LTE部署区域及部署建议分析21LTE站址分析LTE站址可

23、用性及合理性分析22流量经营终端、流量、闲时包及业务内容营销23总览总览资源、用户、业务、网络、终端总览24简报简报全国级及省级基本简报和自定义简报全方位支撑-10个应用方向用户终端业务网络经营26用户画像、聚类及签转分析基于轨迹和感知的投诉支撑用户黏性和潜在离网预判主流业务的感知分析及回溯各粒度价值区域分析网络质量性能预警及回溯网络调整与技术演进支撑多维度的网络规划方案终端特征、性能评估体系流量经营支撑第32页，共76页。27内部网络资 源精准 投放基于投 诉问题 定位现网用 户维系精准 营销API接口开 放各行 业应 用外部平台能力可实现对2/3/4G现网各接口及设备数据的解析能力，能够满

24、足现网网络优化需求；可满足全国B+O数据的存储与处理；实现一体化解析、存储与管理；与数据中心共享资源，着 重网络分析应用；具备商业智能数据分析能力，可对外开放接口，实现海量数据的可视化分析；5*N：满足纵向从集团到省、市、县、网格，横向从N个专业线条的多层次、全链条支撑需求， 同时可逐步对外部行业应用需求进行适配。电信运营商大数据平台-平台能力第33页，共76页。28电信运营商大数据平台-平台架构元数据管理数据质量管理数据层ETL层数据处理层中间层数据展现层元模型管理元数据采集元数据分析元数据共享辅助开发运维辅助业务应用元数据存储元数据共享数据质量信息采集数据质量模型 管理核查指标管理数据质量

25、分析数据质量监控数据质量改进核查执行调度质量问题管理网优平台BSS系统上网详单系统网管系统挂表采集MR性能基础投诉账单详单终端数据业务位置KPI参数负荷版本CDRIuPS网络规划仿真可研/技术方案设计/施工/后评价评估优化B侧数据解析Gn口解析C/D口解析S1口解析COUNTER解析MR解析B侧预统Gn预统A/Iu口解析IuPS解析MapReduce数据调度Job调度MPP数据库内存数据库OLTPRSQLModelerSASSPARKHIVE数据共享查询转换数据采集代理查询代理GIS引擎GIS呈现图表表格第34页，共76页。29一运行分析视图二大数据平台总体架构规划支撑视图三决策支撑视图四目录

26、第35页，共76页。1、端到端网络优化整体思路贯通“端管云”的全链条网络优化支撑方案，为端到端网络优化的各个环节提供数据分析支撑。用户终端无线接入核心网络应用服务终端情况终端性能分 析网络覆盖网络资源多网协同联合分析站址合理性参数核查网络性能业务质量IMSILAC/CIRNC_IPSGSN_IPGGSN_IPDST_IPDNS_IPSP_IP 30管端云第36页，共76页。终端情况：结合B侧数据、核心网用户面数据及终端库，实现针对终端类型、品牌、制式和 能力等方面聚类统计和地理化呈现。终端性能：建立终端无线性能评价体系，对现网主流活跃终端进行网络性能评判，支撑网 优建设、优化的有效性投放。终端

27、情况多种GIS展现 形式终端 用户 业务 三个 维度 联合 分析终端性能基于RNC呼叫记录及各类不同事件原因进行分类统计，针对终端建立无线网络性能评价机制，进行量化参考。-I2013012 MIMI-ONE三星PlusGT-I9152 联想A820iPhone4(A1332)502 酷派7295A联想A850 酷派7295+酷派7295 honor3C三星SM-G7106 I9082i酷派7296WM630华为G520-0000WINGT-I8552MI3WTechwishTR105MI2012061MI2S M三星GT-N7100HTC802w魅族M040三星SM-G3三星SM-N9006三

28、星SM-G9006V iPad2A1396HTCPG58130三星GT三星GT-N7102魅族MXM351 魅族MXM353三星GT-S7562 三星GT-I9100HTCT528wYUGECMI2012052三星GT-I8262D 三星GT-I8552三星GT-I9100G三星GT-S7562i三星GALAXY三星SM-G3812HTCT328w三星GT-S7572HTC606w-17.50-16.50-15.50-14.50-13.50-12.50-11.5000.2%iPad(A1430)三星GT-I9502 三星SM-N9002 三星GT-I9500三星SM-N900 iPadmini

29、(A1455)iPhone三星GALAXYNOTE2GT-N7100三星GALAXYS4GT-I9500 OPPOOPPOX909三星GT-I9082三星GT-I9300HTCD816w MI20121210.3%0.4%0.5%0.6%0.7%iPadmini(A1490)华为E5220s-1iPhone4S(A1387)iPadAir(A1475) 三星SM-N9005 iPhone5C(A1529)iPhone4S(A1431)iPhone5C(A1526) iPhone5S(A1528)4S(A1387)iPhone iPhone5S(A1530)MI201312120140125(A

30、1429)华为AscendG730三星SM-G3502I iPhone5S(A1533)ZTEAD3812华为G750-T00SonyXperiaCiPhone5A1429 iPhone5(A1428)酷派7295华为G610-U00华为G700-U00LGNexus5iPhone4(A1332)MI2013023 酷派7269.1% 异常比例低，EcIo高异常比例高，EcIo高异常比例低，EcIo低异常比例高，EcIo低31Redmi1S MI201302925 华为G700-U009r华为C01-M08I)2) 013023i(AS 29LGGN3oe5xn0u派s75(AA31553酷1

31、) 4T92)Ion 5AZ 为2GU70500-T004X0E2p1A9e2GD6i3a18OPPiPOhOonPiePhP4Ooa华SdnX(Ae为A95i01r(3A8144175)N90iPad(A143i0P) admini(A1490三三i星星Sh华iMPo-hin为oeP0M25nh052CeoI224(n2A0Se011(5As35CS-1121(24A125021三星SM-N900三星GT-I X0Y8S24GT-I950006eS) 华1yiP三ad星mGinTi-(PiAIihi9P三P1Po54h0nh50星eo5o4)nSnS(AeeM1453(8-(SA7NA)(1

32、A19)341032502835三星GALAGXTY-IN9iO5PTEhE2oGnT-e5hA090NiPA71L三星SM-G3812I8552HTC三三星8星1GTw-SI9M30-D 6HTC606w三H星TGCTT-3MS27I835wW72三星GT-I9三10星0三G星T-GS7A5L6A2XiYWINGT-iP魅ad族2MA1X3HM魅9三T63族C星5三PYM1三GU星X5TG星GM-8ENS1TC3M-37W5I0193-0M0G2876213i)006三星三SM星魅-GH族N三T9三M-C0星N星80酷i0P704S6联Sh1派2M0Mo0w想酷7-0n-G2eAG派9948

33、3507(5AA020酷169233V5h)派3+o)27n)2o9r53C三星三三G星星T-GG三IH8TTM2-星T-I6SCI92G271T0华DT5051-602为2I280酷G5w55派5222702-906000TecMhIw2i0MsM1hII2MTI22三1R0SAI029M1星联110s23IG想5-0c0O76T1eA-1N2)I8n9E21Pd05lu2G)s酷7派307269-20.00-18.00-16.00-14.00-12.00-10.00-8.00-6.00-4.00-2.000.000.0%0.2%0.4%0.6%0.8%1.0%1.2%1.4%1.6%1.8

34、%2.0%比较各品牌终端的综合表现筛选个别型号 表现差终端端2、端到端网络优化终端情况和终端性能第37页，共76页。32网络资源：从业务量及设备负荷、网络侧资源情况、网络资源拥塞情况及关联分析等多个 维度，分别对网络中小区的资源使用情况进行分析和呈现。多项协同：通过对2/3/4G网络性能的综合分析，反应2/3/4G网络业务、终端、用户的协同 发展状况。网络资源多网协同管多维度可选的网 络资源横向对比高负荷及拥塞 小区一目了然分析粒度小区 扇区任意切换重点扇区详细信息钻取多个组合维度分 析234G网间协同全面的网间协 同指标展示天面维度分 段指标展示3、端到端网络优化网络资源和多网协同第38页，

35、共76页。3管联合分析：结合现网覆盖、结构、感知、资源各方面分析结果，针对每个扇区给出优化建 议，为现网实际规划优化提供参考。站址合理性：建立终端无线性能评价体系，对现网主流活跃终端进行网络性能评判，支撑 网优建设、优化的有效性投放。联合分析站址合理性综合感知、覆盖、结 构、资源四方面给出 扇区联合分析结果网格维度汇总问题扇 区，提供优化建议从结构和覆盖两 方面综合评定各 小区站址合理性3GIS展示各 级别小区重点小区钻取 详细信息，明 确问题所在4、端到端网络优化联合分析和站址合理性第39页，共76页。34云业务质量：采用信令面XDR数据对语音业务、数据业务以及其他各类业务的运行质量，指导网

36、络优化与规划。指标 呈现从用户/终端/网元等维 度呈现业务质量指标原因排查从数据流程和信令流程 维度分析异常情况成因联合 定位从地理维度定位小区，从地址维度定位网元分析针对发现的问题提出进处理一步核查与处理的建议分析呈现TOP网元问题原因分析钻取问题网元 定位查找5、端到端网络优化业务质量第40页，共76页。35投诉分析多维度分析 全网投诉投诉收集投诉挖掘原因定位优化建设从投诉时间、 位置、原因、 类别、等级、 客户等多个维 度综合分析投 诉数据，全面 呈现投诉问题 分布，辅助问 题查找。投诉信息 一键导出6、投诉跟踪处理投诉分析第41页，共76页。提供6大类用 户标签的选择109种标签描 绘

37、每个用户多重筛选定位具体用户查询投诉用户的手机号码快速定位用户用户画像自然属性：性别、年龄用户属性：VIP等级、入网 时长、签约套餐消费属性：ARPU、MOU、DOU终端属性：终端型号、终端 能力偏好属性：业务偏好、时间 偏好、地理偏好36投诉收集投诉挖掘原因定位我今天上午在XX大厦附近上网，网络总是不好，图片显示不出来。优化建设常见投诉问题时间地点提供不清问题描述太过模糊7、投诉跟踪处理用户画像第42页，共76页。37+O用户轨迹结合用户感知，B侧及O侧数据关联分析，精准定位用户投诉问题的精确时间及位置。感知分析多种形式展示不同维度分析结果投诉收集用户轨迹投诉挖掘B原因定位优化建设个体轨迹辅

38、助定位单个用户、查找用户投诉具体 位置。群体轨迹分析群体的地理聚集度及业务聚集度， 评价不同区域的群体分布。个体用户 轨迹点群体用户轨迹趋势图8、投诉跟踪处理用户轨迹和感知分析第43页，共76页。投诉收集网络性能投诉挖掘原因定位优化建设网络稳定性从用户感知映射网络问题，从网络覆盖、性能、稳定性多方位定位网络问题，完成KQI到KPI的转化。38数据、图表、GIS多 维度联合展示指标从接入性、保持性、移动性、完整性、互操作等 角度全方位评估网络性能。问题小区分析直 接筛选质差小区断站次数及 时长分析深入分析断站、退服等影响用户感知的故障告警， 辅助查找网络稳定性问题。断站原因分析9、投诉跟踪处理网

39、络性能和网络稳定性第44页，共76页。39投诉收集投诉挖掘原因定位优化建设从客户投诉/用户感知入手，提升网络整体支撑保障能力与客户感知。以解决客户投诉为核心，发现感知问题，查找网络原因，指导优化建设，形成网络优化闭环。从需求热点、投诉重点、 网络短板等分析结论出 发，提升运维优化水平。支撑运维优化建设以投诉为切入点，通过用 户感知查找网络问题，不 断推进网络优化建设。用户投诉为出发点投诉优化建设感知问题网络问题10、投诉跟踪处理优化建设第45页，共76页。面向结构化数据，非结构化处理效率低基于昂贵硬件（小型机+磁盘阵列）或一体机硬件平台兼容性差：在跨代硬件或跨厂商硬件环境下常常无法部署扩展性达

40、到PB级之上可选厂商较少，易绑定具备结构化/非结构化混合分析的能力,大数据多为非结构化基于消费级硬件，以常态化硬件故障为设计出发点，不依赖高性能、高可靠性硬件保障系统性能和可靠性。基于通用硬件，平台兼容性好，可跨代，跨厂商硬件部署扩展性高，业内有上万节点级部署案例，大陆有千节点级部署transactionDBMSETLDWAnalysisClusterUnstructureStreamMultiple data sources(MapReduce)传统数据分析处理基于云计算的大数据处理Distributed architectureTraditional DB/DW TBPBEB ZBMPP

41、DW+HadoopAnalysis云计算是挖掘大数据价值的核心基础第46页，共76页。中国移动“大云”2.5 云计算平台IT基础资源 对象存储BC-oNest数据仓库系统BC-HugeTable系统监控和管理CloudMaster平台安全管理CloudSecurity移动互联网业务平台IDC服务经分集中化结算系统云计算资源池系统并行数据挖掘工具集BC-PDM并行数据抽取转换BC-ETL搜索引擎BC-SE经分系统ETL/DM信令系统物联网应用弹性计算BC-EC弹性块存储BC-EBS商务智能平台BI-PaaS数据管理/分析类计算/存储资源池BC-Hadoop 数据存储和分析平台IaaS 产品Paa

42、S 产品“大云”产品实时交易类SQL数据库BC-RDBBC-BSP 数据并行框架内存处理引擎BC-DMEK-V数据库BC-kvDB2.0产品体系2.5新增产品2.5功能增强第47页，共76页。BC-Hadoop：开源社区有很多Hadoop的发布，但是没有一项可以满足大云现有数据分析需求。BC-Hadoop将所需的特性打包形成独特的大数据平台产品大数据基础平台（BC-Hadoop & BC-HBase）IAAS分析PAAS交易PAAS云计算管理大规模：支持4000节点组成单个大数据集群高性能：提供聚合的IO访问能力，线性扩展多租户：提供多用户计算和存储能力相对隔离的手段高可用：提供Hadoop主

43、控节点，即NameNode和Job Tracker的高可用能力标准接口：消除开源Hadoop升级造成的接口不兼容，提供向下兼容的接口MapReduce 并行计算框架HDFS 分布式文件系统HBase 分布式NoSQL数据库监控和管理工具BC-Hadoop应用，包括HugeTable、PDM、BC-SE等/cmri/第48页，共76页。图计算平台（BC-BSP）IAAS分析PAAS交易PAAS云计算管理产品特性搜索引擎PageRank、最短路径等算法需大量迭代计算，基于MR实现具有较大数据同步开销；BSP并行计算模型更适于图、矩阵计算；支持大规模集群，可以达到4000节点支持海量数据计算，用户迭

44、代步骤可以设定提供用户开发接口，一方面可以与BC-PDM系统整合，一方面也可以单独使用BC-BSP：针对社交网络 分析、用户精准营销、搜索引擎PageRank计算等图计算领域的数据挖掘需求而研发的并行计算框架，针对迭代计算，计算效率优于MapReduce框架/cmri/第49页，共76页。海量结构化数据存储系统（HugeTable）基于Hadoop的海量结构化数据存储系统，利用低成本硬件提供高性能的数据加载、索引查询和并行分析能力，对外提供易于应用集成的数据访问接口大容量：支持PB级别的数据存储能力低成本：基于PC架构，不需要外接集中存储设备高性能：秒级别索引查询、数据并行扫描可靠性：数据冗余

45、备份永不丢失；全系统无单点可定制：根据应用需求选择索引类型及存储引擎接口丰富：提供标准的JDBC/ODBC/ SQL接口；提串行Scan接口和分布式MapReduce接口外围工具：支持数据、性能、故障、配置、日志管理功能；支持外部数据并行加载；支持数据快速备份、恢复IAAS分析PAAS交易PAAS云计算管理第50页，共76页。分布式NoSQL数据库（BC-KVDB）BC-RDB：根据订购关系存储(阅读基地)、用户个人信息存储(彩云)等应用需求和相关规范，增强系统操作维护功能、优化性能并提高系统可靠性。提供一个高并发、高可扩展的键值对存储系统。大规模：支持1000节点组网形成统一数据库高性能：支

46、持读写缓存，提供告诉的数据读写能力，支持高性能硬件优化一致性：支持数据强一致性和最终一致性可靠性：数据冗余备份永不丢失；全系统无单点数据模式：提供支持schema定义的复杂数据定义外围工具：支持数据、性能、故障、配置、日志管理功能；支持外部数据并行加载；支持数据快速备份、恢复IAAS分析PAAS交易PAAS云计算管理第51页，共76页。分布式关系数据库（BC-RDB）IAAS分析PAAS交易PAAS云计算管理BC-RDB是一款分布式关系数据库。即具有关系数据库的特性，同时具备可扩展、高可用的特性。主要应用于海量数据的实时在线交易处理系统。BC-RDB支持SQL92，传统交易型应用可实现平滑迁移

47、高扩展性采用share nothing架构，可以动态水平扩展，设计容量64节点高可用性存储采用节点内置硬盘，提供三副本，保障数据及服务的高可用性分布式事务支持采用两阶段提交分布式事务，保证多节点数据之间的完整性和一致性，同时保证用户操作的事务性海量数据的高性能处理多节点并行计算和多节点并行加载技术使得在海量数据存储下获得高性能。低成本采用X86集群架构，存储采用节点内置大容量硬盘，可搭建在廉价的PC机集群上，成本远远低于UNIX系统集群可以部署于自带硬盘的x86服务器，不需要小型机和磁盘阵列第52页，共76页。并行数据挖掘系统（BC-PDM）任务任务分解M 1M 2M iR 1R j子任务bl

48、ock1数据分割block1block1block2block2block2block3block3block3M 1M 2M iR 1R 2R 2R jHadoopDFSHugeTableMapReduce并行数据挖掘各种海量数据处理、挖掘应用数据交换并行数据探索Web GUI/工作流引擎SQL脚本CLI命令行应用用户权限管理 高效丰富的数据ETL操作：支持数据清洗、转换、集成等7大类45种ETL海量数据的挖掘算法：支持分类、聚类、关联分析等3大类共15种算法海量数据探索能力：支持数据统计、变量分析、分布特征探索等大规模社交网络分析：支持网络特征分析、社团发现和演化、社团展示等多模式数据接口

49、：支持与RDB直接交换数据、支持Hive、CSV格式数据支持SaaS服务模式：Web浏览器使用，并可支持应用共享支持丰富的用户UI： 支持Web图形化方式创建数据分析逻辑，支持SQL脚本方式，支持CLI命令行方式支持二次开发：Java API、Web ServiceBC-PDM：支持SaaS模式的海量数据并行处理、分析与挖掘系统。适用于经营决策、用户行为分析、精准营销、网络优化、移动互联网等领域的智能数据分析与挖掘应用主要特点并行数据ETL社交网络分析广域网IAAS分析PAAS交易PAAS云计算管理第53页，共76页。商务智能平台（BI-PAAS）产品定位利用云计算的强大并行计算和分布存储能力

50、，结合ETL 、 DM 、工作流技术，构建一个BI Paas平台，提供强大的在线分析和支持决策工具集，以方便用户快速定制、组装、搭建相应的商务智能信息分析系统产品特性BI PaaS系统主要包括二部分：开发套件：开发套件包括ETL设计器、报表设计器、集成器等一系列图形开发工具集，将各类BI能力以元数据描述的方式进行封装，供开发者进行离线BI应用开发。BI PaaS Server：包括应用层、平台层、BI能力层、基础设施层、资源层。支撑BI应用的部署、运行。IAAS分析PAAS交易PAAS云计算管理第54页，共76页。“大云”应用案例之一：大数据ETL业务流程现网时间（min）云ETL时间（min

51、）加速比例时间减少绝对值（小时）14650 1153 4.0358.322700 1571 1.7218.882100 12931.6213.491800 11501.5610.8101500 12251.224.611490 325 1.512.8现网3.2天，减少为0.8天节约近2.5天现网90分钟减少为10分钟仅为1/10现网时间（min）云ETL时间（min）MR时间云ETL脚本加速比例时间减少绝对值（小时）流程390 10 无9.001.3流程4130 59 403.251.5流程560 14 无4.280.8流程680 25无2.500.9流程7130 47 无2.761.9滚详单

52、类出月表类第55页，共76页。帐详单系统存储数量急剧膨胀，传统架构难以满足当前业务运营要求，系统面临扩容难题“大云”应用案例之二：大数据查询业务采集预处理计算1计算2融合处理HugeTable表2HugeTable表1原始数据消息营业厅系统营业厅1营业厅2营业厅3营业厅4某地市应用，每个月帐详单总体数据量10TB话单通过HTLoad工具批量加载帐详单查询通过SQL或Native API接口进行复杂分析则通过MR接口进行HugeTable支持数据按照Join key预先进行数据划分，减少join过程中数据在节点间的拷贝应用效果：加载：支持数据并行加载，数据加载保证完整性和可靠性；查询：在高并发条

53、件下，数据查询性能一般可达到网络IO（对于千兆以太网单节点可达1GB）或磁盘IO瓶颈;更新：可支持单条或批量数据增删改查操作，聚合更新带宽可达网络IO极限；压缩：对数据内容进行高效压缩，节省磁盘、网络IO，节省存储空间；第56页，共76页。“大云”应用案例之三：大数据挖掘业务新业务提升模型：通过客户细分与手机报业务匹配，实现精确营销。Kmeans算法，10节点云平台。效果：业务1用户渗透率提高48%，业务1收入提高64%业务1用户数提高76%3个地市公司直接使用BC-PDM建模，验证BC-PDM在功能、性能、易用性上能满足现网需求，应用效果显著地市公司1地市公司2外来工其它客户的识别模型：C4

54、5分类算法，6节点云平台。模型准确性较好，极大提升了营销效率，也极大节约了成本地市公司3欠费风险监控与个人客户信用度应用：8节点云平台。首次第二次第一批第二次第二批参加试点用户数500050008000减少工单量136443702444欠费情况2923.1630609.817071.38欠费人数1491148676回收金额60410136561463621、减少了可观的停机工单量2、延停后欠费用户比例上升客户服务与价值提升欠费风险控制重要前提最终目的第57页，共76页。“大云”应用案例之四：分布式交易数据库TRM：终端进销存系统（在线交易+统计报表）高并发：能支持现网3000个用户同时在线高可

55、用：在线主主热备集群，集群内部多副本（强一致）功能：支持兼容SQL92语法，应用改造时间短，开发速度快（1-4周）可运营可管理：提供命令行监控工具，集成BOMC网管。稳定性：早期出现过较多故障（含严重故障），提供改进产品和运维手段，实现稳定运行，紧急故障在1-10分钟之内抢通。业务：服务于各终端网点、经销商、各级公司以及供应商的销售支撑业务管理平台，实现对移动终端所属的零售商和零售店的终端需求和终端发货的集中管理。规模：预计接入组织（含所有网点、各级管理部门、经销商和供货商、售后等）达到几万水平需求：终端进销存管理系统需要一个支持实时交易处理、SQL标准、高并发、具有高可靠性的关系数据库系统。

56、BC-RDB方案架构： 6节点组成2个安全组，每组3副本，支持双集群热备，集群内部读写分离。第58页，共76页。提供更大、更快、更强、更高质量的大数据能力Volume静止的数据TB-EB甚至更大规模的现存数据账单、CDR、网页库Velocity运动的数据数据流，响应时间为毫秒-秒时间窗口日志、交易、信令、M2M、消息、监控Variety数据形态各异结构化、半结构化、非结构化、多媒体数据等Veracity数据不够精确由于不一致、不完整、模糊、延迟、模型错误、伪造而使数据不够精确ergen.co.nz/Global/Images/BlogImages/2013/Defining-big-data.

57、png第59页，共76页。40一运行分析视图二大数据平台总体架构规划支撑视图三决策支撑视图四目录第60页，共76页。41 通过“覆盖情况”专题寻找可能的问题区域基于地市/网格/场景/ 扇区/基站等不同维度呈 现区域内现网站点情况 结合“网络结构”专题查看区域内站点分布情况 通过热度图呈现区域用户数量、业务量；通过区域内不同制式的 终端数量为4G网络建设和2G退网提供支撑；基于收入、用户、终端、 业务情况提供资源重点投放排名和LTE建设区域推荐； 在Web界面上呈现各类结果图层供规划参考，并 提供手动加站和批量站点 导入功能；平台从现网资源情况、存在问题、用户终端业务分布等多方面为网络规划提供信

58、息参考；在此基 础上提供规划建议；并通过GIS辅助平台进行方案落地；了解资源现状定位存在问题用户终端业务提供规划建议方案平台落地综合用户感知情况判断 是否存在问题；完成站点规划后在“规模 调整”模块自动计算单个站 点投资，并根据设定优先级 规则生成三年滚动规划；1、平台落地基本思路第61页，共76页。42对234G的室内外无线侧资源进行统计与展现，从而了解本地网的站点分布和资源情况；可以进行省份、城市、BSCNodeBeNodeB等多维度查询及统计结果的呈现，呈现方式包括表格和地理呈现。2、了解资源现状菜单维度 选择数据报表呈现指标图表显示GIS展示第62页，共76页。43查看本地网 覆盖整体

59、情况3、定位存在问题覆盖情况和网络结构覆盖情况：基于MR/路测数据从地市场景网格逐级统计覆盖情况，并在地图上对弱覆盖区域予以呈现；网络结构： 针对现网站点的站高、站密和覆盖有效性进行分析，并结合覆盖情况进行关联分析，为问题定位 提供参考覆盖情况网络结构查看场景维度覆盖扇区粒度的 覆盖情况呈现通过平均站址、高/中/正常/稀疏站数量/占比等指标，并结合GIS 多维度（地市、场景、网格等）呈现区域内的站密情况。站高分析通过软切换比例是否合理，并结合覆盖有效性指标对区域内网络整 体覆盖的合理性进行评估。将网络结构与覆盖 情况结合综合定位 问题区域第63页，共76页。444、定位存在问题用户感知分析构建移动互联网主流业务的感知评价方法体系，输出单用户级综合业务感知评价、小区级综合业务感知评价， 形成基于感知门限的预警及回溯机制，实现差异化建设目标，精准匹配客户需求。1、建立主流业务的用户感知体系2、获取用户及用户群体的感知3、获取扇区级主流业务感知4、基于感知的问题定位流媒体感知结果下载业务感知结果及时通信感知结果浏览业务感知结果其他业务感知结果数据业务总体感知结果第64页，共76页。455、用户终端分析结合O域信令与B域用户类型信息及终端库，实现针对终端、用户类型的聚类统计和地理化呈现。2G用户2G终端分布2G用户3G终端分布2G用户4G终端分布3G用户2G终端分布3G用户