cProc江苏移动云信令平台成功案例.doc

移动云信令平台案例一、项目背景截至2011年第二季度，全国手机用户量已达到9.6亿，并且随着3G网络的推广，手机用户量还在不断攀升。与此同时，每天手机网络产生的移动信令数据量也在上升。目前，每天仅语音业务产生的信令数据量就高达几百TB，每月产生的信令数据量高达数PB。如果想从这么大量的数据中查找所需要的信息，会是一件非常困难的事情。如此海量的数据难以保存在集中式的数据存储系统和常规的关系型数据库中。为了解决目前海量数据存储的困难，提高海量数据查询速度，江苏移动开展了移动信令平台项目。移动信令平台具有数据量大，数据类型复杂。同时为了能够快速正确分析移动网络性能并对网络故障进行快速定位，系统还要求具有快速的查询和容错能力，保证系统7*24小时提供搜索服务。根据这些要求信令平台需要具备如下功能和特点：1. 支持海量数据的实时入库采用大量机器组成的云平台，能够提高对海量数据的快速入库，入库速度高达千兆每秒。2. 支持海量数据的实时索引能够实时监控入库的新数据，并对其建立具有高效查询速度的索引，达到高速检索。3. 支持海量数据的快速查询 能够将用户的查询任务分解到平台的各个机器上，实现分布式并行计算，从而高效的利用系统资源，能够快速响应用户查询请求。4. 系统具有高度容错性当任意一台机器宕机，系统能够自动分配新的机器接替宕机机器的任务，从而实现系统的高度容错，保证了结果的正确性。5. 系统具有高度可伸缩性 平台能够通过动态的添加机器，达到吞吐量和用户相应时间的线性增长。二、移动云信令平台解决方案信令数据的网络优化是一项技术难度大、涉及范围广、人员素质要求较高的工作，并且是一个长期的过程。网络容量的不断发展，网络用户数量的不断增加，网络设备的不断更新给网络优化提出了更高的要求。路测是当前实际网络优化过程中最有效的手段，它可以实现对测试过程中收集的数据进行分析，找出问题所在，不断对系统进行优化，最终达到系统在大业务量时稳定运行的目的。但是由于通信业务的数量和复杂程度的不断加大，海量的路测数据的处理和分析成为制约路测技术的最主要瓶颈。现在很多行业都面临着海量数据的存储和处理，摆在我们面前的是一个非常严峻的考验。针对于移动行业信令海量数据的特点和要求，提出以下解决方案：1平台解决方案架构在中国移动提供的计算资源池上，申请若干X86架构计算/存储节点，虚拟出海量存储空间、处理能力和数据管理能力。同时研制面向应用的分布式数据处理软件，满足信令合成、索引、查询、指标分析、专题分析、深度数据挖掘等应用需求。信令共享平台是一个处于信令采集与信令监测应用之间的系统。从系统基本组成与构架上来看，该共享平台由7个主要部分组成：信令数据合成处理系统，信令数据订阅系统，实时跟踪系统，信令数据存储系统，信令数据查询分析应用系统，网络管理系统以及系统管理。cProc云处理平台应用在信令数据查询分析应用系统中。信令共享平台的基本组成与构架2 海量数据入库设计 将大量的合成数据存储到由大量X86架构计算机构成的具有良好可靠性和可扩展性的分布式云计算机平台上，能够对PB级的信令数据进行实时监测处理，提供实时查询分析等多种业务的支持，能够对数据建立实时的索引，处理速度高达每秒千兆。整体入库采用分布式多点入库，整体架构如下图cProc能够实时监控新产生的数据文件，并对其建立相应的索引文件，独有的分布式调度技术，可以很好的协调各个机器之间的负载，保证了整体的性能。同时入库的数据需要有备份机制，那么采用HDFS中的副本管理机制，可以根据配置文件，自己设定副本个数，而且HDFS可以根据文件被访问量来自动调整副本的个数，以加快文件读取的性能。通过该副本管理机制可以完全解决数据备份和容灾，任意节点宕机数据不会丢失，查询功能不会停止服务。3信令查询功能设计信令数据查询分析应用主要提供包括信令数据查询、指标业务数据查询、核心网分析、网络优化分析、终端专题分析查询、信令专题分析查询、用户专题分析查询等功能，以及相关的报表处理等功能。信令查询处理时，由于信令数据量巨大，难以存储在常规的关系数据库中，而如果直接存储在HDFS或HBase中又难以保证查询效率。为此，需要考虑对信令数据进行索引处理，并将索引数据存储在HDFS或Hbase中。为了建立信令索引，需要在信令数据传送到云存储系统中时，进行实时的索引处理。那么通过数据立方对元数据信息进行数据分析、清理、分割之后，将索引文件散乱存储在云存储系统上，可以大大提高数据查询和检索的性能。但是由于信令数据流量巨大，需要调度使用多台服务器节点进行并行处理。同样，5分钟以上时间粒度的指标统计数据计算、以及各种专题数据的计算也需要进行并行处理。此外，用户从客户端发起以上各种数据查询分析任务时，也会产生大量并发的查询任务。以上各种查询分析计算任务的处理将需要考虑在计算集群上进行并行化任务调度和负载均衡处理。这些并行计算任务则是交给cProc进行并发分布式处理，负载均衡处理则将使用Zookeeper基于计算集群完成统一的控制和实现。cProc查询支持标准SQL查询语句，客户端通过提供的接口发出请求后，cProc能够对SQL进行快速的语义分析和语句优化，然后将查询任务分配到多个机器上，并行的快速查找索引文件，对用户请求快速响应。在查询过程中，如果有机器宕机，cProc功能自动将查询任务动态的划分到其他机器，保证结果的准确性。整体查询结构如下图 cProc位于系统的业务层和存储层之间，为业务层检索海量数据提供了高效稳定方便的查询接口。采用分布式锁，可以很好的协调各个机器的负载均衡。cProc通过把对数据集的大规模操作分发给网络上的每个节点实现数据处理，每个节点会周期性的把完成的工作和状态的更新报告回来。随着节点的增多，cProc的处理能力将成倍数增长。cProc支持100GBps以上量级的数据流实时索引，1s内响应客户请求，秒级完成数据处理、查询和分析工作。三、实施效果系统采用cProc云处理平台解决了客户以下几点需求：平台支持海量数据的实时入库、实时索引、快速查询、高度容错性、高度可伸缩性等。1 系统查询界面用户通过前台界面选择查询的时间和号码以及要查询的业务类型，点击查询按钮，系统能够在1s内返回结果，大大减少了用户的等待时间，具有较高的用户体验。系统采用C/S模式，界面如下2 系统性能在整个项目中，信令数据采集后经过数据立方实时索引，并将元数据和索引数据存储到云存储系统上，实现数据冗余。查询时，通过cProc云处理平台进行并行分布式处理，而cProc在查询和检索经过数据立方分析过后的数据方面具有极大的性能优势。云信令平台中的数据处理结果：记录数(条)号码给出响应处理时间 1 万1585102*0.01s内 0.052s 10万1586203*0.02s内 0.076s 100万1398562*0.04s内0.109s 1000万1381547*0.08s内 0.347s 1亿1377009*0.2s内 0.543s 10亿1586917*0.4s内 0.787s 100亿1377425*0.7s内 0.926s从结果可以看出：cProc云处理平台是一种处理海量数据高效分布式云处理平台，cProc云处理平台可以从TB乃至PB级的数据中挖掘出有用的信息，并对这些海量信息进行快捷、高效的处理。cProc云处理平台支持100GBps以上量级的数据流实时索引，1s内响应客户请求，秒级完