大数据平台架构及建设思路ppt课件

1、大数据平台架构及建设思路，中国移动通信集团设计院有限公司，2020年7月15日，3。中国移动大数据平台建设思路，2 .主流技术比较，1。大数据介绍，目录，第1页，什么是大数据？“大数据”是指数据集的大小超过了典型数据库软件的收集、存储、管理和分析能力。目前，大数据的一般范围是从几兆兆字节到几兆字节。麦肯锡无法在一定时期内用传统的软件工具抓取、管理和处理大量复杂的数据集。维基百科有大量的数据，可以快速获得或以各种形式获得。传统的关系数据分析方法很难对其进行有效的分析，或者需要进行大规模的横向扩展才能对其进行有效的处理。国家标准与技术研究所(NIST)拥有庞大、快速和多样化的信息资产，需要通过高效

2、和创新的信息技术进行处理，以提高发现见解、做出决策和优化流程的能力。Gartner Inc .第2页，运营商对大数据的理解，以及网络数据、用户数据和应用程序数据的融合构成了我们的“大数据”。这些结构化和非结构化数据的处理和建模形成了对用户、服务、资源、终端和其他对象的洞察。这些见解与营销、网络运营和维护等业务流程之间的联系将为公司带来新的价值。大数据具有海量、多样、快速和有价值的特点。根据爱立信的预测，到2018年，每个手机终端将每月产生2G数据。(爱立信移动报告，2013)，传统商业智能，大数据1，大数据2，批处理，预定义查询和模型，非结构化数据，包括互联网日志，网络文本信息，非实时或准实时

3、，流处理，实时内容智能感知，策略执行，连续更新，价值，实时，收集，建模和应用，数据处理的实时性能与价值成正比。第3页，中国移动的数据分布，B域，B域数据主要支持客户关系、用户行为、产品信息等。O域，O域数据主要支持设备数据、告警信息和性能信息，支持网络监控、网络优化、用户投诉处理等。移动领域，移动领域数据主要支持财务、人力资源、供应链和办公信息等。支持企业管理、企业办公信息化等。DPI数据域，主要由博客、内容组成、用户轨迹、网络信令等组成。可以支持流量管理、网络运行维护、增值服务等。业务平台和九大业务基础：基础数据主要基于用户信息和用户行为信息，可以支持个性化推荐、产品和服务优化等。WAP/短

4、彩信：存储网络日志，支持定位网络和终端问题。第4页，运营商大数据应用，内部：客户在线数据处理、网页抓取和网页分类、客户在线行为明细列表查询分析挖掘、在线日志查询流程分析、客户视图、精准营销网络运营维护优化，外部：与航空公司合作，建立航班客户识别模型，为大数据挖掘和客户开发全过程提供大数据信息服务。提供有针对性的营销解决方案，与交通部和省级公路合作，开展“移动大数据分析在交通行业的应用”研究项目，利用通信信令实时分析景区人流，结合游客行为数据挖掘，基于客户授权为旅游管理部门和景区提供决策参考，充分发挥移动客户实名数据优势，为互联网金融提供客户信息验证服务，配合外部客户在移动冲浪平台上实施精准移动

5、广告。目前，各大电信运营商都在积极探索和开发内部业务，但从目前的应用发展来看，电信运营商的大数据仍然主要用于内部业务，如支持内部客户流失分析、营销分析和网络优化分析等。外部应用模式尚未形成第5、3页。中国移动大数据平台建设思路，2 .主流技术比较，1。大数据介绍，目录，第6页。大数据具有数据量大、数据类型多、数据处理速度快、价值密度低等特点。在传统分析系统架构(RDBMS小型机高端阵列模式)下，传统数据库无法支持海量数据(如超过100TB，性能下降)大数据处理技术，大数据挑战传统数据处理技术体系，大数据处理技术，旧SQL:传统关系数据库NewSQL:新MPP数据库，关系数据库NoSQL:一般指

6、非关系数据库Hadoop:分布式存储和处理大量数据的软件框架，第7页，三大数据技术比较， 面对大量的数据进行实时数据分析和离线数据分析，只有传统的数据库技术不再适用于MPP数据库：它适用于结构化数据的深入分析和复杂查询，以及多变的自助分析应用和数据集市。 Hadoop:适用于海量数据存储和查询(明细列表存储和查询)、批量数据ETL、非结构化数据分析(日志分析、文本分析)等。传统数据库具有很强的复杂关联、汇总和事务处理能力，适用于数据量小、可靠性高、数据值密度大的应用。第8页，中国移动大数据目标架构，数据处理层(数据存储、数据计算、数据共享)，基础数据资源库(Hadoop)，map/reduce

7、2，hive，hbase，HDFS，分析数据资源库(MPP)，分布式关系数据仓库，spark，shark，yard，统一调度，流处理资源库，实时行为识别、复杂事件处理框架、实时模型计算、任务调度、资源管理、统一操作、数据管理、元数据管理、数据质量管理、子数据模型计算、网络数据模型计算、管理分析模型计算和数据调度。Hadoop平台软件部署在Hadoop大数据处理集群中，实现海量非结构化数据的存储和处理以及结构化数据的纵向汇总。在当前各种数据和复杂数据处理的情况下，采用单一技术解决所有问题是不合适的。大数据平台需要采用Hadoop资源库、MPP数据库和流处理资源库来混合和匹配大数据技术架构。数据平

8、台基于云计算和大数据技术，如MPP、Hadoop和流处理。流数据和复杂事件处理(CEP)规则引擎平台用于实时处理数据流，以实现对高速数据流的访问和访问，一体化资源池(DW)，OLAP应用，DW数据库用于OLAP应用的统计分析的分析和处理，第9、3页。中国移动大数据平台建设思路，2 .主流技术比较，1。大数据介绍，目录，第10页，建设思路，由易到难，稳步推进：初期以数据整合为主，内外数据服务逐步到位。管控架构，同步推进：同时推进数据标准化和组织改革，为大数据共享平台商业化奠定基础。自我控制与能力内化：逐步培养自我研究团队，构建R&D与运营的整合能力。第11页，中国移动大数据平台架构，企业级省级大

9、数据平台的技术架构包括四层：数据采集、数据存储和计算层、开发框架和应用中心，并包括统一运维管理，为各类用户提供服务。在大数据技术架构中，数据存储和计算紧密相连。第12页，建设重点1与其他分析平台、大数据共享平台的关系：全网xDR数据采集、标准化和全存储(1个月)全网网络管理数据采集、标准化和全存储大数据共享平台负责XDR数据和网络管理数据的统一集中采集和预处理；提供上层应用程序对xDR细粒度数据的查询响应。根据应用需求，多维小粒度汇总、数据集成、存储提供的详细数据查询、轻量级汇总数据查询性能管理系统：从大数据共享平台获取应用程序每小时所需的全部汇总数据。数据缓存层：负责大数据共享平台数据的深度

10、处理和缓存；为应用层提供各种汇总数据的存储、处理和共享，以及综合分析和深度挖掘。应用层：承载各种上层应用软件和第三方应用，实现上层应用。第13页、2g、3g、4g、WLAN、网络、数据采集、数据解析、数据存储、应用、e 1接口、信令解析、dpi处理、流量识别、CDR融合、自动柜员机接口、FE/GE接口、每个应用系统的数据存储和数据服务、性能分析、行为分析、数据操作、行业应用，第14页，建设重点2制定数据治理规则和数据治理方法，第15页，建设重点3HADOOP服务器测量模型，模型构建：根据HDFS存储容量计算，主要分为两个方面：第一其次，在某些配置条件下，当X86服务器承载不同的数据处理技术实体

11、时，它可以提供有效的存储容量。最后得出结论，当一定量的数据采用不同的数据处理技术时，需要配置的X86服务器数量=X86服务器能够提供的有效存储容量。HDFS存储容量需求计算模型，根据该模型，总共需要13030.4=5台X86服务器。第16，1页。HADOOP集群互连带宽要求：机房间：对等带宽机房间互连带宽/节点数。Hadoop集群的名称节点不支持机房间部署。当数据节点跨机房部署时，机房间互联电路是关键电路，承载着两个机房内数据节点之间的通信。如果互连电路出现故障，群集将不可用。结论：1 .HADOOP集群部署在单个本地点，可以保证集群的正常运行，通信效率高。2.HADOOP集群部署在多个站点。

12、为了减少通信延迟，必须保证集群节点之间的传输带宽。根据当前集群中228个节点的计算，需要300克的互联链路(带保护链路)，传输投资约为1000万元。综合考虑，建议将大数据平台部署在单个本地区域。构建重点4HADOOP集群的本地地址的选择1/2，第17、2页。HADOOP集群互连延迟要求：为了保证数据节点之间的数据同步，HADOOP集群中节点之间的延迟要求小于1毫秒(行业公认的指标)，如果延迟大于1毫秒，将会出现数据同步错误。当HADOOP集群部署在一个房间中时，节点之间的通信延迟约为216微秒。HADOOP集群跨机房部署时(以魏武路和淮南IDC机房为例)，节点间通信延迟约为1581微秒，不能满足数据同步要求。结论：1 .与单个本地点部署相比，跨本地点(节点间距离小于130 km)部署的HADOOP集群节点可以正常工作，但在单间部署时，节点间的