GBaseMPP数据仓库和数据中台建设方案课件

1、GBase MPP数据仓库和数据中台建设方案逻辑数据仓库助力新一代数据仓库、数据中台建设第1页，共39页。新一代数据仓库和数据中台 助力企业信息化3.01第2页，共39页。1、信息化1.0阶段（部门级业务及事务处理）20世纪80年代到90年代，目前大部分的大中型企业都已脱离这一阶段，仅有部分小企业信息化仍处于这一状态。2、信息化2.0阶段（企业级管理系统）20世纪90年代中后期开始,目前大部分大中型企业都处于这一阶段，信息孤岛是 这一阶段企业面临的主要挑战，集成、整合是工作的重心和难点。3、信息化3.0阶段（企业级决策支持）随着云计算、大数据等新兴技术的快速发展,信息化地位再次提升，信息化已成

2、 为战略创新的重要工具和手段。目前处于该阶段的企业大部分是互联网企业和 金融、电信信息化程度较高的行业，是大多数企业未来信息化建设的目标和方 向。信息化3.0也称为数字化3.0，它以数据来驱动业务变革，该阶段是 行业用户数字化转型升级的目标信息化内容数据分析利用多系统整合单系统应用提升效率流程与业务与管理创新 服务创新部门内社会化组织内信息化范围信息化价值信息化1.0信息化2.0信息化3.0企业信息化技术发展历程第3页，共39页。企业信息化2.0企业级管理系统ERP、CRM、PDM企业内及上下游业务、流程整合企业信息化3.0企业级决策支持数据驱动 业务变革LDW、DaaS、Data lake企

3、业内部、外部、互联网、物联网全数据 融合，大数据、人工智能，驱动业务创新，互联网+下一代大数据平台，数据中台，新一代企 业级数据仓库，数据分析、预测、数据驱 动业务企业信息化1.0计算机辅助办公财务、人事、OA、进销存 部门级业务及事务处理部门级管理系统利用计算机完成文字处理、报表统计、 账务记录企业信息化技术发展阶段特征第4页，共39页。数 据 集 市Just Give MeSome Data and Fast！自下而上/企 业 级 数 据 仓 库整 合 数 据 仓 库Give MeGood DataBut Do It Efficiently自上而下EDW/全 面 分 析 生 态 环 境新

4、一 代 数 据 仓 库Give Me All DataFast，Simple & Effectively!融合，分层，统一管理EDWDiscoverData lakeUnified Data Platform 数据虚拟化数据仓库技术架构演进：从报表统计到全数据分析第5页，共39页。数据实时化（实时同步和流式处理能力）：数据实时化，是指数据从产生（更新至业务数据库或日志）到最终消费（数据报表、仪表板、分析、 挖掘、数据应用等），支持毫秒级秒级分钟级延迟（严格来说，秒级分钟级属于准实时，这里统一称为实时）。数据虚拟化（虚拟混合运算和统一服务能力）：数据虚拟化，是指对于用户或用户程序而言，面对的是统

5、一的交互方式和查询语言，而无需关 注数据实际所在的物理库和方言及交互方式（异构系统异构查询语言）的一种技术。用户的使用体验是面对一个单一数据库进行操作，但其实这是一个虚拟化的数据库，数据本身并不存放于虚拟数据库中。数据平民化（可视化和自助配置能力）：普通用户（无专业大数据技术背景的数据从业人员），可以通过可视化的用户界面，自助的通过配置 和SQL方式使用数据完成自己的工作和需求，并无需关注底层技术层面问题（通过计算资源云化，数据虚拟化等技术）。数据协作化（多租户和分工协作能力）:技术人员和业务人员可以在同一个平台上，发挥各自所长，分工协作完成日常BI活动。这就对平台的 多租户能力和分工协作能力

6、提出了较高要求，一个好的现代数据平台是可以支持更好的数据协作化能力的。New Data Warehouse的重要能力第6页，共39页。Gartner 2012：Pace Layered Application StrategyGartner 2016 : bi-modal IT framework核心目标是解决企业面对业务发展需求与IT架构、应用架构速度不一致的矛盾。这种矛盾随着信息社会的扁平化变得越来越尖锐！业务需求的多样性、灵活性、不确定性、交付的速度 vs IT的稳定性、确定性的矛盾应用架构、数据架构造成的各种信息、数据孤岛 vs 全局的洞察力、未来的预测需求IT建设思想、方法的“标准化

7、“ 与 业务创新需求的灵活性的矛盾投资、采购模式的“标准化”与 试错模式的矛盾业务中台、数据中台 etc：why ？解决方法： 将业务分成不同的层次和步调、采用不同的方法投资、构建；将数据平台化、服务化，资产化。这样可 以同时兼顾后台重量级应用的稳定性、长生命周期与前台创新业务和应用的灵活性、短生命周期的需求。“中台”的 主要目标是让前台的业务更加灵活、更具有创新性，是以创新业务驱动的一套方法与技术的组合。第7页，共39页。类型SOR（System of Record，process and data）SOD（System of Differentiation， Integration and

8、 Exchange）SOI（System of Innovation， Interaction and Content）改变节奏缓慢、不频繁、渐进（按年计）中等、比较频繁（按月计）灵活、快速、随意（每周，甚至每天）业务流程集成的、标准化的、稳定的高度客户化、配置化不清晰、不确定、探索式、实验性生命周期大于10年2-5年3-12个月战略关注点高度标准化、流程化、运营效率敏捷、灵活、竞争优势颠覆式、创新业务、尝试性质资金来源CAPEX & OPEX：年度预算IT或部门的预算部门的OPEX，创新预算相关方高度的高管参入、低度的最终用户参与相关LOB主管，用户核心人员低度的高管参入、高度的最终用户参与

9、“The pace-layered approach acknowledges that process and data integrity requirements will be different within each layer,and defines a set of architectural standards at each level to accelerate an organizations ability to adapt”来源：GartnerGartner：Pace-layered Application Strategy for Innovation第8页，共3

10、9页。Gartner Researchs bimodal IT framework recognizes that traditional development practices are no longer sufficient for organizations with growing enterprise application demand. Instead, the bimodal IT strategy calls for two parallel tracks that support rapid application development for digital inn

11、ovation priorities, alongside existing application maintenance and operational stabilization projects.双峰模式将快速变化的创新型业务需求与现有的稳定的核心业务需求融合为一体，在满足企业传统业 务稳定的同时带来新业务的快速创新与迭代来源：GartnerGartner: bi-modal 双峰模式第9页，共39页。Characteristics for Mode 1: Development projects related to core system maintenance, stabilit

12、y or efficiency. These require highly specialized programmers and traditional, slow moving development cycles. There is little need for business involvement.Characteristics for Mode 2: Development projects that help innovate or differentiate the business. These require a high degree of business invo

13、lvement, fast turnaround, and frequent update.Mode 2 requires a rapid path (or IT fast lane) to transform business ideas into applications.来源：GartnerBi-Modal 与 Pace-layered Application Strategy第10页，共39页。数据中台：数据中台是指通过数据技术，对海量数据进行采集、计算、存 储、加工，同时统一标准和口径，形成大数据资产层，进而为客户提 供高效服务。它是一个承接技术，引领业务，构建规范定义的、全域可连接

14、 萃取的、智慧的数据处理平台。最终实现了：让一切业务数据化，一切数据业务化数据中台的核心是在多源异构的数据集下，数据中 台怎样处理数据共享，数据的共享与分享其实是整 个大数据的精神所在数据中台的定义第11页，共39页。数据烟囱：各个系统野蛮生长，重复建设，数据孤 岛传统的数据仓库：解决不了海量数据、异构数据，实时处理等一系列问题多个项目，重复工作：没有把能力沉淀成产品和平台，为了快 速响应用户的需求，借助平台化的公用 数据模型提高响应力数据烟囱传统数仓进化到逻辑数仓HadoopJS. 传统数据仓库数据烟囱进化到数据共享多个项目，重复工作公用数据模型，提高 响应力为何需要数据中台 ？第12页，共

15、39页。数据技术：海量数据信息的采集，计算，加工对数据的标准和质量进行统一包括平台、工具、数据、组织、流程、规范等一切 与企业数据资产如何用起来所相关的内容数据资产：形成统一的数据标准产出业务逻辑和数据模型将数据变为数据资产为业务提供服务数据服务：定义服务中心和服务根据实际需要提供实际业务服务数 据 技 术数 据 资 产数 据 服 务数据集成数据存储数据运算其他组件数据联邦数据虚拟化API消息文件其他客户 洞察 服务位置 洞察 服务营销 管理 服务终端 洞察 服务金融 征信 服务数据开放服务内容客户 细分产品推荐政企挖潜离网挽留内容偏好网络优化垂直行业客户属性客户 轨迹客户 上网区域 视图终端

16、 视图知识 图谱时间 序列参与 人服务资源账务营销事件财务公共挖掘 模型融合模型基础 模型某电信行业数据中台的组成数据中台的组成第13页，共39页。业务数据化：回归服务的本质-数据重用数据存储和数据计算的能力配合微服务等技术，对外提供“数据服务的共享”数据模型重用和快速搭建：对数据知识进行沉淀和持续的发展，从而使模型真正成为可重用的组件基于已有组件来支撑数据分析的快速响应和创新数据业务化：数据中台是培育业务创新的土壤通过数据中台管理的大数据以及人工智能来发现规律，做出对的决策将数据资产作用到企业业务场景中，包含优化现有业务和创造新的业务创造业务（数据业务化）响应业务（业务数据化）响应运营（数据

17、烟筒）为响应当前运营需 求而不得不开展的 一系列的数据治理 工作。为将数据变成一种 基础服务，业务可 以选择性的使用基 础服务。将数据变成个性化 服务，可以组合产 生新的业务场景。企业整体业务部门IT部门数据中台给业务快速响应和创新带 来了价值数据中台战略给企业带来核心竞争力的提升“提质转型，降本增效”数据中台给IT部门带来组织职能转变机 会；数据中台带给IT部门整体效能的提升； 数据中台提升整体IT部门技术团队的能 力。企业对数据利用的三个阶段：响应运营，响应业务，创造业务数据中台给企业不同部门带来的价值数据中台的价值第14页，共39页。加快 创新改进 运营精准 营销提升 服务维修分析更好地

18、提供保修 通过快速分析和响应提升 客户体验和满意度根据客户需求来支持产品设 计更快识别新的商机，合理布 局监控和优化流程提升效率通过检测和分析提升产品 质量理解客户实现向上和交叉销 售用质量更佳的营销数据 增加收入处理/分析/挖掘HRERPEPMSCMCRM客户行为/情感客户维修投诉设备/传感器数据事件/地理位置客户信息/购买维修花费/地区生产线/产品检测产品/商家/库存全数据数据中台驱动业务变革第15页，共39页。GBase 8a MPP逻辑数据仓库 技术与实践2第16页，共39页。当前数字商业的场景越来越复杂，数据容量越 来越大，数据也越来越分布。数据的集成，分 享和组织管理成为重要目标，

19、统一管理是大势 所趋关系型数据库Hadoop新鲜数据 常规处理历史数据 深度分析市场表现方面，传统数据库5强依然占据88.7% 市场份额。表明传统SQL数据库依然有着很大 的用户市场尽管传统SQL数据库和Hadoop有各自独立的工作 场景，它们之间的数据融合和双向数据流通越 来越成为趋势Gartner预测：数据融合产生价值，统一管理是大势所趋第17页，共39页。“逻辑数据仓库的数据不再局限于结构化数据，还包括非结构化数据，如视频、音频、文档等格式。逻辑上是一个大的数据仓 库，底层可以包括各类数据源，进行关联处理.”Logical Data WarehouseGartner Definition

20、Description：The Logical Data Warehouse (LDW) is a new data management architecture for analytics combining the strengths of traditional repository warehouses with alternative data management and access strategy. The LDW will form a new best practice by the end of 2015.“The LDW is an evolution and au

21、gmentation of DW practices, not a replacement“A repository-only style DW contains a single ontology/taxonomy, whereas in the LDW a semantic layer cancontain many combination of use cases, many business definitions of the same “The LDW permitinformations an IT organization to make a large number of d

22、atasets available for analysisvia query tools and applications.Gartner Hype Cycle for Enterprise Information Management,2012逻辑数据仓库：随处运行、随处保存、随处使用第18页，共39页。未来的数据管理和集成将会变得更加“关联”（Connect），更少 “采集”（Collect）从数据被“采集”到应用其价值，这中间有相当长的流程（如上左图所示），包括描述、整理、集成、分享、治理和实施。无论数据是在本地、云端、某个设备上或任何地方，都可以在数据 保留在原地的情况下，将它们关联

23、起来，而无须采集到特定地方（如上右图所示），通过关联自动发掘数据、透过机器自动意识识 别数据中的价值、认定有价值的数据、分析数据、自动采用适合数 据的安全措施、分享数据、优化数据。逻辑数据仓库：重关联，轻采集第19页，共39页。下一代大数据平台的技术架构设计模型对应的是Gartner 2016年推荐的新一代企业级数据平台逻辑数据仓库数据仓库模式解决的问题核心技术LDW（Logical Dataware House，逻辑数据仓库）多个数据源以及多种类型数据的综 合分析场景双峰（bi-modal）工作模式数据虚拟化（Data Virtualization）实现 统一接口，统一访问数据联邦（Data

24、 Federation)实现跨数据 源数据访问和计算Operational DW（运营数据仓库）实时加载数据实时分析数据实时指导业务运营In-Database 大数据分析流数据分析Context-independent DW（模型无关数据仓库）深度数据挖掘复杂机器学习R语言无模式数据的深度机器学习文本分析挖掘的计算引擎和算法库图分析的计算引擎和算法库下一代大数据平台的技术架构： Gartner推荐的逻辑数据仓库第20页，共39页。非结构化结构化半结构化全类型数据融合Multi-Model数据虚拟化：统一入口随处保存a关联分析 在线分析批量处理 离线分析流计算图计算多种数据计算模型的融合数据联邦

25、：算法融合，透明使用随处使用关联分析挖掘/预测机器学习深度学习数据集成全数据的实时流转数据联邦：数据流通随处使用逻辑数据仓库（LDW）核心技术 数据虚拟化、数据联邦第21页，共39页。统一接口(SQL & HQL)统一查询语言跨域访问统一用户管理和权限控制统一元数据跨引擎优化器和计划器跨引擎关联GBase8a MPP （逻辑数据仓库LDW)Data Exchange Layer并行数据交换跨引擎数据一致性实时同步OracleMPP ClusterHadoop跨引擎分区镜像计算扩展跨域和跨引擎的统一调度器开放的插件式引擎适配器数据完整性数据虚拟化：统一SQL接口透明跨引擎访问全数据类型数据融合透

26、明跨域访问多级数据中心数据联邦：全算法融合打通计算引擎数据GBase 8a MPP 架构（LDW）：数据虚拟化、数据联邦第22页，共39页。数据采集数据管理数据分析挖掘数据服务与共享流数据静态数据IoT平台+实时算法逻辑数据仓库各类统计、分各种数据服务接口统一的数据视图（接入、访问、元数据、安全）统一的异构多引擎优化、调度层关系模型结构化数据集非关系模型半结构、非结构化数据集OLTPOLAPKV、ML、Graph、Stream、FullTex统一的数据实时流转层析、挖掘、预 测算法下一代融合计算平台解决的企业核心问题： 数据融合与流通第23页，共39页。企业用户的传统数据库应用和大数据应用JD

27、BC、ODBCJDBC、ODBCJDBC/ODBC、Thrift、Protocol Buffer 开发语言：Java、 Scala、 Python、 go、C/C+、 SQLiaSQL on Hadoop：HBigSQL、Clouder计算引擎：MR、Tez、Spve、HAWQ、Phoenix、TajoImpala、Presto、Sharkark；资源管理：YARN、MESOSDFS：HDFS、CEPH分析型数据库事务型数据库数据接入层、安全管理、运营管理多系统可用，但是不混搭1.0：X 数据源多，管理复杂X 数据不流通X 无法集成数据好用企业用户的传统数据库应用和大数据应用JDBC、ODBC

28、、ADO.NET、CAPI、RESTful APILDWHadoop生态型数据库分析事务型数据库Spark 栈安全管理、运营管理融合架构 (LDW 统一层）：数据统一管理，统一访问数据易流通数据易集成解决了好用的问题，提升混搭价值大数据下一代架构：从“混搭架构” 到 “融合架构”第24页，共39页。数据平台层未来由混搭架构 向融合架构演进，形成多种 引擎的统一管理和优化，简 化业务流程，方便集成其他 计算引擎。企业级大数据架构未来演进： 数据融合、算法融合、数据流通第25页，共39页。全种类数据处理平台能力融合：进一步融合非结构化数 据处理平台能力，实现全种类数据处理能力融合。MPP 与Had

29、oop集群间能力融合：实现MPP深入分析 能力与Hadoop的批量数据处理和数据挖掘能力融合。同种MPP 集群间融合（虚拟集群）：实现跨多个MPP 集群内的数据模型融合，整体作为一个逻辑一体化的集 群使用。4MPP + Hadoop + oracle + Nosql3MPP + Hadoop + Oracle2MPP + Hadoop1MPP + MPP分析平台与实时交易数据库能力融合：实现MPP、 Hadoop与现有传统数据库Oracle的融合，实现实时性和 事务处理能力。GBase 8a MPP 架构（LDW）实现各阶层的大数据处理能力融合第26页，共39页。融合 结构化+半结构化+非结构

30、化解决全类型数据存储需求融合 实时处理+交互式处理+批量处理 解决多种场景的计算需求融合 OldSQLNewSQL+NoSQL解决数据关联查询和交换的需求融合 热数据温数据冷数据解决统一运维管理的需求融合 平台Unified Platform降低用户构建大数据系统过程中的决策、建模、运维、开发成本GBase 8a MPP 架构（LDW）快速实现大数据系统落地第27页，共39页。tmp_2tmp_1t1_mppGBase 8a MPP（LDW）通过跨引擎调度器实现 数据在引擎间的数据运算，例如：Select , t1.opdate, t2.url from t1_mpp as t1, t2_hi

31、ve as t2 where t1.id=t2.key and t1.city=北京 and extracts(t2.url, gbase) 0 and contains (t1.weichat, 南大通用)0 order by t1.opdate limit 10;GBase 8a MPPClusterJoinCross Engine Optimizer & PlannerParallel SchedulerMega SQL EngineHive On HBaset2_hiveSQLMPP 集群Hadoop 集群数据融合案例：透明的跨引擎SQL关联与优化第28页，共39页。GBase 8a

32、MPP（LDW）通过实现跨引 擎的数据传输层和跨引擎的调度器，实 现了跨引擎间的数据流通，例如：t1: 8a MPP 表 h1、h2 : Hive表 Insert into t1select h1, h2 where andparse_url(url,HOST) = ;Parallel SchedulerMega SQL EngineCross Engine Optimizer & PlannerJoinh1h2t1Hive On SparkJoinh1h2GBase 8a MPPClustert1数据融合案例：跨引擎数据交换第29页，共39页。GBase 8a MPPGBase 8tOrac

33、leHiveTable/ViewHDFSFileTableGBase 8a MPPGBase 8tOracleHiveHDFSFileSpark MLLibML FrameInputOutputOperationException HandlerNaveBayesK-meansDecisionTreeOtherStored ProcedureCreate ModelAdd algorithmAdd train_settingUser: Call Stored ProcedureExpert: Extend AlgorithmDBA: MaintainStored ProcedureAlgori

34、thm Family NaiveBayes.Train NaiveBayes.Evaluate NaiveBayes.Predict12ML Algorithm34Spark UDF5Spark MLLib：以Spark MLLib作为基础，获得丰富的基础操作支撑，以及分布式执行的性能。ML Algorithm：实现朴素贝叶斯、K-均值、决策树等多种流行机器学习算法，专家用户也可以很容易的实现新算法。ML Frame：自主研发的机器学习框架，为算法提供上下文管理、配置、异常处理等多种基础能力，抽象输入输出接口，可 以把不同关系库的表、HDFS文件系统作为算法的数据源和目的。Spark UDF：

35、框架、算法等封装成Spark的UDF，可以在Spark上直接执行。Stored Procedure：以存储过程的方式调用算法执行，简化用户使用机器学习的复杂度。算法融合案例：可扩展的计算框架，融合SQL与ML算法第30页，共39页。客户案例某公安用户（多种异构引擎的统一管理）应用服务数据服务基础设施计算资源池存储资源池在线分析库（GBase 8a MPP Cluster）数据加速库（GBase 8m）离线分析库（GBase HD）互联网采集文件网络资源池高性能内存库人口库数据汇集库统一数据管理平台（GBase 8a MPP LDW）数据平台展示门户交换桥接数据共享交换系统前置交换交换传输交换管

36、理互联网数据采集系统关键字提取前置加工库（GBase 8t）案件库音视频文件网络舆情数据共享交换系统 主题查询大数据智能分析系统（GBase BI）比对碰撞关系挖掘统计报表数据资源管理系统数据资产管理数据血缘管理 数据生命周期管理标签体系管理数据监控管理数据质量管理数据共享目录数据公众查询数据交换服务采集网站配置采集规则配置采集任务管理第31页，共39页。LDW迎接新的数据处理挑战：从“小数据 + 简单分析” 到 “big data + big compute”从“事后分析” 到 “事中 、事前分析”能力从“单一、孤立” 到 “全数据、全视角”的洞察能力LDW对新一代大数据、云计算平台需求：云

37、计算2.0 是数据的虚拟化 ： 数据资源 数据资产 数据即服务大数据处理的需求：数据融合、算法融合、数据流通LDW进入云化2.0时代： 实现DaaS数据即服务 + SaaS软件即服务能力 :云1.0： 计算机资源的“软件定义”，实现了硬件、系统资源的虚拟化、资源化，完成了 IaaS 时代云2.0： 数据资源的“软件定义”，通过数据的虚拟化、资源化，实现数据即服务（DaaS）, 和应用的敏捷微服务化。LDW 迎接和面对新的技术和业务挑战第32页，共39页。应用驱动模式数据驱动模式支撑业务驱动、变革业务成本中心盈利中心Google：人类第一次几乎可以不受技术限制的采集、存储、分析、使用数据习近平：

38、未来几十年，新一轮科技革命和产业变革将同人类社会发展形成历史性交汇，工程科技进步和创新将成为推动人类社会发展的重要引擎。信息技术成为率先渗透到经济社会生活各领域的先导技术，将促进以物质生产、物质服务为主的经 济发展模式向以信息生产、信息服务为主的经济发展模式转变，世界正在进入以信息产业为主导的新经济发展时期。（在2014年国际工程科技大会上的主旨演讲）大趋势：IT在企业中的角色正在发生颠覆性转变，从工具到驱动力第33页，共39页。使命：专注于数据库软件产品和服务，致力于成为用户最信赖的数据库产品供应商公司： 成立于2004年，总部在天津人员规模： 500 人， 其中300 技术+研发优势： 国内领先、世界一流的数据库和大数据平台产品，专业的技术服务能力市场： 党政军、大型央企、金融、电信、安全、等核心行业客户： 2000+ 个高端活跃客户，满意度高战略： 国内领先、世界一流、自主创新GBASE十六年只做一件事：数据库