数据库数据仓库大数据平台数据中台数据湖对比分析

数据库、数据仓库、大数据平台、数据中台、数据湖对比分析

一、概况

层出不穷的新技术、新概念、新应用往往会对初学者导致很大的困扰，有时候很难理清晰它们之间的区别与联络。本文将以数据

研发有关领域为例，对比分析我们工作中高频出现的几种名词，重要包括如下几种方面：

•数据

•什么是大数据

•数据分析与数据挖掘的区别是什么

­数据库

什么是数据库

数据库中的分布式事务理论

数据仓库

什么是数据仓库

什么是数据集市

数据库与数据仓库的区别是什么

大数据平台

什么是大数据平台

什么是大数据开发平台

•数据中台

■什么是数据中台

•数据仓库与数据中台的区别与联络

•数据湖

•什么是数据湖

•数据仓库与数据湖有什么区别与联络

但愿本文对你有所协助，烦请读者诸君分享、点粉、转发。

数据分析可以分为广义的数据分折和狭义的数据分析广义的故如:分析就包括狭义的数据分析和数据挖掘我们在工作中常常常说的

数据分析指的是狭义的数据分析。

数据分析（狭义）

数据挖掘DataMining

DauAnalysis

根据分析目的，用合适的记录分析措施及工数据挖掘是指从大品的数据中，通过记录学、人工智能、机

定义具，对搜集来的数据进行处理与分析，提取器学习等措施，挖掘出未知的、且有价值的信息和知识的过

有价值的信息，发挥数据的作月。程。

重要实现三大作用：现实状况分析、原因分数据挖掘重要侧重处理四类问题：分类、聚类、关联和侦测

析、预测分析（定一）。数据分析的目的明（定;t定性），数据挖掘的重点在寻找未知的模式与规

作用

确，先做假设，然后通过数据分析来验证假律；如我们常说的数据挖掘案例：啤酒与尿布等，这就是事

设与否对的，从而得到对应的结论。先未知的，但又是祚常有价值的信息。

重要采用对比分折、分组分析、交叉分析、重要采用决策树、神经网络、关联规则、聚类分析等记录

措施

向力分析等常用分析措施。学、人工智施、机器学习等措施进行挖掘。

输出模型或规则，并且可对应得到模型得分或标签，模型得

数据分析,般都是得到一种指标识录审成

分如流失概率值、总和得分、相似度、预测值等，标签如高

果，如总和、平均值等，这些拧标数据都需

中低价值顾客、流失与非流失、信用优良中差等。

要与亚并结合进行解读,才能否挥出数据的

价值与作用。

三、数据库据库

什么是数据库？

数据库是按照数据构造来组织、存储和管理数据的仓库.是•种长期存储在计算机内的•仃组织的、可共享的、统•管理的大I*数据

的集合。

一般而言，我们所说的数据库指的是数据库管理系统，并不单指一种数据库实例。

根据数据存储的方式不一样，可以将数据库分为三类：分别为行存储、列存储、行列混合存储，其中行存储的数据库代表产品有

Oracle.MySQL、PosigresSQL等；列存储的数据代表产品为Greenplum、HBASE、Terad*等；行列混合存储的数据库代表产品仃

TiDB,ADBforMysql等。

数据库中的分布式事务理论

ACID

老式关系型数据库事务设计原则，如下四点必须所布-满足：

•原子性Atomicity：事务中操作要么都发生，要么都不发生；

•一致性Consistency：事务前后数据完整性保持一致;

•隔离性Isolation：多种顾客并发事务互相隔离.

・持久性Durably:事务被提交后数据的变化就是永久性的。

举例同明：A账号有200元，B账号有100元，目前A给B账户进行转账操作：

•A减少100元，同步B增长100元，两个操作要么都成功要么都失败，满足原子性；

•A减少的金额，和B增氏的金额要一致，按照一致性；

・假如A给B转账的同一时刻，B又给C转账，这两笔交易是互相隔离，满足隔商性；

•A给B转账100元，事务提交之后，在杳询账号，A减少100元，B增长100元，满足持久性;

CAP鳏

，Bcrkcrly大学有位EricBrewer专家提出了一种CAP理论，在，麻省理工学院的SethGilbert(赛斯尔伯特闻NancyLynch(南希•林奇)

刊杼了布鲁尔猜测的证明，证明了CAP理论的对的性。所谓CAP理论，是指对于•种分行式计算系统来说，不也许同步满足如下三

点：

•一致性(Consistency)等同于所有节点访问同一份班新的数据副本。即任何一种读操作总是可以读到之前完毕的写操作的成果，也

就是说，在分布式环境中，不一样节点访问的数据是一致的。

•可用性(Availability)每次祈求都能获取到非铅的响应——不过不保证获取的数据为最新数据即迅速获取数据，可以在确定的时

间内返回操作成果。

•分区容错性（Partition⑹crancc）以实际效果而言，分区相称于对通信的时限规定。系统假如不能在时限内到达数据一致性，就意

味着发生了分区的状况，必须就目前操作在C和A之间做出选择。即指当出现网络分区时（系统中的•部分节点无法与其他的节

点进行通信），分离的系统也可以正常运行，即可靠性。

一种分布式的系统不也许同步满足一致性、可刖性和分区容错性，母多同步满足两个。当处理CAP的问题时，可以有如下几种选择：

•满足CA,不满足P。将所有与事务有关的内容都放在同一种机器上，这样会影响系统的可扩展性。老式的关系型数据库。如

MySQL、SQLServer、PosigresSQL等都采用了此种设计原则。

•满足AP,不满足C。不满足一致性（Q,即容许系统返回不一致的数据。其实，对于WEB2.0的网站而言，愈加关注的是服务与否可

用，而不是一致性。例如你发了一箱博客或者写一篇微博，你的一部分朋友立马看到了这篇文章或者微博，另一部分朋友却要

等一段时间之后才能刷出这篇文章或者微博。虽然有延时，不过对于一种娱乐性质的Web2.0网站而言，这几分钟的延时并不

重要，不会影响顾客体验。相反，当公布-•篇文章或微博时，不可以立即公布a寸两足可用性)，顾客对此肯定不爽。因此呢，

对于WEB2.0的网站而言，可用性和分区容错性的优先级要高于数据一致性，当然，并没有完全放弃一致性，而是最终的一致

性(有延时)。如Dynamo、Cassandra.CouchDB等NeSQL数据库采用了此原则。

•满足CP,不满足A。强词一致性性(0和分区容错性(P),放弃可用性性(A)。当出现网络分区时，受影响的服务需要等待数据一致，

在等待期间无法对外提供服务。如Neo4J、HBase、MongoDB,Redis等采用了此种设计原则。

四、数据仓库仓库

什么是数据仓库?

数据仓库(DataWarehouse)是一种面向主题的(SubjectOriented)»集成的(huegrared；、相对稳定的(Non-Volatile)、反应历史变

化(TimeVariant)的数据集合，用于支持管理决策(DecisionMakingSupport)。

•面向主题的：根据使用者的需求，未来自不一样数据源的数据围绕着多种主题进行分类整合。

•集成的：来自多种数据源的数据按照统一的原则集成于数据仓库中。

•相对稳定的：故据仓库中的数据是一系列的历史快照，不容许修改或删除，只波及数据查询。

•反应历史变化的：数据仓库会定期接受新的集成数据，从而反应出及新的数据变化。

数据库与数据仓库有什么区别

严格来讲数据仓库不是一门技术，也不是一种产品。像前文提到的关系型数据库MySQL和。radc都属于一种产品。那么是什么数据仓

库的，见名知意，其实就是存储数据的仓库，数据的来源有诸多种，可以统•在数据仓库中进行汇合，然后通过统•的建模，加工成

服务与数据分析的数据模型，辅助企业分析决策.

那么，数据仓库该怎么构建呢，目前使用Hive构建数据仓库的比较多，本文不会过多分析这些大数据技术。总之一句话，数据仓率波

及数捷建模，数据抽取ETL,数据可视化等一系列的流程，是一种数据处理方案，一般需要多种技术进行组合使用。

数据仓库的本质是OLAP,即是做在线分析处理，这是与数据库的本质区别。尚有•点既然是数据仓库，肯定是要加工数据，那么加

工数据肯定耗时间，因此加工数据在实际的应用中又分为批处理和实时处理。

数据库是为了处理OLTP而存在的，而数据仓库是为了分析数据而存在的。数据库的数据是数据仓库的数据源，即将数据库的数据加

载至数据仓库，因此说，数据仓库不生产数据，只做数据的搬运工。

尚有一点就是，数据仓库并不是必须的，不过对于一种业务系统而言，数据库是必须的“只有在业务稳定运转的状况下，才会去构建

企业级数据仓库，通过数据分析，数据挖掘来辅助业务决策，实现锦上添花。

数据库数据仓库

数据处理类型CLTP

使用人员业务开发人员分析决策人员

关键叱能平常事务处理面向分析决策

数据模型关系模型(ER)多维模型(雪花、星型)

数据显相对较小相对较大

存储内容存储目前数据存储历史数据

操作类型查询、插入、更新、例除查询为主：只读操作、曳杂查询

什么是数据集市?

数据集市(DataMart),也叫数据市场，就是满足特定的部门或者顾客的需求，按照多维的方式进行存储，包括定义维度、需要计算

的指标、维度的层次等，生成面向决策分析需求的数据立方体。

从范围上来说，数据集市的数据是从数据库，或者是愈加专业的数据仓库中抽取出来的“数据集市分为附属的数据集市与独立的数据

集市:

•独立型数据集市的数据来自于操作型数据库，是为了满足特殊顾客而建立的一种分析型环境。这种数据集市的开发周期一•般较短，

具有灵活性，不过由于脱离了数据仓库，独立建立的数据集市也许会导致信息孤岛的存在，不能以全局的视角去分析数据。

•附属型数据集市的数据来自于企业的数据仓库，这样会导致开发周期的延长，不过附属型数据集市在体系构造上比独立型数据策市

更稳定，可以提高数据分析的质量，保证数据的一致性。

指标数据仓库数据集市

数据来源OLTP系统、外部数据数据仓库

范围企业级部门级或工作组级

主题企业主题部门或特殊的分析主题

数据粒度最细的粒度较粗的粒度

历史数据大盘的历史数据适度的历史数据

目的处理海运数据，数据探索便于某个维度数据访问和分圻，迅速查询

五、大数据平台平台

什么是大数据平台？

大数据平台是•种集数据接入、数据处理、数据存储、查询检索、分析挖掘等、应用接口等功能为,体的平台。通俗的理解包括

Hadocp生态的有关产品，例如Spark、Mink、Fkmc、Kafka、Hive、HBase等等等经典开源产品°

提到Hidoop生态技术，不得不提的是Apache和Cbudcra。国内绝大部分企业的大数据平价都是基于这两个分支的产品进行商业化包装

和改善。例如：阿里云EMR、腾讯TBDS、华为Fusioninsight、新华三DaiaEngine、浪潮InsightHD、中兴DAP等产品。

其实，对于大数据平台，业内并无一种固定的错力范围。目前比较权威的是全国信标委今年公布了大数据平台的国标《GB/T38673-

信息技术大数据大数据系统基本规定》，将大数据系统划分为数据搜集、数据存储、数据预处理、数据处理、数据分析、数据访

问、资源管理、系统管理8个部分，分别对各部分提出技术规定。因此会发现每个厂家推出的大数据平台都包括诸多功能、甚至组合

的产品，屈于大数据的产品种类非常多。

什么是大数据开发平台？

由于大数据技术诸多，单独使用的学习成本很高，为了提高数据开发的效率，也就出现了大数据开发平台。简朴讲，数据开发平台就

是集成了大数据平台的•种开发套件，例如阿里云的Dataabrks就是•种代表，DataWorks(数据工场，原大数据开发套件)是阿里云

重要体.PaaS(Platform-as-a-Service)平台产品，提供数据集成、数据开发、数据地图、数据质编和数据服务等全方位的产品服务，一站

式开发管理的界面，协助企业专注于数据价值的挖掘和探索。

六、数据中台

什么是数据中台?

阿里巴巴于云牺大会正式对外提出数据中台概念，数据中台的出现，就是为了弥补数据开发和应用开发之间，由于开发速度不匹配,

出现的响应力跟不上的问题。中台不是一种产品！与业务强有关，

阿里巴巴数据中台全景图

数据中台的某些定义:

序号定义定义出处

《白话中台战略-3：中台的定

1中台就是“企业级能力更用平台”。

义》

《大型集团性企业的中台战略

中台通过集合整个集团的运行数据能力、产品技术能力，来对各前台业

2阿里的中台战略其实是个伪命

务形成强力支掾。

题》

中台是一种需求分析的措施论，一套能力接入原则，一套运作机制，集《中台怎样助力原则化业务？中

3

中配置、分布执行的控制台。台关键要快！》

“中台”是强调资源整合、能刀沉淀的平台体系，为“前台”的业务开

4《大中台小前台》

展提供底层的技术、数据等资源和能力的支持。

《有关架构的思索-评《阿里巴巴

5中台是居于前台和后台之间、位于基础架构和各产品线间的业务架构。

中台战略思想与架构实践》

数据中台是将各个业务板块数年来积累的数据，按业务特性进行横向关

《老式企业数据中台的建设与思

6联和统一，按数据用途进行纵向分层，最终沉淀为公共的数据服务能

索》

'J

袋鼠云数据中台专栏（一）：浅

7数据中台的实质还是组件化，模块化，是设计模式与业务端的应用。

析数据中台方略与建设实践

中台是•种用技术链接大数据技术能力，用业务链接数据应用场景•的能《阿里中台建设全解密：包括哪

8

力平台。些内容？怎样发挥作川？》

数据仓库与数据中台的区别与联络

序号数据仓库数据中台

基于。LAP类型的数据

计算存储库构建•套数据存储体混合架构，随需搭配，满足各类数据的计算现定

系

数仓建设、数据开发IDE、任务调度'数据集成、数据治理、统一数据服务、数

老式的ETL开发和报表

技术体系据资产管理、元数据管理、数据质3管理、流批计克、敏提B1报表开发等多种功

开发为主

能

多元化场景：除r老式报表，还支持商品推荐、精确推送、客满评价等非确定场

应用场景报表为主

景的业务,数据服务业务、业务与数据月•补，形成团外

面向管理层和业务人员除了完毕老式的业务人员辅助决策，还能面向业务系统推进优化升级、数据变现

价值体现

的辅助决策等，把数据资产变成数据服务能力。

七、数据湖湖

什么是数据湖？

Pensho的CTOJamesDixon在提出了“DasJake"的概念。在面对大数据挑战时，他声称：不要想着数据的“仓库*'概念，想想数据

的“湖”授念。数据“仓库”概念和数据湖概念的重大区别是：数据仓库中数据在进入仓库之前需要是事先归类，以便于未来的分

析。这在OLAP时代很常见，不过对于离线分析却没有任何意义，不如把大M的原始数据保留下来，而目前廉价的存储提供了这个也

许。

Withadatawarehouse,

incomingdataiscleanedandWithadatalake,incomingdata

organizedintoasingleconsistentgoesintothelakein

schemabeforebeingputintothe

warehouse...

...weselectandorganize

...analysisisdonedataforeachneed

directlyonthecurated

warehousedata

V

•数据仓库是高度构造化的架构，数据在转换之前是无法加载到数据仓库的，顾客可以直接获得分析数据。

•数据湖中，数据直接加载到数据湖中，然后根据分析的需要再转换数据

数据灌产品一是一套产品组合的处理方案

元数据&搜索&推荐安全和权限

你0

G4(

taWorks开放搜索Elasticsearch表格存储

统一存储

⑥QG

日志服务闪电立方Logstash

区

机器学习PAI

机■学习/砌学习"财面酚析

数据仓库与数据湖有什么区别与联络

特性数据仓库数据湖

来自事务系统、运行数据库和业务线应用程序的关系数