版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
国泰君安证券
GUOTAIJUNANSECURITIES产业观察
1.数据仓库一企业数据淘金工具
1.1.海量数据的分析是数据仓库的关键
数据仓库是在20世纪末随着商务数据分析和数据挖掘的需求而产生,
主要用于支持管理决策过程。它能够帮助企业建立公司业务数据模型;
整合公司数据源,让清洗和处理后的数据成为业务数据的唯一事实;支
持进行细粒度的、多维的分析,并帮助高层管理者或者业务分析人员做
出商业战略决策;为更高一层的数据服务、机器学习应用提供主要的历
史数据来源。因此,数据仓库也被认为是商务智能(BI)的核心。数据
仓库包含多个不同的来源,主要有社交媒体、移动数据、业务应用程序
等。
图1.数据仓库通过使用多个部署架构整理数据,实现多种功能
数据
仓库
数据分析
数据挖掘
功能
ETL方案
其他
数据来源:国泰君安证券研究
当前,数据处理大致可以分成两大类:
・OLTP(联机事务处理)•是传统的关系型数据库的主要应用,主要
用来记录和存储某类业务事件的发生,例如银行交易。OLTP自20
世纪后半叶信息技术革命后随即出现,代表性产品有Oracle的
Database,IBM的DB2等;
・OLAP(联机分析处理),最早是由关系数据库之父E.F.Codd于1993
年提出,是数据仓库系统的主要应用,支持复杂的分析操作,侧重
决策支持。
表1.OLTP和OLAP的主要不同点
OLTP(联机事务处理)OLAP(联机分析处理)
主要应用数据库数据仓库
用户业务操作人员、底层管理决策人员、高层管理
功能日常业务处理,如订单、合同等业务的支持、分析决策
请务必阅读正文之后的免责条款部分3of19
c国泰君安证券
GUOTAIJUNANSECURITIES产业观察
DB设计面向应用面向主题
工作负载增、删、改查询
数据当前的应用的,最新的数据历史的、聚集的、多维的、统一的
用户数数百个-数千万个数个-数百个
DB大小GB级-TB级TB级-PB级
时间要求实时性要求较低
数据来源:知乎、国泰君安证券研究
数据库和数据仓库均有关系型和非关系型之分,二者在数据存储结构、
可扩展性、数据一致性上存在较为显著的差别;关系型数据库因固定的
数据存储结构限制,一般较非关系型扩展成本更高。此外,非关系型更
强调数据的最终一致性,如若需要使用中间态的数据,关系型则将更加
方便。
图2.数据库与数据仓库-关系型与非关系型的主要供应商
事务型数据库(OLTP)分析型数据库(OLAP)
ORACL€ORACLGamazon
SQLServerREOSHIFT
DATABASE
关
系
型
旅京。TERADATA
/蜉>S5LAzurecloudera•
非黑枫©Ocouchbaseelasticsearch.neozj
关
GootfeCloudBERKELEYDB
系
型
.neozj0呼嗨❺,?AzureCojmmOe
cloudera
•bCoo^aCtaui,
数据来源:爱分析、国泰君安证券研究
数据仓库市场供需双方均以大型企业为主。数仓产品的用户主要为需要
大量数据来管理和分析、以全球五百强为代表的大型企业。在中国大陆,
数据仓库产品的主要用户为银行业、电信业、物流业、保险业、零售业
等相关企业,用以管理和分析企业经营数据和用户行为数据等来提高企
业经营的管理效率。数据仓库使用时需要根据企业的数据资源和业务需
求设计成套的数据仓库解决方案,并通过Teradata>Oracle、IBM、
GreenPlum^Snowflake以及Google>Amazon等企业来提供从解决方案
设计到软硬件支持的服务。
请务必阅读正文之后的免责条款部分4of19
国泰君安证券
GUOTAIJUNANSECURITIES产业观察
1.2.数据仓库起源于高度信息化的商业竞争
为了精确且高效地支持经营决策,随着ERP、CRM、0A等信息系统的
广泛应用及互联网的蓬勃发展,大多数企业并不缺少数据,而是受困于
巨大的数据量以及数据的不一致性。正因于此,在如何把已有的海量数
据转换成更有价值的商用信息,从而更好的帮助企业做出决策这一问题
上,数据仓库被广泛认为是最好的解决方案之一。
建立数据仓库,能够将企业内部数据和外部数据进行有效的集成,从而
为企业内部分析人员、决策管理人员所用。其中最重要的应用为OLAP
(联机分析处理)系统,根据分析需求将集中对应的数据清洗后存储在
数据仓库中,然后由数据仓库统一提供OLAP分析。
图3.数据仓库系统
监测与维护I元数据管理
数据分析
取
换E)
T)
载(L)数据查询
数据报表
各类应用
―QLAE^mi----------前端工具应用
数据来源:维基百科、百度百科、国泰君安证券研究
图4.OLAP(联机分析处理系统)是数据仓库最重要的应用系统
数据仓库常见的功能应用系统
领
报
即
联机
业
导
表
席
分
析
物
信
查
生
处
理
流
息
询
成
系
统
重
系
系
系
整
统
统
统
数据来源:国泰君安证券研究
数据仓库是企业信息化管理的趋势。数据时代的到来促进数据仓库的发
展和需求,其主要表现为企业生成的数据量不断增加,非结构化数据的
请务必阅读正文之后的免责条款部分5of19
国泰君安证券
GUOTAIJUNANSECURITIES产业观察
快速增加,以及通过对数据处理和分析来获取竞争优势的商业智能(BD
的需求不断增加等因素。各业务部门产生的大量数据迫使企业采用数据
仓库这一解决方案来实现高效、灵活和可扩展的存储,并通过使用高级
数据挖掘和BI工具来分析处理这些数据,从而为用户提供更有价值的业
务见解、更高效的运营效率、更精准的决策制定,以及也实现了提高客
户保留率、增加收入来源等目的。
大数据技术和云服务的日益普及和成本降低促进了数据仓库乃至云上化
数据仓库的需求。企业和政府机构己经逐渐意识到云数据仓库的经济利
益,如按需计算,无限存储,集成的BI工具和成本更低的定价选项。
数据仓库即服务(DWaaS,主要是指通过资源的集中化管理,从而实现
高效的企业级数据分析,目前是云计算领域增长最快的子行业)的激增
以及用于数据分析的非结构化数据的日益普及,有望进一步推动市场增
长。
1.3.全球数仓市场规模处于快速增长期
全球数据量的指数式快速增长导致了更大的数据管理和分析需求。根据
IDC预测,至吃025年全球数据量或高达175ZB,2019-2025CAGR近30%。
图5.全球数据量快速增长
数据来源:IDC、国泰君安证券研究
全球OLAP市场规模快速增长。根据IDC,2024年全球数据仓库市场
(OLAP)规模将达到297亿美元,2019-2024CAGR将达到12%,其中
云上化数据仓库的市场规模将达到181亿美元,2019-2024CAGR将达到
25.3%。
图6.OLAP市场规模快速扩大(单位:亿美元)
请务必阅读正文之后的免责条款部分6of19
国泰君安证券
GUOTAIJUNANSECURITIES产业观察
数据来源:IDC、国泰君安证券研究
2.企业需求变化是驱动数仓行业变革的决定性因素
2.1.数据仓库行业的变革在时间上可以划分为三个阶段
过去三十年中,企业对数据仓库的定位没有发生本质性的改变,即为企
业提供业务决策支持。然而,由于企业需求的变化,数据仓库的核心技
术却在不断升级。通过对数据仓库行业发展历程的梳理分析,我们总结
出该行业的三个不变点和技术上的三个变化点。
图7.数据仓库市场在时间上可以分为三个阶段Rm
统报
高
Oracle分析
Exadata部
署
在线
「
成
扩容
本
弹性
伸缩
统
传B
Teradata
-应用
核
7与
迁移
业
心
受限
务
较
GreenPlum低ll
部
加
强二
署s
大
创
新
成
多
数
与
边
在线
本
云
据
缘
业
容
扩
支rl
Cloudera分
务
务n
性
弹
持
析
缩
伸
全
更
用
应
低
且
-圄
『
更
移
迁
多
灵
活
能
业
性
控
制
务
好
成
线
本
,
等
AI
■!新4
代表前阶段代表性的产品类型被完全淘汰,而更多的表现为新的流派的产品加入了市场竞争。
数据来源:爱分析、国泰君安证券研究
请务必阅读正文之后的免责条款部分7of19
国泰君安证券
GUOTAIJUNANSECURITIES产业观察
2.1.1.早期的软硬件一体化数仓
第一代数据仓库存在运维成本高昂和可扩展性较差的瓶颈•1980-1990
年间,传统数据库产品如Oracle、IBMDB2、SyBase、Informix,和SQL
Server等开始相继出现。这些产品虽然能满足企业数据存储计算的基本
需求,但随着时代的发展,各个企业需要处理的数据量日益增多,从多
维度、多层次去分析数据已成为企业们在处理数据上必不可少的一环。
软硬件一体化数据仓库的局限性在于价格昂贵和可扩展性较差。不仅扩
容成本高昂,还因受共享存储架构的影响,每扩展到十几个节点就会遭
遇存储瓶颈,因此仅能满足管理层对报表分析的需求,无法应用于更大
规模、更多用户的数据分析。在这时,一些公司开始探索研发新的数仓
产品。MPP(大规模并行处理系统)无共享架构被提出并成为应对海量数
据的主要解决方案。
2.1.2.开源化数据仓库的出现与流行
第二代数据仓库解决了第一代数据仓库所面临的两个问题:
•解决了第一代数仓在面对海量数据时的性能瓶颈。随着大数据时代
的发展,企业数据量也随之呈指数爆炸式增长,数据量也出现指数
爆炸式增长。第一代软硬件一体化数据仓库在面对如此庞大的数据
量时,性能则会出现明显下降。而第二代数据仓库一般基于Hadoop、
Hive、Spark等开源框架和Presto等开源MPP架构,提升了负载均衡
能力,更加适应于大数据分析场景,足够实现海量数据的存储和计算。
•解决了第一代数仓因共享存储架构所受到的扩展性制约。随着数字
化业务的大量增加,数据仓库性能的扩展性也被多数企业所重视。
由于第一代软硬件一体化数据仓库的扩展性较低,第二代数据仓库
开始采取软硬件解绑、适配通用性硬件的分布式架构,并成功为企
业提供了更为灵活、成本更低的扩容能力。
Teradata于1990年率先发布了第一款面向分析型场景的无共享架构的
MPP数据仓库。因其具有便于扩展、应用灵活、容易迭代和持续开发等
优点,开源架构在数据仓库行业中迅速抢占了市场,不仅吸引到传统型
数仓的客户,还吸引了很多刚进入市场的新客户。
GreenPlum和Hadoop架构在这一模式的发展中极具代表性。
•GreenPlum在2003年成立,于2006年推出首款产品一与Sun联手
打造的即时数据仓库。而GreenPlum在2008年底进入中国市场,
作为全球首个开源、多云、并行的大数据平台,GreenPlum全球大
型企业用户通过新型企业级数据仓库(EDW)、企业缎娜云(EDC)
和商务智能(BI)来提供解决方案和咨询服务的公司,由于部署和
使用成本相比Teradata较为低廉而获得了不少企业的青睐。
图8.GreenPlum的客户中有很多中国大型企业
请务必阅读正文之后的免责条款部分8of19
国泰君安讦券
GUOTAIJUNANSECURITIES
NYSE*洸Nasdaq
T--Mobile-
中阈柬方航空
CHINAEASTERN
金华泰保除.中信IE业银行星力阿里巴巴
HuataiInsurance••―仁一_—-Alibabacom
数据来源:GreenPlum、国泰君安证券研究
表2.不同OLAP引擎在性能上有不同特点
数据规模并发能力查询速度SQL能力架构
Hive超大弱慢强ROLAP
SparkSQL超大低中强ROLAP
Impla大很强快强ROLAPMPP
HAWQ大很强中强ROLAPMPP
Presto大很强快强ROLAPMPP
Kylin超大强超快中MOLAP
Druid大强超快弱MOLAP
ClickHouse中弱超快弱ROLAPMPP
舒e喇氏p将左•析用的撷物理上存储为陶雅数组的形式,碾CUBE聚构,椒的属恺
组的下标或者下标范围,事实以多维数组的值存储在数组单元中,优势是查询快速,缺点是数据量不易控制,可能
会有维度爆炸的问题出现。
数据来源:CSDN、国泰君安证券研究
•Hadoop是由Apache基金会所开发的分布式系统基础架构。Hadoop
是一个能够对大量数据进行分布式处理的软件框架。Hadoop以一种
可靠、高效、可伸缩的方式进行数据处理,支持在线扩容。其中比
较有代表性的公司是成立于2008年基于Hadoop架构的数据仓库厂
Cloudera。
图9.CIoudera营业收入仍处于快速增长阶段(单位:亿美元)
请务必阅读正文之后的免责条款部分9of19
国泰君安证券
GUOTAIJUNANSECURITIES产业观察
70.0%
60.0%
50.0%
40.0%
30.0%
20.0%
10.0%
0.0%
营业收入----增长率
数据来源:Choice.国泰君安证券研究
Cloudera于2014年进入中国市场,当企业和大型机构在寻求解决棘手的
大数据问题时,往往会使用开源软件基础架构Hadoop的服务。而
Cloudera正是基于Hadoop开源体系成长起来,并在Hadoop发行版市场
中占据统治地位。
图lO.Cloudera客户中有大量大型跨国企业
CBS。JPMorgan
@ExpediaMONSANTO
锌岬NOKIA
第二代数据仓库仍存在扩展性较差和成本较高的问题。开源化数据仓库
虽然解决了第一代数仓扩展性较差的问题,但由于它受大型机、专有硬
件,和软件架构的牵制,其扩展性在企业日益增长的数据量面前,仍难
达到数千节点级别。此外,由于开源化数仓仍需依托于线下机房,在日
后性能需扩充时仍要购买硬件,后期成本相对较高。因此,开源化数仓
也难以满足企业新的扩展需求。此时,随着云计算的兴起,第三代数据
仓库一云上化数据仓库开始逐步出现。
2.1.3,云上化趋势的出现和发展一私有云、公有云
云上化数据仓库的出现解决了前两代数仓的瓶颈。2010年之后,由于云
计算的发展,数据仓库也随之出现云上化的新趋势。相较于之前依托于
物理硬件上的数仓,云上化数仓的优势有以下两点:
•更强的可扩展性。云上化数据仓库允许用户通过界面点击即可按需
取用,并实现了近乎无限的可扩容性和升级空间,彻底摒弃了笨重
请务必阅读正文之后的免责条款部分10of19
国泰君安证券
GUOTAIJUNANSECURITIES产业观察
的硬件采购和线下部署过程。
•更低的运维成本。由于云计算自身拥有“基础设施即代码”的特性,
云上化数据仓库资源的分配基本可以通过自动化完成,因此极大地降低
了前两代数据仓库在后期会产生的运维成本。
从细分领域来看,云上化数据仓库包含私有云数仓和公有云数仓。
•私有云由专供一家企业或组织使用的云计算资源构成。私有云可在
物理上位于组织的现场数据中心,也可由第三方服务提供商托管。
但在私有云中,服务和基础结构始终在私有网络上进行维护,硬件
和软件专供组织使用。因此,所谓私有云数据仓库主要指在客户企
业内部建立的云平台数据仓库,如前文所提到的Teradata、Cloudera
等都在不同程度地进行公司云上化转型,提供云上化数仓产品。其
中Cloudera既提供私有云也提供公有云数仓产品,与传统厂商早期
提供的产品相比,主要优势体现在确保数据安全的情况下仍能提高
使用的便利程度和使用效率。
•公有云数据仓库的特点由公有云平台提供数仓存储设备等基础设施。
在提供基础设施的同时还提供软件服务的公司有Microsoft
Azure和AmazonAWS等。止匕外,Snowflake作为独立公有云数仓的
新兴企业还提供数据处理和分析等服务。
以Snowflake为代表的云原生数据仓库已经崛起。2014年,随着
Snowflake推出云原生数据仓库,多集群共享数据的存储和计算开启了
分离架构,数据仓库也自此实现了与云平台真正地深度融合。Snowflake
成立于2012年,它针对不同公司、不同行业的数据库之间存在的孤岛
现象,提供一站式的数据平台解决方案,并通过设置数据引擎、数据仓
库和数据湖等功能,使分散化、碎边化的数据能够相互联结汇总,打破
了数据之间互相隔离的现象。
图11.Snowflake具有算储分离'多集群共享数据等架构特点
___。GoogleCloudaWS人Azure______
丽〃小冲:OilOWlldKC
与TeradataNetezza以及各Hadoop数据仓库厂商相比,云原生数仓
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- (2025)事业单位考试(面试)试题与答案
- 2025 年考验三观的测试题及答案
- 2025档案法知识竞赛题库(含答案)
- (完整版)传染病医院感染预防控制考试题带答案
- 2024年安全培训考试题及答案完美版
- 2025殡葬专业考试题及答案
- 2019年护士执业资格考试《儿科护理学》模拟试题及答案(二)
- (2025年)山西省运城市公开遴选公务员笔试题及答案解析(A类)
- 2024医院环境卫生监测试题及答案
- 供应商名称关于资质审核结果的确认函5篇范文
- 2026年新教材统编版九年级上册语文期末复习:古诗词理解性默写 专项测试卷(含答案)
- YMO数学竞赛2024秋季七年级复赛真题试卷含答案解析可打印
- T8联考2027届高三10月检测训练英语试题(含答案详解)
- 武汉产业投资控股集团有限公司招聘笔试题库2026
- ISO 9001-2026 换版深度解读:36条条款逐条对比与企业换版行动指南
- 人教版五年级上册语文第七单元第22课《白鹭》第2课时教学课件(新教材)
- 26新五(上)语文课后生字词情景默写
- 关于学生思想政治教育问题的调研报告2026(3篇)
- 九年级物理上册《改变世界的热机》单元复习教学设计(教科版2024)
- 2026-2030中国甲醛市场前景预判与供需平衡状况监测研究报告
- 成品油经营单位安全管理规范与实践
评论
0/150
提交评论