数据平台的最新发展趋势分析

1、技术创新，变革未来数据平台的最新发展趋势分析目 录一、平台、中台与云化 二、大数据的最新趋势 三、数据工具云平台化一、平台、中台与云化中台已经被滥用了有些人眼里:中台是技术平台，像微服务开发框架， 叫它“技术中台”。中台是业务平台，像用户中心，订单中心，各种微服务集散地，叫它“业务中台”。中台是组织管理的事情，提出了平台型组织和组织中台的概念，叫它“组织中台” 。有些人眼里:响应企业的“中台战略”，将自己系统的“后端”或是“后台”改名，就叫“中台”。架构是一种方法论，其本质是管理复杂性。什么是平台，什么是中台业务需求想吃披萨解决方案平台：构建厨房，采购原材料中台：必胜客外卖不是新东西金融领域的

2、中台化美军作战的中台化数据仓库（工具）与数据仓库（数据）平台中台应用注意相对性“业务中台”（ “数据库“ ）“数据中台”（ “数据仓库”）为什么建设平台快速响应用户是商业战场的中心，用户的需求是快速变化的。商业的斗争就是对于用户响应力的比拼。借助平台化的力量可以事半功倍。为什么建设中台前台业务系统的前端平台，是直接与终端用户进行交互的应用层后台业务系统的后端平台，终端用户感知不到其存在，例如ERP、CRM和SCM等系统中台前台主要是提升用户/客户体验，后台主要是提升企业管理效率中台解决前台的快速迭代需求和后台的稳定性需求的配速问题中台沉淀前台通用的业务能力，提升复用，满足前台敏捷创新个人IT架

3、构演化定制硬件定制软件标准硬件应用软件系统软件标准硬件系统软件通用应用系统化整机化(Desktop/Mobile)MVC对象化MVC应用软件应用系统企业IT架构演化IDC定制应用IDC业务应用系统平台业务应用IAASPAASSAAS平台化云平台化前台中台后台服务化/微服务化中台化业务系统平台化与中台化共同抽象复用，提升效率通用底层技术复用与企业业务能力复用区别技术视角与业务视角相关底层技术平台为上层业务应用提供支撑通用的上层业务技术向底层技术平台转移二、大数据的最新趋势大数据是具有大规模、分布式、多样性和/或时效性的数据，这些特点决定了必须采用新的技术架构和分析方法才能有效地挖掘这些新资源的商

4、业价值。- 2011, 麦肯锡公司Big Data: The Next Frontier for Innovation, Competition, and Productivity大数据时代的到来技术视角：从小数据到大数据体量 Volume大数据体量巨大，动辄TB，PB级别种类 - Variety各种各样新的数据源、数据格式和数据结构，比如日志、图像和语音等数据速度 Velocity新数据的创建和分析，都近乎要求实时数据视角：从业务数据化到数据资产化信息化时代业务数据化：业务的电子化记录关系数据库、OLTP、ERP、CRM、SCM等大数据时代数据资产化：数据赋能业务，数据价值化分析数据库、商业

5、智能、精准广告、搜索、推荐、风控等应用视角：从辅助决策到数据驱动辅助决策 Data-Assisted Decision Making有人来驱动分析，有人来应用分析结果赋能经营决策为主商业智能，可视化报表，看板，大屏，领导驾驶舱等数据驱动 Data-Driven Application Development通过在线数据服务或者模型服务来支持智能化业务应用，甚至直接提供终端数据产品，创造价值赋能产品创新为主小微贷款、智能投顾、智慧营销等数据时代的ABC数据工具平台化：从工具到平台，到今天热推的云平台(公有云和私有 云)。AI数据智能数据资产中台化：数据资产的建设是数据中台的核心，通过中台化的建

6、设，让数据资产最大价值化。数据应用智能化：从BI的可视化分析转向AI的模型化应用，是一个巨大的 转变 。纯技术的创新速度有所放缓，但从技术到产品到商业化应用落地 的速度在加快 。BigData 数据资产Cloud 数据平台三、数据工具云平台化云平台化 - 三大件数据库数据仓库与 商业智能数据科学与 机器学习Data-Based Business OperationData-Assisted Decision MakingData-Driven Application Development现代数据库 - NewSQLOldSQLMySQL、OracleNoSQLHBaseNewSQLAWS A

7、urora云原生存储计算分离权衡Tradeoff现代数据库 - NewSQL - Amazon Aurora现代数据仓库 - NewDW“OldSQL”Teradata、Greenplum“NoSQL”Hive、SparkSQL“NewSQL”Snowflake云原生存储计算分离权衡Tradeoff现代数据仓库 - New DW - Snowflake现代数据仓库 - New DW - Baidu Palo基于MPP（大规模并行处理）架构的分析型数据库性能卓越，PB级别数据毫秒/秒级响应适用于高并发、低延时下的多维分析、实时报表等场景由百度自研，2017年开源，2018年贡献给Apache社区

8、后更名为 Apache Doris百度云网址：/product/palo.htmlGitHub：/apache/incubator-doris现代数据科学与机器学习平台 - NewDS“OldSQL”R，SAS“NoSQL”Spark，Dark“NewSQL”？;NSPJINS20%+年e机器学x工程师和数据科学家成r美国增 速最快的no职m6QFssITTre F UTUuQFr OTG sNtJ20%6, 20%+, 20%,年e连续i年e数据科学家都是 美国排名第一的最好职m6TTLQJ CrJSIs在过去的)年e“数据科学a的搜索量每天都在增 大B0B客户覆盖B0B 覆盖y全球近%0h

9、家客户e20%)年财富 全球)00强名单前%00家公司p有-%家使用y B0B现代数据科学与机器学习平台 - 市场分析2017年eGartner首次提出y“数据科学平台a 的概念e同年eGartner的研究表明全球数据科学 平台的市场增长率已经是商m智能cBId软件市 场增长率的n倍e并预计2019年到2022年数据科 学平台将得到大规模地应用。现代数据科学与机器学习平台 - 三大技术进步成为数据科学新的驱动力云计算模式硬件进步大数据l人工智能软件新的交付模式云计算成rtT1新的交付方式e新的交付方式将更加高效、节省成本ew会促进大量p 小企m使用g是颠覆传统产品和开源产品的 有利时机。2QT

10、uI NFtNvJ优化云原生软件e依赖完备的云计算基础设施e提供先前产品难以实现的一些功能e如弹性 伸缩、异地多活、存储计算分离等计算能力提升8StJQ 2PD多核和加速指令eNvNINF 6PDe6TTLQJ CPDe百度昆仑芯片内存容量增大从%0年前的每服务器(61-,61e到现在的 2)661-)%261存储能力增强NEM4 BB3单机可达%0C1-20C1e8OPB高达几十he吞吐高达每秒%061网络能力增强单机网络从%0年前的%6GUs提升到现在的 2)6GUs-%006GUs大数据数据总量指数增加e数据驱动的m务模式越 来越多机器学xl人工智能先进的模型算法技术层出k穷ek但赋能y 前所未有的新m务ew带动对底层数据处理 基础设施的需求现代数据科学与机器学习平台 - 市场机遇：第三代数据科学产品替换第一代诞生于科研 单机小数据计算)诞生于产m互联网 云原生+异构计算)基于特定语言. ABtuINT B0B、MFtQFG和0SFHTSIF分析师开发语言心用户群体 数据量级优势 劣势%-%061基于单机语言更易用 q富的扩展库支持数据量级小 单机难协同性能k高诞生于互联网 分布式大数据计算)k关注语言. 72O.FN 9FvF)、 3FtFGrNHPsc9FvF/BHFQFd、1M;/13; 2+)开发者%0061-P1支持