大数据云原生技术发展研究报告2023

1 1 9 12 15 16 17 18 19 20 20 22 26 27 31 35 40V 40 41 44 44 44 45 461(一)数据平台的发展与演进需求催生技术革新，在海量数据需求的推动下，数据平台架构持续演进，经过数十年的发展，历经了数据库、数据仓库、数据湖、湖仓一体等概念。这里按出现顺序简述：(其中关于数据湖和湖仓一体目前业界有多种不同的定义，这里我们采用其中一种定义说明)数据仓库来源：CCSATC601大数据技术标准推进委员会数据库(DataBase):自1980年代初至中期起，数据管理工具主要呈现为数据库形式，以面向事务交易的OLTP场景为主，数据分析功能则作为辅助。这些数据库主要用于向管理层提供固定报表，支持宏观管理决策。它们通2用户程序数据库没有专门面向数据分析场景的产品。当时还是以面向事务交易场景为主，数据分析仅作为附用户程序数据库文件系统随着互联网的快速普及，门户、搜索引擎、百科等应用快速增长，数据量呈爆发式增长，原有的单个关系型数据库架构无法支撑庞大的数据量。20世纪90年代数据仓库理论被提出，核心是基于OLTP系统的数据源，根据联机分析处理OLAP场景诉求，将数据经过数仓建模形成ODS、DWD、DWS、DM等不同数据层，每层都需要进行清洗、加工、整合等数据开发(ETL)工作，并最终加载到关系型数据库中。传统企业数据仓库来源：云原生产业联盟3库(Hive)是常见的大数据平台之上数据仓Spark、Flink、Presto4数据迁移数据迁移数据存储与管理数据仓库(数据查询)集群协调数据计算数据分析、挖掘、查询集群管理与调度数据仓库(数据查询)集群管理协调数据处理图4:Hadoop生态系统重要组件2010年，数据湖概念被提出，数据湖是一种支持结构化、半结5表1数据湖与数据仓库对比表数据湖所有数据类型历史的、结构化的数据计算能力析所有类型数据处理结构化数据，转化为多维数据、报表，以满足后续高级报表及数据分析需求数据质量一般，容易形成数据沼泽高质量、高可靠性、事务隔离性好高扩展性一种解决方案，配合系列工具实现业务需求，灵活性更高一般是标准化的产品潜力实现数据的集中式管理，能够为企业挖掘新的运营需求存储和维护长期数据，数据可按需访问来源：CCSATC6016为满足多种数据类型存储、多场景分析等业务诉求，企业的数据采用混合部署模式，其中数据湖和数据仓库通过ETL进行数据交换，数据湖和数据仓库是两套独立的体系。7数据平台数据平台“数据湖+数据仓库”混合架构满足了结构化、半结构化、非结构化数据高效处理需求，解决了传统数据仓库在海量数据下加载慢、数据查询效率低、难以融合多种异构数据源进行分析的问题，但混合架构是技术向业务妥协的一个产物，存在数据冗余，增加存储成本，两个系统间额外的ETL流程导致时效性差，数据一致性保障低，混合架构开发运维复杂等弊端。2020年Databricks提出“湖仓一体”的概念，到目前技术和概念侧依然在持续演进。湖仓一体是指融合数据湖与数据仓库的优势，形成一体化、开放式数据处理平台的技术。通过湖仓一体技术，可使得数据处理平台底层支持多数据类型统一存储，实现数据在数据湖、数据仓库之间无缝调度和管理，并使得上层通过统一接口进行访问查询8和分析。总的来看，湖仓一体通过引入数据仓库治理能力，既可以很好解决数据湖建设带来的数据治理难问题，也能更好挖掘数据湖中的数据价值，将高效建仓和灵活建湖两大优势融合在一起，提升了数据管理效率和灵活性。湖仓一体目前没有统一的架构，在企业需求的驱动下，各开源技术和厂商基于原有架构演进，数据湖与数据仓库在原本的范式之上扩展。逐渐形成了“湖上建仓”与“仓外挂湖”两种湖仓如图7和表2所示。湖上建仓和仓外挂湖虽然出发点不同，但最终湖仓一体的目标一致。劣势实现方向(Hadoop体系)处理不支持高并发数据集市、即席查询、事务一1.统一元数据管理3.查询性能提升5.存算分离6.弹性伸缩1.提升查询引擎、能力(MPP体系)致性，结据OLAP分析不支持非结构化/半结构储、机器学习等1.统一元数据管理2.存储开放性3.扩展查询引擎4.存算分离5.弹性伸缩1.计算引只扩存储能力2.查询引提升查询引擎效率9认证&权限认证&权限(二)云原生技术简述云原生的发展简述：年提出，随后Linux基金会在2015年成立了云原生计算基金会(CNCF)。CNCF不仅推广了云原生这一概念，还逐步构建了以云原生为核心的技术生态工具。到2018年，Kubernetes成为CNCF的首个并推动了云原生技术的广泛应用。图8:云原生Landscape(景观)指南云原生普遍被认为包含四大核心要素：DevOps、微服务、持续交付和容器化。DevOps:DevOps是开发(Developme它推动了开发和运维团队的紧密协作。在DevOps文化中，软件的开发、测试、部署和监控过程是连续的，不断循环，旨在加快软件交付速度并提高质量。到了2018年，原来的定义已经限制了云原生生态的发“云原生技术有利于各组织在公有云、私有云和混合云等新型动让这些创新为大众所用。”从2018年起，一些开源大数据引擎陆续开始了onKubernetes的2018年6月，KubernetesAirfl2020年2月，Flinkv1.10.0发布NativeKubernetesbeta版50%+的受访者正在将大数据应用迁移至Kubernetes中，以降低整体成本。报告显示，迁移原因排名前四的是：1.超过45%的受访者为了提高应用程序的性能和稳定性而选择将任务迁移至Kubernetes2.为任务负载具备更高的灵活性和可移植性。4.多云解决方案避免被一个云厂商绑定。从任务分布上可以看出：占比最高的大数据作业依次是Spark、Presto、Kafka、Trino、Flink,可以看到基本上涵盖了大数据领域的批处理、交互式分析和流处理场景。国内外云厂商也一直加大产品技术在云原生(Serverless)方向的投入和引导。亚马逊云科技在2022年re:Invent中宣布其大数据核心作为大会主题之一，包括大数据在内的多款云产品均发布了其2.性能挑战：在K8S上运行的数据3.安全和合规风险：多租户环境和更多的组件依赖，增加数据库4.成本和维护问题：尽管K8S在一它们通常需要复杂的技术实现和专业知识。通过将数据库部署在K8S上，这些能力可以通过K8S的自动化和标准化机制更容易地实业务需求的波动，在高峰期自动扩展资源，在低谷期收回，有4.高可用性等解决方案：固化高可用方案，提供主从秒级切换和二、传统大数据平台的需求与痛点传统围绕Hadoop生态构建的大数据（一）交付运维成本高不相同。部署，配置和维护如此多样的技术栈需要和运维，提高问题监测和定位的效率。集成在（二）资源利用率低大数据集群，可以是批处理、也可以是流处（三）系统迭代与兼容性挑战版本兼容。由于许多新的大数据组件不支持旧版本的H易地做到IaC(InfrastructureasCode)和CaaS(Configurat（四）安全相关挑战三、云原生技术解决大数据问题的思路4、声明式的API资源抽象程度高：如果组件需要一个1G容量大小的块存一个服务包含3个副本，如果其中某几个副本意外退出了，声明式的稳定，确保服务的整体可靠性。(二)云原生技术提升集群资源使用率和弹性1、混部云原生技术中，将整个基础资源层抽象成了一个大的资源池(计算、存储、网络等资源的组合),被所有大数据组件所共享。组件可以按需从这个大资源池中申请资源，这样避免了资源的重复建设，减少了资源浪费。同时这些资源池可以承载不同类型的大数据组件，如批处理、流处理、OLAP等，加上云原生提供的多种调度技术，可以将不同大数据组件一起混部，结合算法模型，可以预测各个组件的流量峰谷，从而形成了资源的分时复用，整体上提高了总体云原生提供的单机隔离技术Cgroup、KVM、Kata等可以有效的防止混部进程间的相互干扰，使得混部更加安全。大数据混部主要指离在线业务的混部，有如下几种常见思路：(1)在线离线业务完全容器化混部在该种思路中，新业务完全使用K8S调度，同时兼容在线集群，离线和在线大数据业务根据分时调度的策略，选择不同集群/节点运行。整体架构如图所示：大数据调度APP-ContainerAPP-ContainerAPP-ContainerAPP-ContainerAPP-Container图13:在线离线业务混部示意图该思路的优点是管控集中，统一K8S调度管理，便于实现在线基于Yarn的大数据作业的兼容性无法保证，需要企业自身具备较强在该种思路中，作业提交入口依然为YARN保持不变，整个计算资源的调度还是由YARNRM来执行，计算任务还是运行在YarnwithinCgroup图14:HadoopYarnonKubernetes集群模式混部示意图立的，容器集群中会启动一个YarnNodeManager(以下简称为Yarn离线集群可扩展差，Yarn镜像中需绑定大数据集群的Host负载均衡业图15:弹性伸缩示意图业→→→常见的云原生发布策略有滚动更新与回滚、蓝绿发布、金丝雀发布策略，这些策略可以使应用发布的过程中实现应用的平滑升级，以减少对业务的影响。●滚动更新：确保应用程序在更新过程中保持可用。相较于传统的大数据和分布式系统发布，云原生的容器发布提供了一种更为灵活、轻量、可移植性和隔离性的发布形式，使得大数据和分布式系统的部署和管理更为方便。(四)云原生技术提升大数据安全和隐私保护1、数据隔离与多租户安全：云原生技术栈中，有健全的多租户隔离机制来隔离不同用户的资源，防止不同用户间的恶意干扰。通过虚拟集群技术可以实现云原生API使用层面上的隔离、通过Kata等安全容器技术，可以实现容器运行时的强隔离，防止普通容器的逃逸问题发生；通过VPC等虚拟网络技术实现网络层面的隔离，防止端口扫描等恶意探测行为；云存储可以实现存储介质和IOPS上的隔离。多租户隔离可以分为硬隔离和软隔离，硬隔离为每个租户底层单独分配一个集群，从而达到隔离不同租户的目的，适用于为企业外部云原生强大的生态能力在网络层面，数据层面，控制面提供了多种隔离解决方案，多租户软隔离=网络隔离+数据隔离+权限控制。权限隔离：基于RBAC的访问控制+鉴权+授权k8sk8s集群配额Cluster租户配额TenantvclK8S内部微服务和K8S的通信使用非对称加密方式，服务之间通信使用证书/SA,具有双向认证功能，K8S内针对K8S对象的访问也基于RBAC准则，即访问控制+鉴权+授权，针对不同的用户限制了对集群资源的访问范围和权限，极大的减少了由于越权访问带来了n户规作3、数据加密与保护：想要实现端到端的数据加密在传统大数据平台上实施起来较为复杂。开源的方案有HDFS加密，TLS/S配置可能复杂，且在某些场景下可能影响性能。而云原生解决方案可以提供内建的、透明的加密功能，能够在性能较小损耗的情况下实现数据完整性：云原生存储中，会通过校验码等机制来验证数据在传输和存储过程中没有损坏和篡改，保证数据的完整性。同时云原生技术栈中可以使用RAM/IAM等鉴权系统对资源进行精确的访问控制，可以细粒度到PV级别。同时当数据不用时，云存储会自动擦除完整的全链路加密方案，数据在网络传输时可以采用Htps、SSL、同算法对数据进行加密存储，算法可以在申请PV(PersistentVo图19:全链路加密示意图及与合规性标准(如GDPR、HIPAA)的更紧密集成。这些平台能够云原生技术基于微服务架构，每一个微服务一般都是多活架构，统一的管理和编排：Kubernetes提供了一个统一的平台来管理和编排容器化的大数据应用。无论是在公有云、私有云还是混合云环境中，Kubernetes有希望提供一致的操作体验，简化跨灵活的资源调度：Kubernetes强大的资源调度能力使得在不同云环境中部署和扩展大数据应用变得更加灵活和高效。我们可以尝试根据应用的资源需求和可用性要求，智能地在多云或混的形式运行，这保证了应用在不同云环境中的一致性和可移植性。容器化的应用更好地在多个云环境之间迁移，无需针对特网络策略和安全：Kubernetes提供了强大的网络策略和安全机制，这有助于在多云和混合云环境中保护数据和应用。通过这些策略，可以有效地隔离和保护跨云环境中的网络流量，确保数据安全和合规性。混合云/任意云平台多集群调度3、更便于与AI平台融合传统的大数据平台和AI平台往往存在一定程度的割裂，往往是两个独立的团队，它们依赖于不同的技术栈。大数据平台通常基于Java技术栈，而AI平台则更倾向于使用Python技术栈。这种技术栈的差异在一定程度上导致了两个领域之间的协作障碍。然而，随着云原生架构的普及和采纳，这种局面正在发生变化。●技术栈的统一：云原生架构提供了一种更加统一的方法来构建和部署应用，无论它们是基于Java还是Python。在云原生环境中，不同技术栈的应用可以容器化，并在统一的平台上进行管资源管理和调度能力，可以同时纳管CPU和GPU，更好的支这种统一性减少了跨技术栈协作的复杂性，使得团队可以更专统一不(六)大数据云原生引入的新挑战借助云原生技术对大数据平台带来好处的同时，也引入了一些新的挑战，需要业界共同去解决，简要列举如下：1、如何提升大数据作业调度的稳定性和性能?由于大数据的离线计算跟传统云原生应用的场景相比，对调度的时效性和并发度要求都会比较高，传统的调度机制难以满足这种动态和大规模的资源管理需求，因此需要更符合大数据场景的调度方案，可以考虑以下措施：(1)更为智能和灵活的调度算法最为关键的是开发更为智能和灵活的调度算法，例如基于Kubernetes的自定义调度器，能够根据作业的特性和资源的可用性进行优化调度。同时，通过实现高级调度功能，如对于大数据批处理作业来说，针对All-Or-Nothing类型任务的GangScheduling,确保相关的QualityofService(QoS)类型，如Guaranteed,BuBestEffort。这种分类允许系统根据作业的重要性和资源平台时，需要进行大量的改造和适配工作，如支持YarnAPI的云原生调度器。同时，开发与传统存储系统（如JuiceFS等。同时也需要针对各自具体的场景，开发一些辅助迁移工大数据计算场景下有很多中间临时数据，也就Shuffle数据。传统的Shuffle机制可能因为跨节点动态资源调度的特性，在资源重新的失效而丢失；业界比较流行的演进方案是采用新型的Shuffle处理技术，如RemoteShuffleService(RSS)，来优化在云原生环境中的数据传输和处理流程。通过这种方式，可以有效针对这一挑战，需要优化大数据处理组件，比如改进Spark和层，以及Hudi、Iceberg等表格式存储，实现更适合存算分离场景的应的平替，比如对象存储和K8S，因此HDFS和YARN本身的容器场景下，Hadoop本身的可靠性和兼容性在较大规模的场景下已经经过了大量的检验，对于很多用户来说，可靠性和兼容性大于一切，Hadoop依然有其存在的价值，私有化场景下的对象存储也会失去公探讨的话题。在传统的Hadoop大数据平台到完全Serverless化的云过较少的投入，获得部分云原生技术的红利。目前开源社区有一些HadoopOnK8S的方案，也有大量的企业未来都会面对如何从传统的大数据平台向云原生演四、大数据云原生技术的架构简述