容器化大数据云平台技术架构课件

1、容器化大数据云平台技术架构一、建设背景二、探索历程三、平台实践四、总结与展望目 录1980-2002萌芽阶段2003-2006突破阶段2006-2009成熟阶段2017-2022爆发阶段2009-2016应用阶段2013: 中国大数据元年1999SaaS出现2006IaaS/PaaS出现2014FaaS出现2013CaaS出现2010: OpenStack(IaaS)2009: vSphere(IaaS)2006: AWS(SaaS), Amazon EC2(IaaS),Zimki (PaaS)1999: Salesforce (SaaS)2016: OpenWhisk (FaaS), Fis

2、sion(FaaS)2014: Kubernetes (CaaS), AWS Lambda(FaaS)2013: Docker (CaaS), Marathon(CaaS) 2012: Oracle Cloud(Iaas/PaaS/SaaS)2011: CloudFoundry (PaaS)2009: CDH, Avro, Chukwa 2008: Hive, Pig, ZooKeeper 2007: HBase2006: Hadoop(HDFS+MapReduce), Solr2015: Kudu2014: Spark, Flink2012: YARN, Impala, Storm2011:

3、 MapR, Hcatalog, HDP, Kafka 2010-11: Crunch, Sqoop, Flume, Oozie大数据的目标是充分挖 掘海量数据中的信息， 以发现数据中的价值云计算的目标是通过资 源共享的方式更好地调 用、扩展和管理计算和 存储等方面的资源和能 力，以提高资源利用率， 降低企业的IT成本云计算可以为大数据平 台的计算和存储提供资 源层的灵活性大数据组件部署到云平 台上，作为通用PaaS能 力，为用户带来使用上 的便利和高效1.1 大数据与云计算的发展历程Tech vendors internal developmentMapReduce, BigTable, G

4、FS, CassandraSingle vendor platformAzure, AWS, Google,DatabricksHadoop ecosystemHortonworks, Cloudera, MapRBig Data 2.0Big Data 3.0Tech companiesFortune 500MainstreamSpecializationSimplicityBig Data 1.0SpecializationSimplicityAdminDevelopment美国知名分析机构Wikibon把大数据技术发展大致分为3个阶段：Bigdata 1.0 :以海量数据存储、处理为主平

5、台难以维护，数据开发困难Bigdata 2.0 :Hadoop商业版出现SQL on Hadoop 逐渐成熟以批处理、流处理为主Bigdata 3.0 :客户需求多元化技术栈复杂化ABC走向融合1.2 技术发展趋势：走向AI+Bigdata+Cloud 融合1.3 中国联通构建了业界领先的大数据平台通信网络业务平台外部合作伙伴互联网向下完成5大类、全域数据汇聚孵化统一数据模型向上服务对内生产，同时支撑价值开放运营数据服务能力开放对内应用对外变现（大数据公司）技术引领全域贯穿顶层架构设计资产化管理能力化输出价值化运营数据中心数据应用. .能力流量查询. .计算日志解析. .存储资料数据. .IT

6、系统中国联通拥有集中的，企业级全域数据的存储中心、计算中心、能力中心和孵化中心数据规模（PB）X86服务器（台）98.6108.0662.36097655142892017年2018年2019年2017年2018年2019年海量的计算能力、存储能力PB级数据吞吐能力、统一数据服务能力企业核心数据资产管理能力助力数字化转型的服务型数据应用可价值变现的产品型数据应用国内领先的大数据平台生产服务平台（智算）IaaS基础 设施PaaS数 据 中 台SaaS应 用开发测 试数据治 理基于容器云的数据中心操作系统主机资源存储资源网络资源大数据对内应用大数据对外应用能力开放平台（智汇）人工 智能 引擎 智见

7、数据服务能力封装/开放（）（）业务 空间 数据库 智图AI能力 空间数据能力数据能力资源能力1.3中国联通构建了业界领先的大数据平台全域数据汇聚和管理中心，沉淀了海量的计算能力、存储能力、数据能力。面临着如何实现资源智能调度、最大化利用、能力共享，进一步赋能各类合作伙伴应用创新、 促进数据价值变现的发展瓶颈。1.4 联通痛点自身优化计算/存储资源使用 不均衡资源弹性调度不足技术组件支撑不全手工运维效率低生产服务平台（智算）基于容器云的数据中心操作系统IaaSPaaS数 据 中 台SaaS应 用基础主机资源设施存储资源网络资源开发测 试数据治 理大数据对内应用大数据对外应用能力开放平台（智汇）人

8、工 智能 引擎 智见数据服务能力封装/开放）（）（业务 空间 数据库 智图AI能力 空间数据能力资源能力数据能力创新驱动构建能力共享生态急需支持租户自助使 用云化大数据相关资 源，赋能创新保障数据安全开放通过持续研究和探索，构建中国联通容器化大数据 云平台，解决痛点问题一、建设背景二、探索历程三、平台实践四、总结与展望2016年至今，中国联通持续在大数据云平台建设方面投入力量完成了资源管理从无到有，资源调度及运维从“体力”到“脑力”的演变，逐步实现智能化管理和运营，为 企业数据生产与服务起到了降本提效的作用。serverserverserverserverHiveStormSparkHadoo

9、pHbaseMPPYarnRedisMysqlserverserverserverserver物理部署人工划配系统运维最初阶段半自动化部署半人工划配系统运维，简单监控优化提升一键部署按需自动分配、弹缩组件逐步丰富统一监控、智能运维飞跃阶段Kubernetes+Docker2.1 历程回顾serverserverserverserverHiveStormSparkHadoopHbaseMPPYarnRedisHiveSparkStormmysqlKafkatensorflowHadoopHbaseMPPRedis时序 数据库CaffeMysqlMesosKubernetesMesos技术出现时间

10、2014年2014年调度级别二级调度（基于predicates和priorities两阶段算法）二级调度（FIFO，capacity scheduler，fair scheduler）生态活跃活跃且社区关注逐步上升活跃，社区关注逐步下降适用场景web应用，中间件及数据库，有状态服务，其他支持类型飞速 发展通用性高，混合场景成熟度高高应用案例分析Google、AWS、Redhat、Oracle、Intel、IBM、华为、阿里、 百度等Twitter、Apple、Airbnb、Yelp等技术生态支持CNCF组织，由Google公司牵头组织主要由Mesosphere公司贡献技术实现开源产品种类繁多，

11、实现难度低，成熟度较高原生框架实现难度高编排Docker需要Marathon实现调度功能通过研究、探索和实践，我们发现Kubernetes+Docker的技术路线更契合联通的实际需求。它几乎支持了所有的容器业务类型，包含长期伺服型（long-running）、批处理型（batch）、节点后台 支撑型（node-daemon）和有状态应用型（stateful application），也正是因为这个特点，k8s能够支持当前 大多数常见的大数据处理场景，如分布式数据存储（HDFS、Hbase）、离线分析（hive/Spark）、实时处理（Sparkstreaming）、数据挖掘（SparkMLli

12、b），及深度学习框架（Tensorflow）等。2.2 Kubernetes vs. Mesos2.3 与Rancher的合作中国联通在搭建Kubernetes + Docker的容器化平台过程中，引入了Rancher的产品部署和管理多个 Kubernetes集群。Rancher ServerKubernetes集群Kubernetes集群Kubernetes集群Kubernetes集群图形化RKE部署/管理中国联通的微服务开发运维管理平台 使用了Rancher Server，通过图形化和 RKE两种方式对多个租户的kubernetes 集群进行部署和管理：图形化部署和扩展集群图形化节点、资源

13、和容器监控备份和容灾，提高集群可靠性Rancher具有丰富的容器化实施案例 经验，是联通在支撑客户需求以及集 群故障恢复方面的坚强后盾。Kubernetes作为开源产品，经常会有 重大安全漏洞，Rancher都是率先发 现并及时给出解决方案，为联通云平 台的安全保驾护航。一、建设背景二、探索历程三、平台实践四、总结与展望3.1 整体介绍2018年，基于Kubernetes+Docker，构建了中国联通容器化大数据云平台。基于统一服务集成框架Kubernetes Service Catalog，集中管理、部署多类PaaS能力，包括大数据基础服 务能力、中间件及数据库能力、数据集成工具能力、容器云

14、能力、深度学习框架能力等，并支持灵活扩展。面向省分公司、子公司及内外部合作伙伴，实现大数据云化资源能力的自助开放，支持租户进行大数据平台 建设、大数据加工处理、模型训练及应用的开发部署。Kubernetes+Docker资源管理资源调度资源隔离弹性伸缩负载均衡安全管控统一服务集成框架（Kubernetes Service Catalog）大数据即服务中间件/数据库即服务KafkaRedis数据集成工 具即服务云化ETL深度学习即容器云服务 服务租户某省大数据生产平台某省经营分析系统（数据加工）创新孵化模型训练应用/微服务开发部署+平台+集约管理智能调度动态弹缩+租户+自助申请租户隔离应用持续集

15、 成/部署3.2 主要PaaS能力Hive开源SQL引擎组件，能够将普通SQL 语法转化成MapReduce作业，执行 批处理任务。HBaseNosql数据库，支持结构化、半结构 化以及非结构化数据存储。Hbase表 动态可扩展，支持高并发的检索查询。Spark基于内存的分布式计算引擎，大大提 高了海量数据加工处理的性能。HadoopHadoop基础服务，包括HDFS分布式 文件系统、统一资源管理框架YARN 等组件。01大数据基础服务组件（原子组件+场景化组合）云上的流处理分析服务，对流数据进 行实时采集和处理，构建实时数据仓 库和实时应用，挖掘流式数据价值。 包括HDFS、SparkStr

16、eaming、 Hbase等组件。实时计算构建一站式数据仓库服务，提供数据 整合、加工、分析等全套数仓构建服 务，帮助打造数据核心。包括HDFS、 Hive、Spark等组件。数据仓库数据挖掘开发平台，可进行机器学习 和AI应用的开发和训练，支持对各类 数据实现高度智能化的处理。包括 Tensorflow、MxNet等组件。数据挖掘数据集市适用于面向部门级的数据分析业务， 提供包括交互式分析引擎、OLAP Cube引擎，支持自动化的报表应用构 建。 包括 HDFS 、 Hive 、 Spark 、 Rubik等组件。Storm基于事件驱动模式的实时处理框架， 实时数据处理延时能够低至10ms级

17、 别。Apache分布式应用程序协调服务组 件，主要用于大数据分布式组件的配 置、状态、元数据等信息的存储。ZooKeeperPB级别高速全文检索服务，提供高并 发支持，冷热数据隔离，以及字段精 确、模糊检索和快速统计功能。包括 ElasticSearch等组件。信息检索IMPALA高性能SQL查询引擎，将MPP与 Hadoop架构进行融合；数据查询性 能远高于Hive。3.2 主要PaaS能力02数据集成工具03高吞吐的分布式消息队列。中间件及数据库服务组件KafkaRedis基于K-V的内存数据库，具有极高的 数据查询效率，常用于作为WEB系 统的数据缓存层。支持单机、哨兵、 集群等部署模

18、式。MySql传统关系型数据库,支持single、一 主多从等多种部署模式。Nginx高性能HTTP服务器和反向代理 服务器。04容器云应用/服务开发部署环境支持对租户应用/服务开发、部 署、编排、动态弹缩、灰度升 级、并提供完整的可视化运维 监控元数据管理支持对租户中的元数据进行管理， 包括元数据检索、数据血缘管理 分析等。云化ETL采用图形化的数据流和工作流设计， 将分散的、异构数据源抽取，进行清 洗、转换、集成,最后加载到数据仓库 或数据集市中。数据稽核管理全图形化规则配置界面，支持稽 核规则自动调度执行，针对稽核 出的数据质量问题，系统会自动 进行分类并形成数据处理工单。05深度学习框

19、架为模型训练提供 分布式计算框架及 开发工具容器管理（Kubernetes + Docker）深度学习框架中间件及数据库微服务开发部署数据集成工具三方服务扩展Service BrokerService BrokerService BrokerService BrokerService BrokerOSB APIOSB APIOSB APIOSB API能力开放能力列表能力订购能力变更能力退订Kubernetes Service CatalogOSB APIOSB API能力上架能力下架租户A租户B租户C租户D租户N大数据基础服务ESMongoDBImpalaKafkaHiveStormHado

20、opHBaseJupyterNotebooksMxNetMPIPyTorchCaffe2TensorFlow云存储RocketMQRedisMySQL开发/构建测试/发布CI/CD镜像仓库管理服务注册服务发现调用链跟踪限流/降级/熔断云化ETL元数据管理数据稽核管理资源管理资源调度资源隔离服务编排弹性伸缩安全管控负载均衡基础设施（主机 + 存储 + 网络）3.3 技术架构Service BrokerService Broker Service Broker3.3 技术架构Service catalog API ServerOpen Service Broker APIKubernetes AP

21、I ServerService catalog ControllerEtcd信息检索数据仓库 实时计算数据挖掘数据集市Service Broker B 数据库与中间件RedisKafkaOthersService Broker C 深度学习框架OthersService Broker Service Broker 运用统一集成框架 Kubernetes Service Catalog，实现异构服务组件的统一纳管、自助拉起和在 线开放。使用业界标准的Open Service Broker API，支持第三方组件的接入和扩展。Service Broker A 容器化大数据平台Kubernetes租

22、户自助构建大数据平台，进行数据生产提供大数据相关服务组件，供租户进行数据加工处理租户应用/微服务的开发和容器化部署提供建模环境及样本数据，供租户进行模型训练，赋能业务创新智汇中国联通容器化大数据 云平台可视化选取数据获取生产作业专属大数据平台分钟级容器化部署大数据分析处理结果数据与自有应用场 景结合模型训练建模环境+批量样本数据资源自助开放 弹性伸缩 动态调度17%22%34%27%租户整体应用场景概览省分大数据平台构建 大数据加工处理模型训练容器化应用/服务开发部署3.4 支持场景租户隔离和控制资源隔离01租户有独立的网络、系统命名空间和存储02数据隔离每个租户可使用独立的HDFS用于 数据

23、存储，租户间不做直接共享服务隔离03不同租户使用的服务属于不同的实例，彼此之间完全透明04业务隔离通过Docker实现运行环境隔 离，进程之间无法感知容器化大数据云平台保障租户资源隔离、空间独立、数据加工过程私密、互不干扰，为租户提 供安全可靠的生产环境。3.5 安全隔离大数据服务容器化最小单位拆分亲和算法调度Headless service计算资源本地化亲和算法调度Yarn/Spark调度逻辑调整共享Domain socket多种PaaS能力集成Open Service BrokerKubernetes Service Catalog多Kubernetes集群互通定制Flannel网络插件，

24、多集群共 用Flannel网络3.6 技术挑战Kubernetes Service CatalogClusterServiceBrokerClusterServiceClassClusterServicePlanServiceInstanceServiceBindingCredentialsOpen Service Broker APICatalogProvisionUpdateDeprovisionUnbindBindService Broker实现PaaS组件平台1 服务 服务 服务 服务Service Broker实现PaaS组件平台2 服务 服务 服务 服务Service Broker

25、实现PaaS组件平台3 服务 服务 服务 服务Service Broker实现PaaS组件平台n 服务 服务 服务 服务解决方案：基 于 业 界 先 进 的 Open Service Broker规范，通过 标准化接口快速对接各种 PaaS组件平台，汇聚各种 PaaS能力，形成技术生态， 为租户赋能。基于 Kubernetes Service Catalog，采用k8s扩展API 和自定义资源原生技术实 现对服务从开通到退订的 全生命周期管理。遇到问题：容器化大数据云平台需要快速集成大数据类、数据库及中间件类、数据集成工具类等多种PaaS能力。没有统 一的集成接口。3.6 技术挑战 多样化Pa

26、aS服务集成遇到问题：需在多个Kubernetes集群部署各类PaaS能力。大数据组件在容器化部署之后，服务相关的所有POD 都是容器网络，自身暴露的通信端口在集群外都无 法访问，导致应用通过大数据组件原生的API调用 时遇到问题。app1app2Kubernetes集群2Kubernetes集群1datanode podnamenode poddatanode podnamenode podHDFS集群一集群二APIServerKubeletflanneldKubeletflanneldKubeletflanneldKubeletflanneldAPIServerETCDETCD3.6 技术

27、挑战 Kubernetes集群间网络互通解决方案：通过定制flanneld网络插件，两个K8S集群共用一套Flannel网络，实现跨集群pod IP直接连接，解 决K8s集群间的网络互通问题。遇到问题：采用多租户的方式对外提供大数据服务，每个租户都是隔离的。 这就要求需要在一个物理集群上能够部署多套Hadoop集群。挑战1. 挑战2. 挑战3.如何将Hadoop服务进行拆分？ 如何自动完成角色规划？服务拆分之后，如何解决服务依赖以及服务发现问题？3.6 技术挑战 Hadoop容器化服务拆分解决方案：将Hadoop按组件拆分成最小单位，确保能够独立部署；通过配置亲和/反亲和调度算法保证同一个集群

28、的各个服 务能够合理部署，比如：同一集群的两个Namenode不 会调度在同一个物理机上；拆分完之后解决，服务之间的依赖和服务发现问题集群内使用Headless service服务之间通过DNS和配置注入进行服务发现集群外的访问通过-NodePort-Rest服务+LoadBalancerKubernetes存储网络监控拆分3.6 技术挑战 Hadoop容器化计算本地化（1）ExecutorDatanodeDomain Socket在安装集群前提前进行角色规划，确保YARN 的Nodemanger和Spark的Worker节点与 Datanode都在相同的物理机上。通过判断IP是否一致决定是否

29、进行本地读写Domain socket优化，免去本地io走tcp协议栈Domain Socket遇到问题：挑战1：Executor与Datanode数据不同pod,如何保证同一个集群的Executor和Datanode分布在相同的物 理主机上？挑战2：每个容器有一个独立IP，如何保证本地读写？ 挑战3：每个容器独立的文件系统，如何保证DomainSocket优化？物理机部署容器化部署ExecutorDatanode3.6 技术挑战 Hadoop容器化计算本地化（2）ExecutorNodemanagerDatanodeExecutorDatanodeDatanodeNode1Nodemanag

30、erDatanode集群1集群2Node2Host1SchedulerHost2NodeManagerDatanodeNamenodeGetBlockInfoBlock ReportAssign tasksNodeManagerDatanode解决方案：第一步：采用K8S亲和性调度策略，确保统一集群的计算服务于Datanode调度到相同的物理机列表里。 第二步：更改Yarn/Spark调度逻辑，判断对应的计算切片是否在同一台host上。第三步：多个pod共享Domain socket，而且每个租户的hdfs的domain socket互相独立。102个租户入驻子公司 34个集团业务 部门 24个省分租户 44个月均执行MR/Spark任务162,455个，执行数据调度任务15,261个2 部署4000余个容器服务实例，对100,000个事件跟踪分析集群节点数437个，CPU6028核，内存37.52TB，存储13.09PB开放PaaS能力组件6大类，30余种开放标准化数据产品7大类，600余个2018，TMF Forum 开放数字生态大奖提名2018，大数据最佳产品奖，数据中心联盟大数据 发展委员会2018，中国联通集团科技进步奖3.7 建设成效基础设