Serverless场景下Pod创建效率优化

1、Serverless 场景下 Pod 创建效率优化技术创新，变革未来Serverless 计算简介Serverless computing is a cloud computing execution model in which the cloud provider runs the server, and dynamically manages the allocation of machine resources. Pricing is based on the actual amount of resources consumed by an application, rather t

2、han on pre-purchased units of capacity.From: /wiki/Serverless_computingServerless 计算平台架构平 台 运 维审 计 服 务监 控 服 务日 志 服 务K8s masterNodePod (A)Pod (B)Pod (A)Pod (B)PaaSSLBK8s master SLBNodePod (C)Pod (A)Pod (B)Pod (D)K8s masterVirtualKubelet弹性实例弹性实例弹性实例弹性实例管控平面KubernetesSLB (A)SLB (C)数据平面Serverless 计算平台核心

3、竞争力弹性能力Pod 规模创建 Pod 效率Pod 创建相关场景创建应用创建应用 - 调度 - 创建 Pod升级应用升级应用 - 调度 - 创建新 Pod，销毁旧 Pod创建 Pod 流程调度拉取镜像创建容器组下载镜像解压镜像Node镜像解压前大小解压后大小(内网) 拉取镜像总耗时下载镜像耗时解压镜像耗时golang:1.10248.76 MB729.90 MB16.97s3.90s(占比 22.98% )13.07s(占比 77.02%)bde2020/hadoop- namenode:2.0.0-hadoop3.1.1- java8506.87 MB1.29 GB38.87s23.26s(

4、占比 59.84%)15.61s(占比 40.16%)拉取镜像效率提升 镜像预热调度拉取镜像创建容器组Node方式二：调度中预热方式一：调度前预热拉取镜像效率提升 镜像预热OpenKruise 项目下半年将会推出该服务拉取镜像效率提升 解压效率Image Registryimage layers.pack(tar+gzip)uploadimage layers.unpack(tar+gunzip)downloaddocker pushdocker pull拉取镜像效率提升 解压效率压缩/解压工具: gzip (单线程) - pigz (多线程)containerd 从 1.2 版本开始支持，节

5、点上需要安装 unpigz 工具。Upload / Download 并发度docker daemon拉取镜像效率提升 解压效率镜像解压前大小解压后大小(内网) 拉取镜像总 耗时下载镜像耗时解压镜像耗时解压效率提升golang:1.10248.76 MB729.90 MB16.97s3.90sGunzip: 13.07s35.88%11.98s3.60sUnpigz: 8.38sbde2020/hadoop- namenode:2.0.0- hadoop3.1.1-java8506.87 MB1.29 GB38.87s15.60sGunzip:23.27s16.41%29.35s9.90sUn

6、pigz 19.45s拉取镜像效率提升 非压缩镜像Image Registryimage layers.pack(tar+gzip)uploadimage layers.unpack(tar+gunzip)downloaddocker pushdocker pullPush 时不压缩 tar 包，Pull 时会根据 tar 包是否压缩选择是否解压拉取镜像效率提升 非压缩镜像镜像解压前大小解压后大小(内网) 拉取镜像总 耗时下载镜像耗时解压镜像耗时解压效率提升golang:1.10248.76 MB729.90 MB16.97s3.90s13.07s49.81%13.16s6.60s6.56sb

7、de2020/hadoop- namenode:2.0.0- hadoop3.1.1-java8506.87 MB1.29 GB38.87s15.60s23.27s27.89%33.28s16.50s16.78sNote: docker daemon 暂不支持拉取镜像效率提升 镜像分发现状Image RegistryNodecontainer runtimeNodecontainer runtimeNodecontainer runtime下载镜像的压力集中在中心式的 Image Registry拉取镜像效率提升 基于 P2P 镜像分发From: https:/d7y.io/en-us/doc

8、s/overview/what_is_dragonfly.html分散 Image Registry 压力 充分利用内网带宽拉取镜像效率提升 按需加载镜像Our analysis shows that pulling packages accounts for 76% of container start time, but only 6.4% of that data is read.From: Slacker: Fast Distribution with Lazy Docker Containers拉取镜像效率提升 按需加载镜像改变使用镜像的方式Image 所有 layers 下载完后才能启动镜像- 启动容器时按需加载镜像tar 文件没有索引，gzip 文件不能从任意位置读取- 使用可索引的文件格式拉取镜像效率提升 按需加载镜像From: /google/crfs拉取镜像效率提升 按需加载镜像From: /containerd/stargz-snapshotter/blob/master/docs/overview.mdcontainerd/stargz-snapshotter拉取镜像效率提升 按需加载镜像商业化使用：阿里云容器服务 + DADI 加速器From: /