阿里云云原生容器网络实践

1、阿里云云原生容器网络实践目录容器网络概述虚拟化网络介绍阿里云云原生容器网络容器网络演示容器介绍容器原理与演变Cgroups+Name Spaces计算 存储 网络宿主机由物理机演变为云服务器Bare Metal ServerEslatic Compute Server(ECS)网络环境变化由物理网络演变为虚拟网络ContainerContainerCgroupsName SpacesKernel计算存储网络Bare Metal物理机ECS容器网络Container2network sandboxendpointContainer3network sandboxendpointendpointn

2、etworkContainer1network sandboxendpointnetworknetworkk8s-masterhosthostsandboxendpointnetwork单独的网络协议栈网络设备内部网络 外部网络Bridge方案容器通过veth连接到网桥上跨节点通过外部网络打通缺点IP地址无法漂移容器无法直接使用云上的诸多服务生能较差集群规模受外部路由限制传统容器网络方案（一）vSwitchBridge192.168.1.10010.0.1.253Pod2 10.0.1.2vethNIC10.0.1.0/24-BridgePrimary IP: 192.168.1.100 10

3、.0.1.0/24-ECSVirtual NetworkECSvethvethPod1 10.0.1.1vethvSwitchNICBridge 192.168.1.10110.0.2.25310.0.2.0/24-BridgePrimary IP: 192.168.1.101 10.0.2.0/24-ECSECSvethPod3 10.0.2.1veth传统容器网络方案（二）Overlay方案不同主机上的pod在不同网段， 每个节孛独立分配，保证IP唯跨主机的容器通信通过vxlan封装缺孛:无法使用云网络下的各种服务和外部网络无法互联互通生能损失大Eth00.0.0.0/0 -eth0Eth

4、0cni0/linux bridge 192.168.0.1Pod20.0.0.0/0 - eth0eth0vni 192.168.0.0封包解包vxlan 封包 解包vethveth192.168.0.0/24 - cni0192.168.0.0/16 - vniEth0cni0/linux bridge 192.168.0.1Pod20.0.0.0/0 - eth0eth0vni 192.168.0.0vxlan 封包 解包veth192.168.0.0/24 - cni0192.168.0.0/16 - vniudp package 172.16.0.7:4789-172.16.0.8:

5、4789Ethernet package pod1-pod3VXLAN隧渣External NetworkPod10.0.0.0/0 - eth0云网络带来的变化新加坡阿里云网络场景全景图Internet云上网络杭州region阿里公网VPC用户系统香港region阿里公网VPC用户系统新加坡region阿里公网云企业网一点接入、全球互联边界路由器（杭州）边界路由器（上海）云连接网（中国大陆）云连接网（香港）边界路由器（香港）云连接网（新加坡）边界路由器（新加坡）智能接入网关智能接入网关智能接入网关智能接入网关智能接入网关智能接入网关智能接入网关智能接入网关CPECPE高速上云服务宽带4G高速

6、上云服务宽带4G专线中国大陆香港宽带4G专线VPC用户系统智能接入网关跨地域网络混合云网络Internet用户网络弹性网卡热插-安全组隔离网卡多IP更轻量的网络载体支持访问云服务业务层面和弹性网卡同等地位弹性网卡及其多IP容器网络的结构和位置Kubernetes核心和扩展机制Web容器网络接口CNITerway网络组件IPAM安全QOSCloud ControllerLinuxSLBVPCENIEIP容器应用容器平台基础设施公有云CRIDocker/ ContainerdCSI存储StatefulHPC/ML阿里云云原生容器网络阿 里 云 VPC 192.168.0.0/16ECSECS192

7、.168.0.1192.168.0.2PodPod192.168.0.3192.168.0.4ECS 192.168.0.5POD网络和ECS同等地位PodPod与已有云资源互联互通192.168.0.6192.168.0.7POD网络可以和云产品无缝整合弹性网卡直通的容器网络masterAPIServerNodeVSwitchVPCKubeletTerway CNIeth0Podeth0Podeth0VSwitcheni1eni2OpenAPI弹性网卡辅助IP的容器网络masterAPIServerNodeVSwitchVPCKubeletTerway CNIeth0Podeth0Podet

8、h0VSwitcheni1eni2OpenAPIPodeth0IPVLANIPVLAN性能对比02000400060008000100001200014000ENI直通TCPRRENI多IP IPVLANFlannel Vxlan0500000100000015000002000000250000030000003500000ENI直通UDP PPSENI多IP IPVLANFlannel Vxlan05101520253035ENI直通00.020.040.060.080.10.120.14Bandwidth(Gbit/s)ENI多IP IPVLANFlannel VxlanENI直通Latency(ms)ENI多IP IPVLANFlannel Vxlan* 测试环境 aliyun神龙 ecs.ebmg5s.24xlargeTCP RR, UDPPPS, 带宽，延时优于Vxlan Overlay方案在UDP小包情况下的PPS优势明显，适合于高性能计算和游戏场景云原生网络演示云原生网络部署和暴露Web服务阿里云K8S集群Node1Node2Nginx PodNginx PodSLB