容器平台与数据中心协同发展

1、容器平台与数据中心协同发展容器技术在京东商城历史与未来容器技术是什么传统数据中心京东敏捷数据中心建设开源问题容器集群管理&应用编排 VS 数据中心基础软件梦想不止于分容器让编排成为自然的事情JDOS 图谱JDOS1.0分物理机= 分容器业务系统100%全面容器运行上线周期由1天降低到10分钟少买3/4机器JD Data Center Operating System (JDOS)Physical serversVMsContainersJFSOVSJD Linux KernelJDOS2.0/ 3.0/ 3.560%业务SRE初步形成首次支撑618大促全面基于镜像发布上线RS副本数从容扩容应对

2、高峰流量CPU利用率提升3倍，有效消除CPU/Network热点JDOS2.0/ 3.0/ 3.5JDOS2.0/ 3.0 运行典型业务JDOS2.0/ 3.0 核心功能JD PaaSSelf-Service，On-Demand Application StacksCI，Build Image ServicesLogs，Monitors，APM ServiceDNS，LB，JSF ServiceDistributed Shared Storage ServiceAttached Resources ServiceApp OrchestrationJDOS2.0/ 3.0/ 3.5集群部署自动构

3、建NodeDockerfileSource CodeJenkins MasterJenkins Slave PodAppAppAppSkyFSSkyNetElasticSearchPrometheusJDOS-apiSkyDNSapicontrollerscheduler镜像中心 Docker ImageApp集群管理kubeletNetwork Volume Log MonitorApp生产环境测试环境AppSkyLB容器技术在京东的历史和未来容器技术【泛指Container&CM】是什么传统数据中心京东敏捷数据中心开源容器技术是什么-1/3Linux Kernel容器技术是什么-2/3Ne

4、tworking容器技术是什么-3/3SchedulerCreateResource Rebalance容器技术在京东的历史和未来容器技术是什么传统数据中心京东敏捷数据中心建设开源计划传统数据中心DNS负载均衡二层VLAN网络CMDB7x24监控中心容器技术在京东的历史和未来容器技术是什么传统数据中心京东敏捷数据中心建设开源京东分布式DNSDNS ServerAPICheck IP statusetcdService to DNSWrite to/DeletedockerRead DNS fromDNS req/respIP port scanRead DNS from /Write DNS

5、to /Del/UpdateRed IP from /Update IP statusUs erGet ServiceJDOS2. 0Load BalancerIP port scan负载均衡服务部署架构.LB Based on Container（Haproxy）DDocokcekrerag entag ent ag entDockerLoad BalancerLoad BalancerDDocokcekrerag entag ent ag entDockerLoad BalancerDDocokcekrerag entag entag entDocker.Load Balancer Bas

6、ed on DPDKDDocokcekrerag entag ent ag entDPDKLoad BalancerLoad BalancerDDocokcekrerag entag ent ag entDPDKLoad BalancerDDocokcekrerag entag entag entDPDKJDOSLoad BalanceControl CentergRPCgRPCWatch ServiceCreate/Del/Get RS for Service京东高性能L4RouterSkylbSkylbquaggaDPDKKNILoad balancerSkylbquaggaDPDKKNI

7、Load balancerService EndpointService EndpointService EndpointBGPBGPBGPVIP:192.168.100.210.20.3.25410.20.4.25410.20.5.254Router Table:Dest: via: Dest: via: Dest: via: Dest: via: Dest: via: Dest: via: Dest: via: Dest: via: Dest: via:quaggaDPDKKNILoad balancerHash 0Hash 1Hash 2Hash 3Hash 4Hash 5Hash 6H

8、ash 7Session 0Session 1Session 2Session 3Session 4Session 5Session 6Session 7Client-pkt-hashtablers-pkt-hashtableHash 0Hash 1Hash 2Hash 3Hash 4Hash 5Hash 6Hash 7Session table京东百万级容器网络Compute ServerCompute ServerAS BRouterCompute ServerComputeAS YRouterAS YSpine SwitchSpine SwitchAS ARouter/24TOR Swi

9、tch192.20.4.1/24/24AS BRouter192.20.4.2/24AS BRouter192.20.5.2/30192.20.5.1/30192.20.6.2/30/30192.20.1.2/30192.20.7.1/30192.20.7.2/30Router/30/30192.20.8.2/30AS ARouter/24192.20.9.2/24TOR Switch/24/2410.20.3.210.20.4.210.20.5.2 via via default via via via default via ServerAS BRouter10.20.6.2default

10、 via default via via via via via via via via via 网络服务质量1/2网络服务质量2/2分布式共享存储-1/2分布式共享存储-2/2容器技术在京东的历史和未来容器技术是什么传统数据中心京东敏捷数据中心建设开源开源计划分布式共享存储/ipdcode/containerfs分 布 式 DNS /ipdcode/skydnsJD IDC 容器&基础软件SwitchRouter路由发布L4 负载均衡(DPDK+物理机)VIP路由发布L4 负载均衡(DPDK+物理机)VIPSwitchL7负载均衡BGPDNSBGPDNSBGPHades.HadesDNSSwitchBGPL4负载均衡NginxSSL/TLSTomcatNginx SSL/TLSTomcat.APIAPITomcat.Tomcatet cdNginx SSL/TLSNginx SSL/TLSAPI无VIP L4-L7负载均衡DNSDNS.BGPBGPKubernetes/JDOS2.0ContainerFSService BrokerJDOS 3.0Service Catalog JDOS3.0 Service Catalog通过标准的 Open Service