京东JDOS平台与敏捷数据中心

1、京东JDOS2.0平台与敏捷数据中心容器技术在京东商城历史与发展JDOS2.0平台京东敏捷数据中心建设 开源计划Q&AJDOS 1.03l分物理机 = 分容器l业务系统100%全面容器运行 l上线周期由1天降低到10分钟 l少买3/4机器JD Data Center Operating System (JDOS)Physical serversVMsContainersJFSOVSSSJD Linux KernelJDOS 发展历程42014201520162017JDOS1.0推出，推进业务容器化推出JDOS平台将业务逐渐接入容器业务间通过容器实现隔离业务容器化全面落地支撑双11/618积累

2、了大量的容器运营经验对Linux内核进行了深度定制 全面建设JDOS 1.0，实现了容器分配的秒级伸缩JDOS容器生态建设完善容器的监控、网络、存储等容器生态建设 建设了镜像中心，为平台化铺平道路积累了丰富的运营监控数据JDOS2.0全面推出从基础设施转向应用平台推进了业务从源码到编译打包到镜像的全流程逐步解除对部署系统的依赖 建设了平台化的JDOS 2.0，实现业务层级的秒级伸缩容器技术在京东商城历史与发展JDOS2.0平台京东敏捷数据中心建设 开源计划Q&AJDOS 2.0集群部署架构自动构建NodeDockerfileSource CodeJenkins MasterJenkins Sl

3、ave PodAppAppAppSkyFSSkyNetElasticSearchPrometheusJDOS-apiSkyDNSapicontrollerscheduler镜像中心 Docker ImageApp集群管理kubeletNetwork Volume Log MonitorApp生产环境测试环境AppSkyLB6JDOS 2.0典型业务7SkyDNSDNS ServerAPICheck IP statusetcdService to DNSWrite to/DeletedockerRead DNS fromDNS req/respIP port scanRead DNS from

4、/Write DNS to /Del/UpdateRed IP from /Update IP statusUserGet ServiceJDOS2.08Load BalancerIP port scanSkyLBLoad Balancer.DDocokcekrerag entag ent ag entDockerKubernetesLoad BalancerDDocokcekrerag entag ent ag entDockerLoad BalancerDDocokcekrerag entag entag entDocker.Load Balancer Based on DPDKDDoco

5、kcekrerag entag ent ag entDPDKLoad BalancerLoad BalancerDDocokcekrerag entag ent ag entDPDKLoad BalancerDDocokcekrerag entag entag entDPDKKubernetes masterLoad Balance Control CentergRPCgRPC Watch ServiceCreate/Del/Get RC for Service9SkyLBRouterSkylbSkylbquaggaDPDKKNILoad balancerSkylbquaggaDPDKKNIL

6、oad balancerService EndpointService EndpointService EndpointBGPBGPBGPVIP:545454Router Table:Dest: viia: Dest: viia: Dest: viia: Dest: viia: Dest: viia: Dest: viia: Dest: viia: Dest: viia:10.20.4.2Dest:10.20.5.0 viia:10.20.5.2quaggaDPDKKNILoad balancer10ContainerFSVFSFUSELibFuseRaftBlockID-xDISKDISKB

7、lockID-xBlockID-xBlockID-xBlockID-xBlockID-xBlockGroupBlockID-xBlockID-xMataData Table ( raft group )VolumeVolumemanagerMata nodesData nodesclientappmetanode Leadermetanode Fllowermetanode FllowerKeparent inoy :+ filenameValueInode attr:ibutesDatanode1Datanode3BlockID-xDISKBlockID-xBlockID-xBlockID-

8、xDatanode2BlockGroupBlockGroupBlockGroup11容器技术在京东商城历史与发展JDOS2.0平台京东敏捷数据中心建设 开源计划Q&AJDOS 敏捷数据中心是什么a PaaS platforma cluster managera container platforman operating system13JDOS 敏捷数据中心14JDOS 是中间件服务平台JDOSJFS独享集群ESJIMDBSimple API Share powerful ClusterJMQJSSJED15JDOS是组件管理平台Universe CatalogRepopackage用户A的

9、zookeeper集群JDOS 廊坊一区集群用户A的kafka broker集群Kafka chart模板管理变量管理依赖管理Kafka Chart服务说明容器的镜像、启动命令，负载均衡配置等Kafka broker的数量等依赖zookeeper服务Kafka服务的介绍ZookeeperKafka brokerZookeeper chart容器的镜像、启动命令，负载均衡配置等Zookeeper的数量等无依赖服务Zookeeper服务的介绍模板管理变量管理依赖管理Zookeeper Chart服务说明ZookeeperZookeeperKafka brokerKafka brokerKafka brokerKafka brokerKafka brokerJDOS 黄村一区集群16用户A的zookeeper集群用户A的kafka br