云端部署Kubernetes与容器集群方案

1、云端部署Kubernetes与容器集群方案技术创新 变革未来如何在云端部署为何客户选择将生产负载放在AWS容器环境AWS VPC 网络模式进阶的任务置放策略深度集成 AWS 相关 服务ECS CLI全球部署强力的编排引擎自动扩展组CloudWatch 监控指标负载均衡器为什么开发者这么青睐Kubernetes？可扩展 性能 服务广度 自有数据中心C L O U D云计算在哪里运行 Kubernetes 至关重要底 层 云 平 台 的 “ 能 力 ”应 用 自 身 的 “ 质 量 ”用 户 最 终 体 验是客户首选的容器应用技术平台of Kubernetes workloadsrun on AW

2、S todayCNCF survey在 AWS上如何继续使用 Kubernetes？Amazon EC2Kubernetes OperationsTectonic Installer社区解决方案合作伙伴通过Kops管理Kubernetes集群通用的CloudFormation 或Terraform 脚本/kubernetes/kopsexport AWS_AVAILABILITY_ZONES=$ZONES:-us-east-1b,us- east-1c,us-east-1dexport KOPS_STATE_STORE=s3:/kubernetes-aws-iokops create clus

3、ter cluster.k8s.local -master-count 3 -master-size m4.large -node-count 5 -node-size m4.large -zones $AWS_AVAILABILITY_ZONES -networking calico -yes“ R u nK u b e r n e t e sf o rm e . ”请帮我运行K u b e r n e t e sE L A S T I CC O N T A I N E RS E R V I C EF O RK U B E R N E T E S( E K S )EKS设计原则和开源K u

4、b e r n e t e s一致体验U p s t r e a m保持和上游同步支持企业生产级别 的容器应用按需和 AW S 服务 无缝集成逻辑架构MasterMasterMasterWorkersWorkersWorkersAWS ManagedAWS 托管访问逻辑Availability Zone 1Availability Zone 2Availability Zone 3KubectlEKS 用户体验创建 E K S 集群 创建并添加 W o r k e r 节点 启动 K 8 S 插件 启 动 容 器 应 用小米生态云基于Kubernetes的应用引擎实践小米生态云一站式云服务平台

5、，为生态链云端业务保驾护航云计算，大数据，人工智能数据隐私合规安全、效率、自由全球布局旧版应用引擎：基于IaaS公有云Cloud FoundryWeb控制台用户与权限管理小米账号开箱即用的PaaS平台完整的组织、用户和权限管理成熟稳定，非常适用于无状态Web 应用Buildpack机制和基础文件系统不灵活，定制难度大无法限制应用的CPU绝对用量不支持Cluster应用、UDP应用Docker支持不完整，非原生体验自有体系，组件繁多，部署运维复杂新版应用引擎基于CLI浏览器APP智能硬件浏览器NLB/CLBNLB/CLBNginx Ingress ControllerKubernetes集群We

6、b控制台用户与权限管理日志监控报警计量计费镜像仓库小米账号高可用部署MasterNodesetcdetcdMasterNodesetcdAZ 1AZ 2kubectl label nodes node-1 failure-domain.beta.kubernetes.io/region=us-west-2 failure-domain.beta.kubernetes.io/zone=us-west-2akubectl label nodes node-2 failure-domain.beta.kubernetes.io/region=us-west-2 failure-domain.beta

7、.kubernetes.io/zone=us-west-2b多租户权限控制资源隔离网络隔离权限控制Kubernetes用户与权限管理小米账号o1-namespace1Org1o1-namespace2Xiaomi IDGroupUserRoleo1-namespace3RBAC AuthzrolerolebindingWebhook Authn/tokenClient123/authenticate45资源隔离应用引擎账号A公司应用B公司应用A公司账号B公司账号数据库缓存数据库缓存VPC对接VPC安全组VPC安全组网络策略VPC对接网络隔离：容器网络: CalicoCalico GlobalN

8、etworkPolicy优先级从高到低允许某公司的应用访问该公司的VPC网段（egress）允许同一公司的应用之间相互访问（egress+ingress）允许所有应用访问KubeDNS/CoreDNS地址（egress）允许Nginx Ingress Controller访问所有应用（ingress）禁止所有应用访问所有私有地址（egress）允许所有应用访问所有地址（egress）被所有地址/应用访问（ingress）关闭Source/Dest. CheckCALICO_IPV4POOL_IPIP=always允许同一公司的应用之间相互访问apiVersion: /v3 kind: Glob

9、alNetworkPolicy metadata:name: $ORG-allow-access-among-same-org spec:egress:- action: Allowdestination:selector: org = $ORG source:selector: org = $ORG ingress:- action: Allowdestination: source:selector: org = $ORG order: 800selector: org = $ORG types:IngressEgress应用抽象和封装Application0.1Ingress1Servi

10、ce 1ReplicaSet0.NPod1Deployment日志Amazon S3+VMware Harbor+CoreOSClair日志NodesFluentd AgentSplunkFDSHDFSKafkaFile实时日志离线计算日志下载实时分析监控报警监控Nginx Ingress Controller + Lua + Open FalconHTTP相关指标 报警Open Falcon短信邮件经验分享log-opts: max-size:100m,max-file:10,live-restore:trueAWS: 关闭Source/Dest. Check跨子网：CALICO_IPV4POOL_IPIP=always重命名策略: k8s-policy-no-matchKubelet-pod-infra-container-image=gcr.io/google_containers/pause-amd64:3.1-docker-disable-shared-pid=false资源限制ResourceQuotaLimitRangeEvents导出到外部存储CronJobsuccessfulJobsHistoryLimit, failedJobsHistoryLimitconcurr