携程在云原生下的-DevOps-实践

携程在云原生下的DevOps实践GOP

S

全球运维大会

2019·

上海站

目录DevOps&Cloud

Native1携程DevOps理念的演进2携程DevOps案例3总结4GOP

S

全球运维大会

2019·

上海站

物理机

->

虚拟机

->

容器Openstack->Mesos->

K8s私有数据中心

->

混合云.Net->

Java/NodeJS/Golang/Python周均发布9000+次，日均编译30000+，每周上下线机器2000+GOP

S

全球运维大会

2019·

上海站

基本情况介绍DevOps不只是工具DevOps不只是运维的事DevOps的核心是DevOps文化DevOpsDEVGOP

S

全球运维大会

2019·

上海站

OPSQADevOpsCloud

Native应用:基础设施:单体应用小型机单体应用X86服务器微服务云计算+容器化更好的跑道，需要更好的车GOP

S

全球运维大会

2019·

上海站

马车FordModel

TFerrari两者关系DevOpsCloudNativeDevOps是Cloud

Native的基础Cloud

Native让DevOps更简单GOP

S

全球运维大会

2019·

上海站

一切皆可描述，一切皆可观察标准化，弹性扩展目录DevOps&Cloud

Native1携程DevOps理念的演进2携程DevOps案例3总结4GOP

S

全球运维大会

2019·

上海站

Cloud

Native

演进

–

小型机，物理机应用D设备D应用E设备E应用A设备A部署，运维应用B设备B数据中心研发测试运维应用C设备C监控，告警GOP

S

全球运维大会

2019·

上海站

特殊设备，手动部署Cloud

Native

演进

–

虚拟化，云计算数据中心研发测试运维应用E应用E应用E应用D应用D应用D应用B应用C应用C应用B应用B应用B应用A应用A应用A运维监控，告警工具虚拟化，云计算DevOps自动化部署自动化运维GOP

S

全球运维大会

2019·

上海站

优点标准化计算资源交付过程缺点虚机交付慢，无法支撑大规模扩缩容环境标准化靠脚本维护，成本高GOP

S

全球运维大会

2019·

上海站

Cloud

Native

演进

–

虚拟化，云计算Cloud

Native

演进

–

容器化,

混合云数据中心研发测试运维应用E应用E应用E应用D应用D应用D应用B应用C应用C应用B应用B应用B应用A应用A应用A运维监控，告警PaaS容器化，Mesos,

K8sDevOps持续交付平台化GOP

S

全球运维大会

2019·

上海站

优点标准化应用运行环境缺点容器当成虚拟机管理过度依赖用户操作中心化管理GOP

S

全球运维大会

2019·

上海站

Cloud

Native

演进

–

容器化,

混合云Cloud

Native

演进

–

容器化,

混合云数据中心研发测试运维应用A应用B应用C应用D应用D应用D应用E应用E应用E运维监控，告警申明UIK8s观察GitOpsController/OperatorK8sWatchDiffActionDevOpsGOP

S

全球运维大会

2019·

上海站

优势标准化数据中心结构，可快速复制去中心化，k8s内部自治机器管理机器，将人的运维经验代码化GOP

S

全球运维大会

2019·

上海站

Cloud

Native

演进

–

容器化,

混合云目录DevOps&Cloud

Native1携程DevOps理念的演进2携程DevOps案例3总结4GOP

S

全球运维大会

2019·

上海站

持续交付GOP

S

全球运维大会

2019·

上海站

DevOps之路

-

持续交付

–

一天十次发布价值交付代码构建发布测试迁移Git代码包物理机环境管理依赖管理编译包单机多应用手动测试代码Review发布包火车模式研发发布发布测试GOP

S

全球运维大会

2019·

上海站

DevOps之路

-

持续交付

–

想发就发代码构建测试发布价值交付构建规范容器镜像VM/Docker单机单应用金丝雀+灰度版本代码覆盖率自动测试服务集市BadSQL研发研发研发测试版本CI

PipelineCD

PipelineGOP

S

全球运维大会

2019·

上海站

DevOps之路

-

持续交付

–

灵活定制代码CI

PipelineCD

Pipeline价值交付代码驱动GOP

S

全球运维大会

2019·

上海站

容器化GitOpsCommit容器镜像研发DevOps之路

-

持续交付

–

CI

Pipeline

实现测试资源混布，提升利用率灵活配置，利用k8s调度能力GOP

S

全球运维大会

2019·

上海站

DevOps之路

-

持续交付

–

CD

Pipeline私有云公有云K8s

Operator/Controllers…K8s

ClusterGitlabCI标准应用Java/NodeJS/…非标应用K8s系统应用Redis/ES/Spark/AI…Tars/CaptainSpinnakerHelmPaaSCDK8sCIGOP

S

全球运维大会

2019·

上海站

监控日志GOP

S

全球运维大会

2019·

上海站

DevOps之路

–

日志处理Django

App通过UI增加

log配置DB翻译Filebeat配置并保存D(Filebeat)Node

AConfigMapNode

BNode

CD(Filebeat)D(Filebeat)K8s

Cluster生成全量Filebeat配置，推送给k8sConfigMap1234GOP

S

全球运维大会

2019·

上海站

ConfigMap

触发Filebeat

reload缺点中心化管理过度依赖用户操作GOP

S

全球运维大会

2019·

上海站

DevOps之路

–

日志处理DevOps之路

–

日志处理Django

App通过UI增加

log配置Node

AAPI

ServerNode

BNode

CK8s

Cluster渲染

Log

CRD提交K8s12 校验CRD提交EtcdEtcdFilebeatSupervisorFilebeatSupervisorFilebeatSupervisor3 Supervisor

关注pod和log

crd的变化，及时更新filebeat配置Part

IGOP

S

全球运维大会

2019·

上海站

Part

IIPart

III优点去中心化管理支持多云迁移GOP

S

全球运维大会

2019·

上海站

DevOps之路

–

日志处理DevOps之路

–

监控业务层(Prometheus

SDK)语言层(JMX,

Go

Prof)系统层(Cgroup)Agent采集展示(Grafana)TSDB(Influxdb/ClickHouse/VictoriaMetrics)GOP

S

全球运维大会

2019·

上海站

Influxdb目录DevOps&Cloud

Native1携程DevOps理念的演进2携程DevOps案例3总结4GOP

S

全球运维大会

2019·