基于AWS的容器运维实践

基于AWS的容器运维实践技术创新

变革未来OpenShift

平台OpenShift平台架构负载均衡

-

Haproxy集群和存储AWS负载均衡

-

HaproxyOpenShift网络

–

拓扑网络拓扑容器通信基于AWS双集群部署架构defdef*api.Y

Y

YS3DNS单集群双集群124公网HAPROXY内网HAPROXY应用API网关公网应用内网应用互联网67389105

自动发现自动发现应用NAT网关OpenShift应用网络访问拓扑公网入流量公网出流量持续集成和部署Jenkins构建集成OpenShiftAPIJenkins-SlaveJenkins-SlaveJenkins-SlaveGitlabNexusS3WARJARMaven构建应用部署要求、标准要求：无状态代码和配置分离可以横向扩展标准：1个Haproxy转发配置2个部署环境1个环境1份Dockerfile应用部署模板ContainerServiceBuildConfigDeploymentConfigServiceAccountConfigMap/SecretVolumeRouteDockfileImageStreamOpenshift

Template由一种或者多种资源组成。应用资源环境申请应用灰度上线

–

蓝绿部署运行状态部署状态Prometheus监控平台Prometheus架构Prometheus架构示意图Alertmanager架构示意图Prometheus部署拆分监控平台整体架构Graylog日志平台Graylog部署架构日志搜集和处理流程3/3//3Log

SourcesInputExtractorStreamPipelineAlertElasticSearch日志搜集日志处理日志系统规模日志数量：>

10亿条/天磁盘空间：~

1.5T应用数量：~

200调用次数：>

3亿/天应用节点数量：~

1000Graylog

VS

ELKAWS

RDS

for

MySQL使用经验资源监控和SQL性能分析performance_schemainformation_schemainnodb_statusglobal_statusmysql_exportercloudwatch_exporterprometheusCPUMemDisk

IONetworkPercona

PMM监控架构示意图SQL性能分析日志搜集和用户权限管理server1server2server3agent1agent1vault

server2vault

server1ELB3/3//3用户权限管理RDS日志搜集注：包括audit

log、error

log和slowquery

log用户权限管理经典故障回顾ARP缓存更新失效故障场景：3.3

->

3.5故障现象：haproxy后端服务器健康检查失败不可用Bugzilla：

/show_bug.cgi?id=1451854Fix：3.6PR：/openshift/origin/commit/256ddc5164e8ef175b04f12d97dd44b64d5d1771Haproxy reload导致部分请求失败故障场景：3.5，haproxy

reload频率过快导致老进程没有退出。Fix：

3.7

(RELOAD_INTERVAL生效)相关资料：/search?l=haproxy@&q=subject:%22Re%3A+HAProxy+graceful+re