容器环境下的智能运维技术研发与实践

1、容器环境下智能运维技术研发与实践才振功 博士浙江大学SEL容器环境下智能运维的容器环境下智能运维研发实践智能运维发展展望 浙江大学SEL浙江大学SEL2016 2013 2011 SEL 2009 2001 SEL 团队% FB/ FB/t520 *_*100+ c 2$ ?K h7YkQ( M$/ ! 7Y -qQ =gj 9"Q( 300 fR6uH: a%pl&CIO N < r L' &9E oIT.n 34bi _c>O4b 0>y100 U,# 4b CD Z T-( =gj8vP;4b?K 3-(o =gj9" se

2、-GA1i + X o) w Jl&3 DST IFDS z &,S I ;d# SEL实验室容器云贡献pCNCFKubernetes 200 Docker p20167 20Kubernetes , ,2017/8/30- by 5Kubernetes15Docker524Cloud Foundry326我们为什么做容器平台的智能运维 SEL 浙江大学SEL 容器环境下智能运维的 容器环境下智能运维研发实践智能运维发展展望传统运维容器环境特点 容器化是IT架构*要发展趋势之一 组件和服务数量众多 部署模式多样化 自带服务治理功能容器环境下智能运维 浙江大学SEL容器环境下智能

3、运维的 容器环境下智能运维研发实践 智能运维发展展望智能运维技术研发与实践 1. 2. 3. 1. 容器统一案例场景为某政务数据中心，采用+容器技术方案*要业务：支撑应用系统发布运维特点：系统托管在数据中心，发现问题后，应用方请求数据中心提供相关数据进行故障诊断目标：提供适合应用的数据，供运维运行分析设计思路Kafaka Spark SQL HBase HDFSElasticSearchSpark Streaming AgentflumeAgentflume容器方案如何容器镜像Option1: 镜像提前做好，tomcat，jetty等启动命令提前加好Batch 批量更新镜像Option 2:但

4、： 根据只跟踪service ip， 没有pod ip，如何对应到podAgent与K8S Agent如何识别是哪个service？哪个POD？Ø ETCD维护着service与pod关系Ø Agent启动时所属的service如何获取链路 对代码掌控能力较强采用OpenTracing 对代码进行插裝实现Google Dapper的原理Request Responseorigin.classClass LoaderJVMJavaagentTomcatnew classDapper链路跟踪TraceID : 识别用户一次请求，所有全链路上的节点共用一个TraceIDSpanI

5、D：正在处理用户请求的节点ParentSpanID：正在处理用户请求节点的上一个节点2. 故障根源分析案例场景为某教育平台提供各类教育，用户广泛，IT技术能力差异显著经常接到比较奇葩的投诉，很难给出合理建议发生故障后，IT团队修复问题需要花费较长时间源问题根目标：减轻和运维工作量，快速故障或投诉根由分析流程Trace动态拓扑结构基于拓扑的异常检测构建执行链正常模型ØØ性能基线异常行为检测Ø行为异常Ø性能异常量异常ØDB 2WEBLogicLogicDB 1因果关系分析 因果关系分析定义构建数据中心服务拓扑结构图，如右图A调用B触发B调用C，A-

6、>B称为B的因边，B->C称为B的Ø 如何判定因果关系应发生在因边之后的一个特定的时间段，即服务延时ØØ服务延时不能超过超时时间也不能低于服务处理时间Ø通过关联分析，潜在因果关系故障根由对故障相关容器节点的可能性进行量化分析形成故障因果关系链，执行链的历史执行频度将作为该链路上节点权重ØA0.850.8计算因果链上每个节点的影响Ø0.9E0.5B0.90以右图D为例，影响D的节点为E，F等，受D 影响的节点为C，B，Aü0.880.80.95D0.84G0.6量化单个节点对其他节点影响C0.880.981

7、6;0.8F0.4H0.860.9ØP(D|F)=P(DF)*w /P(F)FH0.780.6ØP(C|F)=P(C|D)*P(D|F)，其中权重由节点历史执行频率决定Ø异常发生时，可快速计算出其他节点的嫌疑程度I0.83. 智能调度10+设计思路性能瓶颈性能瓶颈利用率Ø服务时间估算 多元线性回归）利用率Ø 响应时间ØMVA队列模型ØBP神经网络 + 遗传算法应用容量估算相关方法 Neural network Queue network Regression Analysis Holt- Winters CPU IO Acc

8、ess logTransaction profileETL1Resource log0.80.60.40.20util29 37 45 53 61 69 77 85 9333 41 49 57 65 73 81 89 97Transactionresource demand2RegressionAnalysisorderingshoppingDB Disk DB CPUWeb CPUsearchbrowsing024681012demand(mills)Transaction应用需求估算MySQL mVCPU YW vs x|容器动态调度 Kubernetes容器 业务指标驱动调度：Predicates和Prio