破局：传统企业自动化运维平台建设与实践

E联网时代IT支撑的挑战 G 全球敏捷运维峰会广州运维尤翼处在凤口浪尖 马 I xx业务系统又出现问题了 互豆豆 豆创户部门赶紧处理 业务部门 被动响应 里 IT运维 缺少奇效的处理手段 -T- 重 IT运维 检查日志、 检查应用 、 分析 数据库、 主机分析 ， 通忙 乱后 ， 最后通过重起应用解 决 问题处理时阅超妖 吧雪生乡 . 运维经理 到底是什么原因引起？ 下次还会不会发生？ 发圭了怎么快速处理？ 问题定位困难 虽然大部份企业都已构建了监控运维的能力 ， 但以点对点的状态监控为主 ， 难以应对复杂 IT环境下的运维场景 ， 相对E联网公司 ， 能力缺失较大。 G 全球敏捷运维峰会广州运维尤翼处在凤口浪尖 ， ， 飞 、 ， 幅 业务压力 、 、 ， 圃 ， 飞 ， ， 飞 ， 、 ， 峙 规模压力 、 、 ， 圃 飞 ， 飞 ， ， 、 ， ， ， 团队压力 、 、 ， 、 ， ， 1 不断严格的KPI考 核 i 数据中心规模不断增长 1 i 运维支撑团队人员增 ！ ： 不断叠加的业务需求 ： 系统架构越来越复杂 ： ： 长相对缓慢 ； 1 不断缩小的上线周期 : ! 大量分布式部署架构的 l ： 各种新技术层出不穷 I 1 ! 引入 ！： 人员流动性大 ： G 全球敏捷运维峰会广州践的的运 维能力需要不断的提升 运维工具的演遇 运维模式的变更 G 全球敏捷运维峰会广州 以业务为中心 自动化 飞 以设备为中心 专业化 ZABBIX介绍：企业级的开源解决万案 监控 告警 问题给析定位 自动处理修复 G 全球敏捷运维峰会广州ZABBIX介绍 预置草富的筐理监控对像模板及扩展 川慨： H J 通过模板管理实现采集范围的扩展 il Tem阳e App-APC 仙eca 价e l s ) rem例a1e - A p p-A同G甜d , -(Jj m a 饨， e s ) T empla1e- A pp - A WS 1ke- d ao) Tem阳eApp-APCthecame l s) Templa1e App-AP I -Ga nd , -(Jjm皿r es) Tem例a1eA 阳 -AWS , ke-da o ) re m i州税 App-AW S.C l oudwa tchL B -. Tem别割。 App-AWSlo ud wa 时，EBak创 r.c ) il T em例，.句AWs-EC2 ke-da ,) Templote A阿sAWs-EC2-(ike-dai) r em向1eA p p-AW S LB bcar p,o) Templa1e-A阳-AWS国bca币。 r mi刘a1e - A pp - AWSLBd ato,ama ) Templa1e-A 同 陆.wsu问由to 日 ma) remi刘.何p-Am制sd ( th e臼me t s) Tempi制App-Am制sd( th 盹制四” il Tem阳e何川阳ch e (man J n g,ese n) Tem由te A附A阳抽出叫时叩g , esen) r em例a1e - A p p- A 阳c h e 恒的,x ) Template A仲句 ac h e r ed tux) Template - A p p-A阳ch e-St at s -(g p m , do) T em回ate A 陪 Apache-Stat叫gpaxd , ) il T em阳eApp-A阳 th e - Traffic-Se 崎 Tem阳eApp-A阳 h eT r Se 崎 A T SkomeForewal l pl阳， ton) Template - A p p-8 , n d nlc e ) Template App-Bmd (m4ce) 国Temi洲.pp- B i n曲（ Pa st i cles ) Tem肉te A仲6 , nd9(Pestc l es) il Temi刘脚何9 日， n 曲民用。” Templote A伸吕 ， nd9OtxXOO) r emf现a1e- A p p-B l a ck8e叩石 刷刷se - Template-A伸6 1 ack8e町 n te r p nse-Se附 咱a nxe 1 921 ) r emf阳t e -A pp - B l ac khs t-R B L也m a rt r es ) Tem肉te-A陪6 1 ac灿st-RBL也m础es) 国Te mplata -App- 8盹甜eHBA 抽tea m . 令 Tem川创e-A仲6r04 I 帐揭 F申le G 全球敏捷运维峰会广州采集能力：实现业务交易端到端的监控与分析 E“d U11r ，？ ” j Routor L、 曰志数据 采集 L。 ad ， ， ， a， Flrow1II 代理数据 采集 _ . G 全球敏捷运维峰会广州分析能力：业务流程及节点关联展示分析 通过关键业务流程梳理 ， 实现业务全流程的监控 lLikeV 三 吕!Ii 回归国懈 ， ， 阳晒，”“睛，a 重 。 AS1 口 川 平介 们 面 数据层 G 全球敏捷运维峰会广州分析能力：告警根源分析示例 某业务指标 各业务节点 找到问题节 告警 指标分析 ， G 全球敏捷运维峰会广州大数据结合 引入大数据技术 避行运维大数据分析 ， 析 份 线 基 能 陪工 告警阔值优化 ROOT分析 基结偏离告警 窑量分析 安全事件给析 事件关联份忻 故障预测 关联告警 窑量预测 务 业 E曰 : : rh 由自，品 : : 雏曲i:.!自由 : +n 存储网络 申阅件 蚓居库 主机 应 ffl : : “rl“JlT : : SIAJI 属，平 ： 二 C.fl 11 G 全球敏捷运维峰会广州：借助开源模型与算法 异常回段识别 时间序列的突发性变化 均值漂移： 两个 平滑改变： 一 个渐变的过程， 平稳状态之间平滑的转变 ”罔. s”tt: 1.10 隔 s1n ShifL： .391 . s“-ln, 1.s,i 、 P Elt I I 1 I I I I I I I I I I I I I I I I I I I I I 2翻,0 G 全球敏捷运维峰会广州 9月21 12 : 00 9月2 9月四12 : 00 g月四异常回段识别：借助开源模型与算法 1.44 /o Anomalies (alpha=0.05, direction=both) 71.2- 57 42.8- 一 c3 。 28.7- 14.5- 0.3 9月2 9月5 9月7 9月9 9月11 9月13 G 全球敏捷运维峰会广州运维大数据分析示例 分析能力扩展 综合指标告警 影响权重回朔 68o/o二 电絮， - 酬 .i :- 翩翩蛐 Ill. -. 问题定位处理 回 。 ， 34 61 17 士 圄圄 呻 品 回 u 一 唰 ” 一 ” 阴阳注唱阳. , 巾 白山 圆” 副胸 _ . _ . ” 阳” 民.，. - 。 。 ” .附 町 叫 甲 - 叫 - ., . - d叫 - ” 24” 38崎 82” 铃”、 一 川明 山 叫 陆 四 叶， 怜仲i 鸭” 时 阳 叩 叫 阳 似H 由 9 ？， ， ” 67 禽 98 ” ” 掬 叫 斟 - 白 白 嗣 同 叫 目飞 89 甸 92. 77 矗酌” “ ， 咱 呵 幅幅幅帽幡 幢幢幢幢幢幢幢帽 一 一 ， 一一 一 一 F 一一 l 。 丈 二一一一一一 z 一一 ZE “ m 一 指标数据采集 . _ . ”伽 影响权重计算 . - 一 - 卢 ” 综合分数计算 G 全球敏捷运维峰会广州自动化处理：根据问题根源避行自动化处理 重起 扩窑 退服 新增节点 窑灾切换 G 全球敏捷运维峰会广州自动化处理 捕配$1 民 ! 11:11111 画 耐m li! i E喜剧 方案满2醒 - 姐要 、J 民居委 、J 湘盟 时，圃 脚： Ifi/ 命令口 ， 圄 脚本编排，支持复杂扬景的自动化处理 精制 ! l:IP 匾 耐m l! i 日志理 施幢u E属霄. 20拢。 l-0!1抉曲。 当前苦卓执行柱在 ：执行成功 ;cg影 噜 川捕 “拿支$ 任务L阶 箩鸣，. 阳震银 阳（ Qti lllftSlMto” 。，帽阔鸣，.阳跚跚”rm帽 周1酣晴圆z m耐吨阳睛”：d.037，阳捐助明皿m 睛H隔埋酷回 ： 勘钮，始阳.lf.01!.,0 掉H插曲！ 搏2阳“5- 步 21喃自殴 协副 周2酣啤回. . m; l 27.0.Ql(l17D.O.ij览。”）句时. 步W2筑行理蟹也 “峙，r.m 121.Q.Ql晴冒J饲“； ， 创n om 蜻口2 1/;f铮铮蛐3 队辅阳情121.D.Ql, 刷回嗣，2昨64 . ，。翩翩 。 mmmn 区 任务 白岐如5 ：刷 革d .JI!.只嗣蹲201Hl1却：，.，胡闹剧。HO lU）册筑队酌”就但在执 m 构建以业务为申心的自动化监控运维能力 业务状态可视化 问题处理自动化 I Utt 旧阔 ” 坦 她 e 国 建 乓8 CRM 量曹 开通 组厅 It费 阳” 忌”. 凶 世 飞 ，飞 l 陶， 惶” 阳 时 川 i- “ 一 d . 一 . 幢；. 刷刷刷川 ，1 .1 11:1s.11 e繁翩翩 响应时间4秒（标准 1秒） 并发数120 （盼佳250) 辛苦 4个严重告管 1/ll可以执行以下操作 叫一 时皿 崎叫 ” 军匈盼 ， ”确佩荡 a “. . ,. . 检查 重启 扩窑 回;f 问题定位可视化 回回 ？ 峭 叩甲 晶 “W晴 、 】 。百 itat 何 L 量；品 M暂时 在；J 品 Mn ” . ” ”币、 比. , x . . “f.;: - 吃 一 mM4 “f：远 g e .: . . 附叩 珊 工” l G)111 io 崎而修 G 全球敏捷运维峰会广州不只是监控 LikeV.cn t能故F A定位A G 全球敏捷运维峰会广州以ZABBIX为基础的整体运维解决万案 登盟运笙 大牌视图 个人门户 专业报表 资产筐里 俨气？芸 ：一 ：女 工 江一三二：. 于 二 ： 舌 严 再：；二菩宫 主r孟了 享； i 配置 管理变更管理 事 件 管理 问