企业IT运维自动化实践

1、企业IT运维自动化实践技术创新，变革未来目录自动化运维实践1Falcon监控平台2分布式控制系统3CMDB及其他子系统4自动化运维基础框架基础信息监控调度决策执行业务系统服 务 信 息自动化运维体系结构配置管理资源管理监控集群管理应用管理运维体系安全性我们面临的挑战精准及时稳定高效着汽车子高标高要开源 VS 自研Gangliazabbixnagios量身定制 重复造轮子Falcon智能监控平台Falcon100+个IDC1000G带宽上千集群、监控节点12万台服务器100+业务部门上万个采集项一期二期三期基础监 控项自定义 监控日志监控端口监控语义监控集群监控机房互联 监控质量访问 监控云监控

2、存活监控演进路线高性能与可扩展高扩展性模块内性能七巧板搭配整体处理性能线性增长多进/线程工作模型横向扩展通信层剥离高可用采集项集群汇算离线存储与分析汇聚转发闲置资源回收智能策略与监控联动故障回溯报警去重故障预警智能化短信轰炸内容晦涩 看不明白数量太多 看不过来报警数量减少到原来20%，准确率提升1倍报警去重2000条10000条6000条监控支撑业务扩展预算与成本分摊资源管理空闲利用决策调度分布式控制系统使用简单并发度自由控制提供API，二次开发成本低 安全可控任务结果持久存储控制系统的简介D快速,1台服务器用时和10000台基本相同hermes VS ssh35000300002500020

3、000150001000050000110100100010000机器数量(台)整体耗时(s)hermes ssh安全D严格的权限树限制D插件审核机制 D用户只能操作自己有权限的树节点Dagent控制信道加密(对称加密算法 with salt)精确控制18D能在任务执行的任何时间进行 暂停、继续、停止D仅限于子任务（机器）粒度DHTTP回调接口D如果在创建任务时提供一个HTTP URL，子任务（机器粒度）的任何状 态变化都会通过这个回调进行通知19NO SPoFD“单点什么的最讨厌了”20应用的第三方库D libevD著名网络事件库libevent的弟弟，更轻，更快D c-aresD异步DNS

4、解析库，对DNS over TCP的支持，提高响应速度D由于只对select模型提供了支持，我们给它加了个patch来配合libev使用D gtestDgoogle的单测框架D单测有一定作用21网络模型D 参考memcached的线程模型，对等多线程模型D对client模型和server模型都给予很好的支持D“对等”不会由于线程分工造成性能瓶颈，减少内存拷贝22内存分配优化D 减少为每个连接分配初始的r/w buf的开销D实现了一个简单的内存池，只能分配4K块大小的内存块，bucket大小可以配置，stupid but works23DNS速度慢?D We need a killer！包括DNS在内，全异步 libev + 状态机 + c-ares24RESTfulD 让API和语言无关，开发代价更小25举个例子D 关于任务的结果我们提供类似的HTTP查询接口，或者D 你可以指定一个HTTP接口，我们将会把任务执行的结26果以及输出GET给这个接口自动化工单新建流程便捷快速流程审批操作简单，方式多样 可扩展性强流程详情清晰