天工自动化运维平台介绍

1、天工自动化运维平台介绍内容整体架构资源管理数据平台配置管理智能调度天工整体架构CDN数据平台智能调度基础模块配置管理监控管理资产流程CDN资源管理资源池管理服务器上架部署下架回库服务状态智能IDC分布拓扑服务属性实时汇报区域管理运营商管理大区管理IP库管理服务化服务树管理流程工单系统应用拓扑流程工单系统目标承接所有运维操作流程可灵活配置设计: 基于角色的流程系统元素: 状态、动作、角色关联: 状态关联角色，角色关联动作，人员划分入角色变迁: 动作触发不同状态的变迁管理: 角色跟部门关联，由部门leader管理应用服务器发货、装机、服务部署、配置推送、下架、报废等服务器基础信息(服务、部门)变更

2、权限申请软件升级、配置同步服务树服务树层次结构产品线、产品、服务、应用服务器同服务挂钩服务之间可关联服务属性所属部门、负责人服务的各类脚本(系统初始化，服务初始化/清理)服务的public key列表应用场景基于服务、产品、部门做费用统计故障、报警可精确定位联系人对接流程工单对接配置管理数据平台数据平台技术栈日志生产CDN访问日志、用户Pingback日志Agent: Zabbix、collectd日志收集技术: syslog-ng、inotify、分布式存储存储:hdfs、gfs日志计算离线: 入hdfs - 切片/汇聚 -Hadoop/Spark计算-入库实时: 就地(同机房汇聚)计算，实

3、时上报核心指标数据服务数据仓库: Hive仓库、opentsdb-api指标数据数据接口数据源CDN 访问日 志Zabbix监控数据Collectd监控数据App 汇报客户端pingback日志日志收集HDFSGluster FSCache机(日志生产)代理机中心机分布式存储数据计算实时计算核心指标就地计算实时汇报(http)实时汇聚实时展示离线计算先入分布式HadoopSpark构建Hive仓库数据汇聚调度策略推荐流量异常预警播放流畅度数据服务数据报表APIHive 仓库交互式查询河图: 数据生产、展示、报告一体化服务配置管理基本架构自动化部署CDN节点自动化编译系统(ABS)自动化编译系统

4、(ABS)SCM编译Job预发布Job发布Job测试JobJenkinsCNC repoCT repoCM repo.天工Web (CMDB)CDN服务节点配置任务管理任务模块任务拆分、状态查询任务管理: 重试核心任务文件分发分发特定文件到目标主机流程可定义服务、App部署Initialize： 装机始化、硬盘初始化、bond等Deploy: 服务部署状态收集服务所属App版本状态服务器基础信息(硬件、OS等)自动化部署OS初始化操作系统装机、系统初始化Puppet Agent服务key 安装服务部署视频、静态、调度等业务服务重启、下线应用变更升级、灰度升级软件版本回滚配置变更配置同步配置回滚智能调度架构实时IDC带宽播放 流畅度数据中心准实时APM探测分区域 资源池HTTP 调度DNS 调度配置 管理调度 策略 推送、任务 管理智能调度算法普通IDC 资源(用户区域,