运维自动化实践之路

1、运维自动化 实践之路伏晔伏晔 微博：微博：http:/ 2012 BAIDU 3年应用运维 3年运维自动化建设2013 今 小米 应用运维团队 运维自动化事务自我介绍自我介绍搭业 务环 境改配 置线上 升级迁移扩容关联 变更运维基础设施运维基础设施部署监控名字 服务服务树&机器管理&配置管理数据库调度OUTLINE服务树 部署系统 规范要求服务树服务树 设计设计公司部门产品服务服务实例 分组服务实例服务实例 状态地域机房组织结构系统组成集群物理位置机器TAG形式进行标记根据TAG动态筛选机器服务树服务树 WEBcop.xiaomi_iao_pdl.im_service.xiaom

2、i- mq_jobgroup.micloud_job.xmq-micloud-cell01- micloud011_status.service_loc.bj_idc.sd_duction-sdAPP SERVERAPP SERVERFRIGGAGOD自动部署自动部署 架构架构WEBODINBuild ServerTHORFRIGGAGODTHORService TreeNaming部署系统部署系统 WEB部署系统部署系统 WEB部署系统部署系统 WEBCluster.ymlcluster:name: databae-change-handler version: 1.0

3、.0.1env: productionjobs: job.database-change-handler_service.database-change-handler_cluster.preview_ pdl.account_iao_cop.xiaomi, xxxx, xxxdch:host: 3, 5, 6user: root version: 93043path: /home/work/passport-dch pkg_url: ftp:/db_passwd:xxxx backup_key:68e7012d5

4、bdca6eaceeb2682e4b20a96 mon_value: mon.template.yml部署系统部署系统 ODINODIN解析 cluster.yml下载PKG并重新生成 发布包触发host中机器的 FRIGGA通过frigga调用god 接口检查服务状态Config.template.ymlbase:basedir: $ user: $mod_name: $ db_password: $ tag: $#app running controlmod_start: $basedir/bin/run.sh mod_stop: $basedir/bin/stop.sh to_email

5、: production:zookeeper_host: staging:zookeeper_host: Init.ymlDch: type:filename:$basedir/conf/dch.conf source:template( dch.conf.erb)monitor: type: monname: $basedir/conf/mon.conf source:template(mon.conf.erb)backup:type: backupname: $basedir/conf/backup.confsource:template(backup.conf.erb)部署系统部署系统

6、THOR替换模板生 成临时配置下载要部署 的包文件进行文件的 部署生成GOD 启动配置触发GOD 启动程序部署系统部署系统 GODGod.watch do |w| w.ver = 139594 = job.database-change-handler_service.database-change- handler_duction-sd_pdl.account_iao_cop.xiaomiw.start = sh /home/work/database-change-handler/bin/DbEventListener.sh -r w.gid

7、 = rootw.uid = root”w.log = /data/soft/database-change/logs/database-change.log w.dir = /home/work/database-change-handler/”w.cron = /etc/god_cron.d/job.database-change-handler_service.database-change-handler_duction-sd_pdl.account_iao_cop.xiaomi.cron” w.stop_timeout = 300.secondsw

8、.lifecycle do |on| on.condition(:flapping) do |c|c.to_state = :start, :restart c.times = 3c.within = 10.minutec.notify = proc_down endend end部署系统部署系统 管理管理部署系统部署系统 管理管理部署系统部署系统 持续部署持续部署Odin.rb f cluster.yml Thor f cluster.ymlgod status规范要求规范要求发布过程 统一的代码管理 发布版本管理 打包格式一致目录结构 发布包结构固定 日志与程序分离 数据与程序分离系统环境

9、 lib库 解释器 命令行Runtime依赖 系统依赖 模块依赖统一模块控制方式 启停 reload关联配置解耦 模块间RPC配置 开关类配置 功能逻辑配置规范要求规范要求 目录结构目录结构发布包结构Passport-agent|- release|- target|- deploy|- config.template.yml|- init.yml| - 模板目录|- dch.conf.erb程序、数据分离/home/xxx/passport-agent|- bin|- conf/data/passport-agent|- log|- dict规范要求规范要求 环境环境统一系统内核、发行版、初

10、始环境编译环境 解释器 系统Lib 关键配置依赖 命令行online AB Conline AB规范要求规范要求 Runtime依赖依赖Serveice Package BRuntime PHP-5.5.10Runtime NGINX-1.4.6Runtime RabbitMQ-3.3.0deploy优点部署动作简单 不污染系统及其业务问题root权限 公有、私有runtimeRuntime PHP-5.5.09Runtime NGINX-1.4.3Runtime Redis-2.8.8Service Package Aonline AB规范要求规范要求 解耦关联配置解耦关联配置AABBBBAABBBBNaming serviceNaming所做 抽取连接类信息 树状结构 固定tag组合查询 区域化解析Naming不做 配置管理 实时通知资源隔离资源隔离节省硬件资源，约 15%容易动态调整资源资源隔离更彻 底资源