快速发展中公司研发及运维自动化技术体系.ppt

,研发及运维自动化技术体系,内容概要,第一部分：要解决什么问题？,快速发展中公司的业务特点，如何自建技术设施技术架构体系,运维研发过程的生命周期,第二部分：分布式架构http:7133;memcached4:10014;memcached5:10014;memcached6:10014;,tair1:6036;tair2:6036;redis4:6003;redis5:6003;redis6:6003;,服务发现、通信、控制,分布式注册中心Router：同步调用RPC,服务协议：HTTP协议/心跳检测,服务发现：集群信息统一文件Router.conf负载均衡,异步调用MQ,推模式：开发快、稳定、实时快,拉模式：可回溯、日志收集、数据同步,分布式任务调度,Schedule调度系统,分布式事务控制,Swift开发框架：交易型事务的一致性,QA2,QAn,QA1,2、运维研发的自动化体系线上IDC/IDC2线下测试环境,SVN库,A区,B区,C区,S区,MVN库,变色龙指令系统,Builder构建系统,线下发布系统,青龙发布系统龙潭运维配置自动化系统,线上区NginxABC,A区64网段,B区68网段,C区72网段,灰度区Nginx,S区32网段,青龙发布系统,配置采集,生成,SVN库MVN库,龙潭配置系统发布,先配置，再发布推送Tomcat+App配置,分发War分发war存储区kafkaredismemcachemongodbmysqlhadoop,A区,A区,C区,C区,B区,B区,/data/apps/project/bin/start.sh,stop.sh/bin/JAVA_OPTS/conf/server.xml/webapps/wars/logs/catalina.log/temp/workNginxjdktomcatrsyncSvnmvnagent-Ipnetdiskmemdns,APPs巢位,机器/系统/软件,运维配置标准化分区机器&系统&软件APPs巢位,运维配置标准化3大层次,2.1、硬件标准化：,-机器标准化：机房、机架位、交换机、机器-资源标准化：IP、DNS,-配置标准化：机器配置自动化采集、标准化检测，KVM化,2.2、软件标准化：,-软件安装标准化：tomcatjdkmemcachedredis.-Nginx标准化：域名、配置、发布,2.3、项目标准化：,-项目配置标准化：S区、A区、B区、C区,-支持多种项目：tomcat、java、nodejs、Python、iosAndroid,2.1、硬件标准化标准化管理,2.1、硬件标准化自动化采集,2.1、硬件标准化标准化校验,多套服务器模板,标准化配置项(上百配置项),每日自动化校验,运维配置标准化3大层次,2.1、硬件标准化：,-机器标准化：机房、机架位、交换机、机器-资源标准化：IP、DNS,-配置标准化：机器配置自动化采集、标准化检测，KVM化,2.2、软件标准化：,-软件安装标准化：tomcatjdkmemcachedredis.-Nginx标准化：域名、配置、发布,2.3、项目标准化：,-项目配置标准化：S区、A区、B区、C区,-支持多种项目：tomcat、java、nodejs、Python、iosAndroid,2.2、软件标准化统一软件规格,2.2、软件标准化自动化安装卸载23个标准软件,200个原子指令,2.2、软件标准化服务自动管理,2.2、Nginx标准化自动配置300域名自动化生成,自动化配置,运维配置标准化3大层次,2.1、硬件标准化：,-机器标准化：机房、机架位、交换机、机器-资源标准化：IP、DNS,-配置标准化：机器配置自动化采集、标准化检测，KVM化,2.2、软件标准化：,-软件安装标准化：tomcatjdkmemcachedredis.-Nginx标准化：域名、配置、发布,2.3、项目标准化：,-项目配置标准化：S区、A区、B区、C区,-支持多种项目：tomcat、java、nodejs、Python、iosAndroid,NginxC区,Nginx.conf全站配置Router服务配置/etc/router.confAPP配置文件/data/apps/project/bin/start.sh,stop.sh/bin/JAVA_OPTS/conf/server.xml/webapps/wars/logs/catalina.log/temp/work,2.3、项目标准化配置&生成&发布Nginx配置文件,龙潭配置系统生成配置,龙潭配置系统发布,2.3、项目标准化项目配置中心,1、配置,2、生成（基于模板Freemarker）3、推送,2.3、项目标准化推送中心,1、配置,2、生成（基于模板Freemarker）3、推送,共,务,SandboxDB/Cache,周同步,OnlineDB/Cache,C区,QADB/Cache,DevDB/Cache,Mock环境,生产环境,3、项目发布自动化（青龙系统）SVN资源库龙潭配置自动化系统,Mock区模拟测试,拷贝warsship:dirrestarttomcatA区B区,青龙自动化发布平台开发环境测试环境灰度环境,svnup分支zipwarsship:dirrestarttomcatDev1公Dev2服,Devn,公共服务,QAn,变色龙指令系统svnup测试分支svnup主干zipwarzipwarsship:dirsship:dirrestarttomcatrestarttomcatQA1QA2灰度区,3、项目发布自动化体系,3.1、青龙代码发布系统,-灰度发布,-分区发布：泳道发布,3.2、闪电配置发布系统,-发布配置信息,-集群协作：Solr、Kafka,3.3、变色龙原子指令,-系统级操作,-系统操作日志,3.1、青龙发布系统灰度发布,支持多个灰度区同时测试支持基于trunk、tags的发布测试班车批量发布,3.1、青龙发布系统分区发布,关闭Nginx流量，分区发布，对用户无影响,3.1、青龙发布系统随时上线,支持每周数百次上线，上线时关闭服务调用,3.1、青龙发布系统实时发布日志,3.2、闪电配置分发系统,3.3、变色龙指令自动化,A区,C区,B区,变色龙指令系统,发布平台,运维平台,搜索平台,统计平台,执行指令API,Puppet,Mcollective日志回写,Mco,日志API,指令系统GUI,3.3、变色龙指令自动化,300+指令集：软件安装、卸载、启动、停止、,项目发布、系统操作,#!/bin/sh,PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:/binJAVA_HOME=/usr/local/java/jdk1.7,exportJAVA_HOME=/usr/local/java/jdk1.7exportTOMCAT_BASE=/usr/local/tomcat,exportCATALINA_BASE=/data/apps/$PROJECT_NAMEexportJAVA_OPTS=$JAVA_OPTS.,#启动Tomcat,sutomcat-s$TOMCAT_BASE/bin/catalina.shstart&,4、服务治理体系,服务健康状态检测,分布式任务调度（Schedule）调用链分析（Cat）,实时日志监测（雷达系统）API质量治理（APIWater)SQL质量治理（Monyog）,4.1、服务健康状态检测,4.2、分布式任务调度Schedule,Nginx,CWeb1CWeb2,BWeb1BWeb2,User1User2,CV1CV2,Job1Job2,Feed1Feed2,Schedule,MQ,同步,HWeb1HWeb2异步,任务调度,Swift,分布式调度中心：,基于Mina分布式协调选择服务的单点调度多点服务failover,长时间任务断点续传,任务依赖调度,4.3、调用链分析Cat,4.4、实时日志监测（雷达系统）实时日志查看历史日志分析,用户或IP追踪日志统计,Serverapp/nginx/tomcat/syslog,agentdog日志采集,Serverapp/nginx/tomcat/syslog,Serverapp/nginx/tomcat/syslog,cat/syslog,统一配置管,WEB搜索引擎实时分析消息队列,日志中央处理平台,理应用服,务器,消费者消费者消费者,离线分析消费者,4.4、实时日志监测（雷达系统）,4.5、API质量治理（APIWater）,4.6、SQL质量治理（Monyog）,MySQL性能监控工具MONyog，分析慢SQL程序打印慢SQL日志优化索引、表结构,共,务,SandboxDB/Cache,周同步,OnlineDB/Cache,C区,QADB/Cache,DevDB/Cache,Mock环境,开发环境,测试环境,灰度环境,生产环境,Mock区模拟测试,svnup主干zipwarsship:dirrestarttomcat灰度区,拷贝warsship:dirrestarttomcatA区B区,5、测试环境的自动化构建qa1-qa