mesos集群在centos部署文档

1、-. z.# 一、环境介绍 #单机环境、跳板机根据自己的需要即可 rootSiffre # cat /etc/redhat-release CentOS release 6.6 (Final) rootSiffre # uname -r# 二、安装Docker # 2.1 下载官网rpm包# 2.2安装rpm包 #安装前我们需要安装一个依赖包： rootSiffre # yum install libcgroup -y安装rpm包： rootSiffre # rpm -ivh docker-engine-1.7.1-1.el6.*86_64.rpm # 2.3检查并启动Docker #检查do

2、cker版本 rootSiffre # docker version Client API version: 1.19 Git mit (client): 786b29d OS/Arch (client): linu*/amd64 Server API version: 1.19 Git mit (server): 786b29d OS/Arch (server): linu*/amd64启动docker service docker start或 /etc/init.d/docker start# 三、效劳安装 #数人科技源：官方源：官方Git源：*以下根据数人科技的源安装，后期会编译安装*

3、# 3.1 zookeeper #导入源：yum安装 rootSiffre # yum install zookeeper zookeeper-server -y# 3.2 mesos #导入源：yum安装： rootSiffre # yum install mesos -y# 3.3 marathon #导入源：yum安装： rootSiffre # yum install marathon -y# 3.4 hapro*y #yum安装即可： rootSiffre # yum install hapro*y -y# 3.5 bamboo #导入源： rootSiffre # mkdir /a

4、pplication rootSiffre # cd /application/ rootSiffre application# ls rootSiffre application# ls# 四、配置效劳参数 # 4.1 Mesos #自身配置： #配置mesos在zk的使用目录 echo zk:/10.3.10.29:2181/mesos /etc/mesos/zk #zookeeper2181默认端口# 4.1.1 Mesos-Master # #指定master配置目录 MESOS_MASTER_CONF_DIR=/etc/mesos-master #指定master的主机名 echo

5、10.3.10.29 $MESOS_MASTER_CONF_DIR/hostname 这里的是当前机器的地址ipconfig a查看 #用本机IP表示#指定master的ip echo 0.0.0.0 $MESOS_MASTER_CONF_DIR/ip #副本的仲裁数量的大小集群配置很重要，本次试验只有1台所以写1 echo 1 $MESOS_MASTER_CONF_DIR/quorum #注册表中存储持久性信息的地址 echo /var/lib/mesos $MESOS_MASTER_CONF_DIR/work_dir# 4.1.2 Master-Slave # #指定slave配置目录 M

6、ESOS_SLAVE_CONF_DIR=/etc/mesos-slave #指定slave的主机名(这里不能用localhost)echo 10.3.10.29 $MESOS_SLAVE_CONF_DIR/hostname 这里的也是一样写当前机器的地址 #用IP表示#指定slave支持的容器类型 echo docker,mesos $MESOS_SLAVE_CONF_DIR/containerizer s#指定slave的ip echo 0.0.0.0 $MESOS_SLAVE_CONF_DIR/ip #执行器注册超时时间 echo 5mins $MESOS_SLAVE_CONF_DIR/e

7、*ecutor_registration_timeout #指定mesos资源控制的容(这里只有翻开对CPU和存的控制) echo cgroups/cpu,cgroups/mem $MESOS_SLAVE_CONF_DIR/isolation# 4.2 marathon #创立marathon目录 mkdir /etc/marathon/conf -p #指定marathon配置目录 MARATHON_CONF_DIR=/etc/marathon/conf #指定marathon在zk目录路径echo zk:/10.3.10.29:2181/marathon $MARATHON_CONF_DI

8、R/zk这里的需要变成当前的地址 #事件订阅模式 echo _callback $MARATHON_CONF_DIR/event_subscriber #指定marathon主机名echo 10.3.10.29 $MARATHON_CONF_DIR/hostname 这里的也是需要变成当前的地址 #用IP表示#指定mesos在zk目录路径 echo zk:/10.3.10.29:2181/mesos $MARATHON_CONF_DIR/master这里的也是需要变成当前的地址# 4.3 bamboo # 4.3.1 注释模版的8080局部，否则该8080端口和marathon自带默认端口冲突

9、，端口可以改成9090或者其他只要不是8080就可以# rootSiffre application# vim /application/bamboo/config/hapro*y_template.cfg #注释以下局部 frontend websocket-in #注意是websocket-in而不是 -in bind *:8080 $services := .Services range $inde*, $app := .Apps if $app.Env.BAMBOO_WEBSOCKET_OPEN if hasKey $services $app.Id $service := getSe

10、rvice $services $app.Id acl $app.EscapedId -websocket-aclrule $service.Acl:8080 use_backend $app.EscapedId -websocket-cluster if $app.EscapedId -websocket-aclrule end end end stats enable # CHANGE: Your stats credentials stats auth admin:admin stats uri /hapro*y_stats range $inde*, $app := .Apps if

11、$app.Env.BAMBOO_WEBSOCKET_OPEN backend $app.EscapedId -websocket-cluster if $app.HealthCheckPath option chk GET $app.HealthCheckPath end balance leastconn option close option forwardfor range $page, $task := .Tasks server $app.EscapedId - $task.Host - inde* $task.Ports 1 $task.Host : inde* $task.Por

12、ts 1 end end end #提示：由于centos6.6安装的hapro*y版本问题，下面两句也需要注释掉 global log /dev/log local0 log /dev/log local1 notice chroot /var/lib/hapro*y #stats socket /run/hapro*y/admin.sock mode 660 level admin #注释此句 stats timeout 30s user hapro*y group hapro*y daemon # Default SSL material locations ca-base /etc/s

13、sl/certs crt-base /etc/ssl/private #ssl-default-bind-options no-sslv3 #注释此句 # Default ciphers to use on SSL-enabled listening sockets. # For more information, see ciphers(1SSL). # ssl-default-bind-ciphers kEECDH+aRSA+AES:kRSA+AES:+AES256:RC4-SHA:!kEDH:!LOW:!E*P:!MD5:!aNULL:!eNULL# 4.3.2 修改bamboo配置 #

14、 rootSiffre application# vim bamboo/config/production.json Marathon: Endpoint: 10.3.10.29:8080 , Bamboo: Endpoint: 10.3.10.29:8000, Zookeeper: Host: 10.3.10.29:2181, Path: /marathon-hapro*y/state, ReportingDelay: 5 , HAPro*y: TemplatePath: /application/bamboo/config/hapro*y_template.cfg, OutputPath:

15、 /etc/hapro*y/hapro*y.cfg, Reloadmand: PIDS=pidof hapro*y; hapro*y -f /etc/hapro*y/hapro*y.cfg -p /var/run/hapro*y.pid -sf $PIDS & while ps -p $PIDS; do sleep 0.2; done , StatsD: Enabled: false, Host: 10.3.10.29:8125, Prefi*: bamboo-server.development. # 4.4 zookeeper #初始化 service zookeeper-server i

16、nit -myid=1 #单机环境可以不初始化提示：假设不能更改添加 -force service zookeeper-server init -myid=1 -force # 五、效劳启动 # 5.1 zookeeper # #启动命令 service zookeeper-server start #查看进程 ps -ef|grep zookeeper|grep -v grep #查看日志 tail -f /var/log/zookeeper/zookeeper.log提示：假设zookeeper出现无法启动问题，可能是由于跳板机、sudo、ssh远程登录导致相关变量时效，无法启动java相

17、关程序解决方法：安装jdk7的rpm包，不建议去手动去改，可能会出错安装方法： wget -no-cookies -no-check-certificate -header Cookie: oraclelicense=accept-securebackup-cookie download.oracle./otn-pub/java/jdk/7u55-b13/jdk-7u55-linu*-*64.rpm -O jdk-7-linu*-*64.rpm# 5.2 Mesos-Master # # 启动命令 nohup mesos-master -zk=zk:/10.3.10.29:2181/mesos

18、 -ip=0.0.0.0 -work_dir=/var/lib/mesos -quorum=1 -log_dir=/var/log/mesos & /var/log/mesos/mesos-master.log & #查看进程状态 ps a*uf | grep mesos-master | grep -v grep #查看日志 tail -f /var/log/mesos/mesos-master.log# 5.3 Mesos-Slave # # 启动命令 nohup mesos-slave -master=10.3.10.29:5050 -hostname=10.3.10.29 & /var

19、/log/mesos/mesos-slave.log & #查看进程状态 ps a*uf | grep mesos-slave | grep -v grep #查看日志 tail -f /var/log/mesos/mesos-slave.log# 5.4 marathon # #添加目录和日志文件 mkdir /var/log/marathon touch /var/log/marathon/marathon.log # 启动命令 nohup marathon & /var/log/marathon/marathon.log /etc/ngin*/ngin*.conf# 7.3.2.2 使用

20、dockerfile生成docker镜像 #生成dockerdocker build -t ngin*-base .查看镜像docker imagesREPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZEngin*-base latest c5dc79088bb8 41 hours ago 227.5 MB# 7.3.2.3 Json启动脚本 #vi dataman-ngin*-test.shcurl -v -* POST 127.0.0.1:8080/v2/apps -H Content-Type:application/json -d id: datama

21、n-ngin*-test,cmd: ngin*,cpus: 0.1,mem: 128.0,instances: 5,container: type: DOCKER,docker: image: ngin*-base,network: BRIDGE,portMappings: containerPort: 80, hostPort: 0, servicePort: 10000,protocol: tcp ,healthChecks: protocol: ,portInde*: 0,path: /,gracePeriodSeconds: 5,intervalSeconds: 20,ma*Conse

22、cutiveFailures: 3 参数说明:127.0.0.1:8080/v2/apps #Marathon地址id #任务名cmd #启动命令cpus #划分cpu资源mem #划分存资源instances #实际运行任务总数量container #容器数据type #容器类型image #容器镜像名network #容器网络模式protMappings #容器端口设置containerPort #容器部效劳端口hostPort #容器映射到主机端口servicePort #一个辅助端口，用来做效劳发现protocol #容器网络支持协议healthChecks #心跳检查设置protoc

23、ol #检查协议portInde* #检查公共端口对应的效劳，比方hapro*y转发效劳端口为80和443，第一个80对应的索引就是0，第二个443对应的索引就是1path #检查地址gracePeriodSeconds #一次安康检查以后,marathon认为效劳安康不检查的时间段intervalSeconds #检查间隔时间ma*ConsecutiveFailures #失败检查重试次数，过次数后认为不可用# 7.3.2.4 运行脚本生成任务 #sh dataman-ngin*-test.sh执行结果* Hostname was NOT found in DNS cache* Trying

24、 127.0.0.1.* Connected to 127.0.0.1 (127.0.0.1) port 8080 (#0) POST /v2/apps /1.1 Host: 127.0.0.1:8080 Accept: */* Content-Type:application/json Content-Length: 1041 E*pect: 100-continue /1.1 100 Continue /1.1 201 Created Cache-Control: no-cache, no-store, must-revalidate Pragma: no-cache E*pires: 0

25、 Location: 127.0.0.1:8080/v2/apps/dataman-ngin*-test Content-Type: application/json Transfer-Encoding: chunked* Server Jetty(8.y.z-SNAPSHOT) is not blacklisted Server: Jetty(8.y.z-SNAPSHOT)* Connection #0 to host 127.0.0.1 left intactid:/dataman-ngin*-test,cmd:ngin*,args:null,user:null,env:,instances:5,cpus:0.1,mem:128.0,disk:0.0,e*ecutor:,constraints:,uris:,storeUrls:,ports:0,requirePorts:false,backoffFactor:1.15,container:type:DOCKER,volumes:,docker:image:ubuntu-ngin*-base,network:BRIDGE,portMappings:containerPort:80,hostPort:0,serv