基于Mesos和Docker构建数据处理平台课件

基于Mesos/Docker构建数据处理平台基于Mesos/Docker构建数据处理平台1内容平台概览为什么选择Docker/Mesos组件容器化与部署基于Marathon的Streaming调度ELKon

Mesos监控与运维内容平台概览2平台概览平台概览3平台架构平台架构4平台简介每天处理约340亿/25TB的数据90%的数据在100ms内完成处理最长3h/24h的数据回放私有的Elasticsearch

Cloud自动化监控与报警平台简介每天处理约340亿/25TB的数据5为什么选择Docker/Mesos为什么选择Docker/Mesos6为什么选择Docker打包runtime的一致性runtime的分发运维资源限制不再关心依赖简单的清理机制为什么选择Docker打包7Host

OSStreaming

jobsHost

OSStreaming

jobsDDiissttrriibbuutteeddccoommppuuttiinnggframeworksDependenciesRuntime-

JVMHostOSStreamingjobsHostOSSt8为什么选择Mesos足够简单稳定大规模调度的成功案例丰富方便的定制化能力多种容器较成熟的调度框架MarathonChronos为什么选择Mesos足够简单稳定9Mesos结构Mesos结构10目标目标11组件容器化与部署组件容器化与部署12JVM的容器化潜在创建文件的配置都要注意java.io.tmpdir-XX:HeapDumpPath-Xloggc时区与编码--env

TZ=Asia/Shanghai--volume/etc/localtime:/etc/localtime:ro--envJAVA_TOOL_OPTIONS="-Dfile.encoding=UTF-8-Duser.timezone=PRCJVM的容器化潜在创建文件的配置都要注意13JVM的容器化主动设置heap防止ergonomics乱算内存CMS收集器要调整并行度-XX:ParallelGCThreads=cpus-XX:ConcGCThreads=cpus/2JVM的容器化主动设置heap14Mesos容器化需要关注的配置参数MESOS_systemd_enable_supportMESOS_docker_mesos_imageMESOS_docker_socketGLOG_max_log_sizeGLOG_stop_logging_if_full_diskMesos容器化需要关注的配置参数15Mesos容器化需要关注的run参数--pid=host--privileged--net=host

(optional)rootuserMesos容器化需要关注的run参数16平台部署平台部署17基于Marathon的Streaming调度基于Marathon的Streaming调度18Marathon简介Marathon简介19Sparkon

Marathon运维标准化&自动化解决Mesos-Dispatcher的不足配置不能正确同步基于attributes的过滤功能缺失按role/principal接入Mesos不能re-registery不能动态扩容executorSparkonMarathon运维标准化&自动化20替代Spark

Mesos

Dispatcher替代SparkMesosDispatcher21替代Spark

Mesos

Dispatcher替代SparkMesosDispatcher22问题Checkpoint&

Block动态预留

&

持久化卷setJars清理无效的卷临时文件java.io.tmpdir=/mnt/mesos/sandboxspark.local.dir=/mnt/mesos/sandboxCoarse-Grained问题Checkpoint&Block23Stormon

MarathonStormonMarathon24Debug源生Web

Console随机端口openresty配合泛域名Filebeat+Kafka+

ELK多版本追溯日常排错异常监控MetricsDebug源生WebConsole25ELKon

MesosELKonMesos26Elasticsearch需求逐步增多目前托管了40+集群100TB+业务数据高峰期

1.2k

QPS约110个节点SSDvs

HDDElasticsearch需求逐步增多目前托管了40+集群27ELK

on

Mesos结构ELKonMesos结构28Haproxy自组集群Haproxy自组集群29DashboardDashboard30监控与运维监控与运维31Streaming监控指标与报警Streaming拓扑监控业务监控KafkaTopic

Lag处理延迟mean90/upper90Sparkschedulerdelay/process

delaySearchCount/Message

CountReject/ExceptionJVMStreaming监控指标与报警Streaming拓扑监控32容器监控指标与报警Google

cAdvisor足够有效mount

rootfs可能导致容器删除失败

#771--docker_only--docker_env_metadata_whitelistStatsd+

Watcher基于Graphite的千万级指标监控平台Nagios容器监控指标与报警GooglecAdvisor足够有效33问题基础监控压力数据膨胀垃圾指标增多大量的通配符导致数据库压力较高单个任务的容器生命周期发布扩容异常退出问题基础监控压力34基础监控per-host=>

per-container易变多维度的聚合container

Acontainer

Bcontainer

C<prefix>.<hostname>.<task>.<container>.cpu_usage基础监控per-host=>per-containerc3