互联网实时流系统架构实践

1、互联网实时流系统架构实践技术创新 变革未来目录我们的实时数据平台-Prism1从这里开始2架构演进3Esaas - Elasticsearch as a Service4监控5规模6Prism是什么宗旨以数据可视化为出发点以降低数据和数据分析软件获取成本为己任的实时数据平台提供哪些服务日志实时监控 - ELK2.3.数据总线 - Kafka数据实时分析 - Spark Streaming/Storm/Flink数据存储 - Elasticsearch as a ServiceOLAP/试验平台 - Zeppelin+Spark/FlinkPrism数据流图目录我们的实时数据平台-Prism1从

2、这里开始2架构演进3Esaas - Elasticsearch as a Service4监控5规模6Dev成了问题定位瓶颈ELKELK大受欢迎部署方式和问题部署方式申请虚拟机/添加账号使用salt部署2.面临的问题快速构建业务流快速增减容量目录我们的实时数据平台-Prism1从这里开始2架构演进3Esaas - Elasticsearch as a Service4监控5规模6发现新大陆解决了问题快速增减容量新工具快速支持提高硬件资源利用率降低数据软件的使用成本角色Mesos管理的资源Mesos架构Marathon和Spark的位置在Mesos上运行无状态服务节点快照如何找到Kibana服务

3、网络方案-net=hostCalicoCNI (Mesos version = 1.0)请求路由/服务发现（HTTP）多机房日志流汇聚Logstash Debugger规模1.接入模块：300模块2.单Kafka最大带宽11G+ 3.每日116亿消息，18T+新的需求-更复杂的日志分析实时推荐多数据源实时JOINSpark on MesosSoftware on Mesos规模1.Spark Streaming任务：50个Storm集群：5个Flink集群：2个QuotaCluster BootstrapAll in Docker目录我们的实时数据平台-Prism1从这里开始2架构演进3Esa

4、as - Elasticsearch as a Service4监控5规模6有状态服务本地存储数据：Elasticsearch服务发现：Flink，HAProxy带状态服务运行于Mesos要解决的问题本地存储数据：Elasticsearch服务发现：Flink，HAProxyMesos版本要求持久化卷动态预留 Mesos 0.23Marathon 1.0Esaas结构服务发现-TCPDashBoard目录我们的实时数据平台-Prism1从这里开始2架构演进3Esaas - Elasticsearch as a Service4监控5规模6监控1.数据处理模块拓扑监控业务监控队列堆积：Kafka

5、 Topic Lag流量：Search Count/Message Count错误：Reject/Exception基础监控/容量监控IO使用率CPU使用率内存使用率JVM/GC等计算资源使用量监控数据处理模块拓扑监控实时流监控Esaas某ES集群监控基础监控pyadvisor/QunarOPS/pyadvisor目录我们的实时数据平台-Prism1从这里开始2架构演进3Esaas - Elasticsearch as a Service4监控5规模6规模1.计算集群120+； 2600+ 容器Esaas 50+;47 ES集群； 600+ 容器Cpu Usage: Openstack 14%; Mesos 28%总结1