企业实时大数据系统介绍课件

企业实时大数据系统介绍技术创新，变革未来企业实时大数据系统介绍技术创新，变革未来1目录我们的实时数据平台-Prism从这里开始演进集群规划监控规模目录2Prism是什么宗旨以数据可视化为出发点以降低数据和数据分析软件获取成本为己任的实时数据平台提供哪些服务日志实时监控

-ELK数据总线

-

Kafka数据实时分析

-

Spark

Streaming/Storm/Flink数据存储

-

Elasticsearchas

a

ServiceOLAP/试验平台

-

Zeppelin+Spark/FlinkPrism是什么宗旨3Prism数据流图Prism数据流图4这里开始这里开始5Dev成为问题定位的瓶颈Dev成为问题定位的瓶颈6ELKELK7ELKELK8大受欢迎大受欢迎9部署方式和问题部署方式申请虚拟机/添加账号使用salt部署面临的问题无法快速构建业务流无法快速增减容量部署方式和问题部署方式10怎么办？怎么办？11我们的方案我们的方案12解决了问题快速增减容量新工具快速支持提高硬件资源利用率降低数据软件的使用成本解决了问题快速增减容量13角色角色14Mesos管理的资源Mesos管理的资源15Marathon和Spark的位置Marathon和Spark的位置16在Mesos上运行无状态服务在Mesos上运行无状态服务17宿主节点快照宿主节点快照18找到Kibana网络方案--net=hostCalicoCNI(Mesosversion>=

1.0)请求路由/服务发现（HTTP）找到Kibana网络方案19多机房日志流汇聚多机房日志流汇聚20日志平台接入Portal日志平台接入Portal21新需求新需求22新的需求实时推荐多数据源实时JOINLogstash能力不足以支撑新的需求新的需求实时推荐23引入Spark

on

Mesos引入SparkonMesos24Softwareon

MesosSoftwareonMesos25一个真实的业务场景一个真实的业务场景26规模实时日志分析：300模块，kafka峰值带宽6GSpark

Streaming任务：50个Storm集群：5个Flink集群：2个规模27集群规划集群规划28宗旨基础设施这一层技术收敛Fail

Over多租户资源隔离宗旨29QuotaQuota30BootstrapVersion

3.0BootstrapVersion3.031Allin

DockerAllinDocker32监控监控33监控数据处理模块拓扑监控业务统计监控队列堆积：Kafka

Topic

Lag流量：Search

Count/Message

Count错误：Reject/Exception基础监控/容量监控IO使用率CPU使用率内存使用率JVM/GC等集群资源使用量监控34数据处理模块拓扑监控数据处理模块拓扑监控35实时流监控实时流监控36Esaas某ES集群监控Esaas某ES集群监控37基础监控基础监控38Mesos资源统计Mesos资源统计39广告

pyadvisor/QunarOPS/pyadvisor广告pyadvisor40规模计算集群120+；

2600+

容器ES中存储的日志160T，4万ShardsEsaas

50+; 47

ES集群；

600+

容器规模计算集群120+；2600+容器ES中存储的日志1641总结我们做的事儿实时数据治理解决数据软件的部署的门槛