【PDF】Jstorm开源最佳实践

线技术峰会线技术峰会–阿里开源项目最佳实践线技术峰会–阿里开源项目最佳实践阿里巴巴技术专家–淘宝足迹–推荐系统线技术峰会–阿里开源项目最佳实践•团队职责–应用开发–技术支持–集群运维管理–平台/框架演进–开源社区线技术峰会–阿里开源项目最佳实践•发展历史•使用场景•架构•JStorm增强–性能–稳定性–新特性•开源社区mFuture线技术峰会–阿里开源项目最佳实践线技术峰会–阿里开源项目最佳实践线技术峰会–阿里开源项目最佳实践•从2013-04-30起发布了超过25个版本2016/5/312015/11/122.2.0ImproveImproveperformanceSlidingWindowShadeDependencyackpressureDonatetoapacheSupportStorm0.10binary2013/4/301Java2013/4/301JavacoreScheduler2013/12/300ackpressureScheduler2.0Koala3.02014/10/112015/10/270.9.6.38.18.1Scheduler4.0ackpressureasterScheduler3.0UserDefinedLogUserDefinedMetrics线技术峰会–阿里开源项目最佳实践线技术峰会–阿里开源项目最佳实践–4000+机器•StandalonermonYARN•JStorm-on-docker2PB+数据/天线技术峰会–阿里开源项目最佳实践场景erloopTPP线技术峰会–阿里开源项目最佳实践线技术峰会–阿里开源项目最佳实践ARM…Portal(Koala)Plugin(Kafka/Metaq/TT/Mysql/HDFS/Hbase/…)CEPPluginTridentExtensionAPIRawStormAPIJStormCoreS线技术峰会–阿里开源项目最佳实践ion线技术峰会–阿里开源项目最佳实践ion线技术峰会–阿里开源项目最佳实践•Worker:6GRAM86rmStorm864202worker,1spout,210worker,5spout,2010worker,10spout,4020worker,10spout,8040worker,10spout,80worker，10spout，split,2countsplit,20countsplit,40countsplit,80count160split,160count320split，320count线技术峰会–阿里开源项目最佳实践TaskPipelineTuningUserDefinedschedulerleImproveefficiencyResolveTaskPipelineTuningUserDefinedschedulerleImproveefficiencyResolvebottleneckImproveparallelSerializationTuningsend/recvSeparatespoutnOverheadReductionOptimiOptimizationCoreCoreApplicaApplication升级/降级监控升级/降级监控多集群部署线技术峰会–阿里开源项目最佳实践性•反压•热部署/灰度发布Tuplelifecycle•自定义metrics•监控报警(Koala)••单点故障:nimbusHA•节点自检:checkhealth•超大规模拓扑:topology-master••跨集群:jstorm-on-docker/standalone•单集群:jstorm-on-yarn/cgroup房:zk线技术峰会–阿里开源项目最佳实践线技术峰会–阿里开源项目最佳实践asterTaskheartbeatControleventTopologyasterTaskheartbeatControleventTopologyMasterTopologyMasterTopologyMaster线技术峰会–阿里开源项目最佳实践ZZKterNettyserver线技术峰会–阿里开源项目最佳实践Nettyserver线技术峰会–阿里开源项目最佳实践xceedThresholdycacheentInoneworker线技术峰会–阿里开源项目最佳实践度发布&热升级线技术峰会线技术峰会–阿里开源项目最佳实践2017年在线技术峰会–阿里开源项目最佳实践TopologyMasterCommitoffsetupleCommitoffsetupleCommiteNormalbatchCheckpointbarrierSpoutControllerControllerCheckpointbarrierJstormcheckpointeJStormcheckpoint(optional)CheckpointbarrierCheckpointCheckpointbarrierJstormcheckpointeJStormcheckpoint(optional)CheckpointbarrierCheckpointbarrierHdfs/hbaseeCommitdbCheckpointandclearoldcheckpointedb线技术峰会–阿里开源项目最佳实践TopologyMasterControllerupleRollbackeRollbackbarrierRollbackControllerupleRollbackeRollbackbarrierRollbackdbHdfs/hbaseastsuccesscheckpointandcleanuselesscheckpointedbRollbackbarrierStatelessboltRollbackbarriereRollbackbarrierEndingRollbackbarriereRollbackRollbackbarrier线技术峰会–阿里开源项目最佳实践re•动态调整日志级别•用户自定义metrics•优雅shutdown•动态扩容、更新配置线技术峰会–阿里开源项目最佳实践•重构的窗口机制，支持：–Processingtime–Ingestiontime–