JStorm-Storm 性能调优.ppt

1、Jstorm/Storm 性能调优纪君祥,如何寻找瓶颈 从Jstorm、Storm角度进行调优 好的设计才是性能之王,大纲,性能优化是一个永无止境的追求， 没有最快， 只有更快 是机器资源和业务需求的一种平衡,背景（一）,做过4年阿里双11， 优化的topology超过100个,背景（二）,寻找topology的瓶颈,找到每一个component的最大处理速度 从而可以找出整个topology的瓶颈,调优topology的第一个步骤,计算bolt的处理能力上限,计算Spout的性能上限,整个topology是一个流水线， 慢的component会拖慢整个topology,如何优化compone

2、nt,常见问题， component出现热点,和Jstorm系统相关的调优 worker数的设置,和rpc相关 storm.messaging.transport: ty.NettyContext“ ty.sync.mode: false ty.transfer.async.batch: true ty.async.block: true ty.transfer.batch.size: 262144 erval.ms: 10 ty.server_worker_threads:1 ty.client_worker_threads: 1,和性能相关的调优选项,和

3、内存相关 worker.memory.size: 2147483648 topology.buffer.size.limited: true topology.transfer.buffer.size: 1024 topology.executor.receive.buffer.size: 256 topology.executor.send.buffer.size: 256 worker.gc.childopts:,和性能相关的调优选项,和CPU相关 worker.cpu.slot.num topology.max.spout.pending: null spout.single.threa

4、d: false topology.kryo.register spout.pending.full.sleep: true disruptor.use.sleep: true topology.performance.metrics: true topology.debug:、topology.debug.recv.tuple:,和性能相关的调优选项,以案例来分析,如何设计,无Acker模式 Acker模式 Trident、事务模式,选型,尽量让tuple走本地模式而非进程间通信 让多个task在一个worker内部，task和task直接走进程内通信 Example Trident TLo

5、g,图优化,降低topology层数 将多个模块合并到一个task内部，在这个task内部实现流水线 Example Trident TLog,图优化,在latency和吞吐量之间的取舍 Example EagleEye,Batch,Simpe Obj,常常出现在对数据库的访问中 尽量使用类似groupBy的操作，让相同Key的操作只在一个客户端发生 并且尽量做到均匀hash,Cache/竞争,想清楚 是否流控 是否自动ack Example ,RocketMq、Kafka、TT 客户端,Cpu Jstack/top pH/vmstat Memory Top/jmap/jstat Network Sar/netstat/tcpdump/iperf,调优工具,良好的设计 模块之间解耦，模块和模块之间层次清晰