Kafka在360商业化的实践

1、Kafka在360商业化的实践技术创新，变革未来AgendaWhy kafka360商业化kafka现状kafka client框架数据高可用负载均衡Authorization and ACLs Quota机制跨IDC数据同步 监控告警 Tools线上问题与解决Why kafka数据可靠性延迟单机吞吐社区客户端ActiveMQ中/万级不太活跃支持全面RabbitMQ高微妙级万级活跃支持全面KAFKA高毫秒级十万级活跃支持全面RocketMQ高毫秒级十万级有待加强有待加强Why kafkahigh performancesendfile + pagecacheapend filehigh ava

2、ilablereplica + isrfault tolerancecontroller: 集群级别管理coordinator: 业务级别管理CAP trade-off高一致性或高可用可配置consumer groups可独立重复消费，可回放Why kafka360商业化kafka现状千亿级日志量，PB级数据量集群规模: 100+ 万兆网卡机器topic最大峰值60w qps集群峰值500w qps360商业化kafka现状(JBOD recommend)物理机配置cpu: 24network: 10Gb/s mem:128GBdisk: HDD 4TB*12 JBOD/RAID10kafka

3、版本1.1.1 (0.11+ recommend )360商业化kafka现状kafka client框架设计原则极端情况下可用， 网络或集群异常框架处理所有细节，业务接口简单，减少业务犯错可能LogProducer Frameworkat least once语义LogConsumer Framework at least once语义exactly once语义: 业务需实现rollback逻辑kafka client框架kafka client框架数据高可用replica + isr是不够的，replica rack aware负载均衡经典一致性hash不能解决负载均衡问题负载均衡基于虚

4、拟节点的一致性hash添加移除节点仅需迁移很小部分数据通过权重设置支持不同性能机器加入集群(虚拟节点数量作为权重) replica rack aware基于disk rebalance与leader负载kafka支持版本1.1.0+负载均衡Authorization and ACLs白名单机制工单流程管理合法topics, consumers, 定期监测非法topics, consumer group并做deny处理基于用户鉴权，授权机制基于SSL/SASL 鉴权 需要客户端设置支持 会有一定的性能损耗两种Quota类型：限制网络带宽 限制请求速率三个业务优先级：高，中，低，确保高优先级业务稳

5、定性可批量对某优先级业务做升降级操作Quota机制跨IDC数据同步基于mirrormakerIDC间数据只同步一份 所有业务只做本IDC读写基于mesos + marathon paas化，提高服务SLA跨IDC数据同步跨IDC数据同步监控告警jmx exporter + prometheus + grafanakafka managerburrow wonder监控告警Toolsdeploy tool: ansible-playbookmigration tool rebalance tooloffset reset tool线上问题与解决磁盘故障检测：smartctl -a /dev/sda(PASSED & 197 Current_Pending_Sector)bootstrap.server性能瓶颈 : vip bindc