kafka在360商业化的实践

1、kafka在360商业化的实践人：个人简介近10年基础架构与大数据开发经验，2013年加入360商业化团队，负责消息队列系统，消息落地系统，实时计算平台等基础架构开发与运维。同时涉及微服务架构，系统等基础设施，致力于为商业化团队提供高效的基础服务。数据智能管理峰会2019AgendaWhy kafka360商业化kafka现状kafka数据高可用负载均衡框架Authorization and ACLsQuota机制跨IDC数据同步告警Tools线上问题与解决数据智能管理峰会2019Why kafka数据智能管理峰会2019数据可靠性延迟单机吞吐社区客户端ActiveMQ中/万级不太活跃支持全面

2、RabbitMQ高微妙级万级活跃支持全面KAFKA高毫秒级十万级活跃支持全面RocketMQ高毫秒级十万级有待加强有待加强Why kafka数据智能管理峰会2019high performancesendfile + pagecacheapend filehigh availablereplica + isrfault tolerancecontroller: 集群级别管理coordinator: 业务级别管理CAP trade-off高一致性或高可用可配置consumer groups可重复消费，可回放Why kafka数据智能管理峰会2019360商业化kafka现状千亿级日志量，PB级数

3、据量 集群规模: 100+ 万兆网卡机器topic最大峰值60w qps集群峰值500w qps数据智能管理峰会2019360商业化kafka现状物理机配置cpu: 24network: 10Gb/smem: 128GBdisk: HDD 4TB*12 JBOD/RAID10kafka版本1.1.1 (0.11+ recommend )数据智能管理峰会2019360商业化kafka现状数据智能管理峰会2019kafka框架设计原则情况下可用， 网络或集群异常框架处理所有细节，业务接口简单，减少业务犯错可能LogProducer Framework at least once语义LogConsu

4、mer Framework at least once语义exactly once语义: 业务需实现rollback逻辑数据智能管理峰会2019kafka框架数据智能管理峰会2019kafka框架数据智能管理峰会2019数据高可用replica + isr是不够的，replica rack aware数据智能管理峰会2019负载均衡经典一致性hash不能解决负载均衡问题数据智能管理峰会2019负载均衡数据智能管理峰会2019负载均衡基于虚拟节点的一致性hash添加移除节点仅需迁移很小部分数据通过权重设置支持不同性能机器加入集群(虚拟节点数量作为权重) replica rack aware基于d

5、isk rebalance与leader负载kafka支持版本1.1.0+数据智能管理峰会2019Authorization and ACLs机制白工单流程管理合法topics, consumers, 定期监测并做deny处理topics, consumer group基于用户鉴权，机制基于SSL/SASL 鉴权需要客户端设置支持会有一定的性能损耗数据智能管理峰会2019Quota机制两种Quota类型：限制网络带宽限制请求速率三个业务优先级：高，中，低，确保高优先级业务可批量对某优先级业务做升降级操作性数据智能管理峰会2019跨IDC数据同步基于mirrormakerIDC间数据只同步一份所

6、有业务只做本IDC读写基于mesos + marathon paas化，提高服务SLA数据智能管理峰会2019跨IDC数据同步数据智能管理峰会2019跨IDC数据同步数据智能管理峰会2019告警jmx exporter + prometheus + grafanakafka managerburrowwonder数据智能管理峰会2019告警数据智能管理峰会2019Toolsdeploy tool: ansible-playbook migration toolrebalance tooloffset reset tool数据智能管理峰会2019线上问题与解决磁盘故障检测：smartctl -a /dev/sd bootstrap.server性能瓶颈 :vip bindconsumer重启不消费:SED && 19