技术分享.ppt

Kafka介绍及简单应用示例,PPT模板： PPT素材： PPT背景： PPT图表： PPT下载： PPT教程： 资料下载： 范文下载： 试卷下载： 教案下载： PPT论坛： PPT课件： 语文课件： 数学课件： 英语课件： 美术课件： 科学课件： 物理课件： 化学课件： 生物课件： 地理课件： 历史课件：,1,背景介绍,Kafka产生的背景：,1.为什么要做消息系统。 -数据分析,2.Kafka是个怎样的消息系统。 -A distributed publish-subscribe messaging system 消息订阅和发布系统,3.目前有哪些公司应用到了Kafka -LinkedIn,Tumblr 等等 4.Kafka在我们项目中的意义 -公交数据分析，停车场数据分析，流量数据分析,2,kafka执行过程以及组件介绍,简单用例,官方图,broker：Kafka集群包含一个或多个服务器，这种服务器被称为broker producer：负责发布消息到Kafka broker consumer：消费消息。每个consumer属于一个特定的consuer group（可为每个consumer指定group name，若不指定group name则属于默认的group）。,前图再细分,topic：每条发布到Kafka集群的消息都有一个类别，这个类别被称为topic。（物理上不同topic的消息分开存储，逻辑上一个topic的消息虽然保存于一个或多个broker上但用户只需指定消息的topic即可生产或消费数据而不必关心数据存于何处）,分区的概念,partition：parition是物理上的概念，每个topic包含一个或多个partition，创建topic时可指定parition数量。每个partition对应于一个文件夹，该文件夹下存储该partition的数据和索引文件,3,实例演示,linux运行环境环境搭建,1.安装JDK 2.安装Kafka,启动Linux服务,启动成功,启动Java代码,Scala Java MyProducer MySimpleConsumer,4,核心原理初探,核心原理,kafka,消息删除和压缩,负载均衡,磁盘缓存的利用,主从及副本分布,消息格式,Zero-copy,文件系统,负载均衡,负载均衡的两种策略 partition.assignment.strategy=range|round-robin Range:每个topic的分区独立分配 分区按数字排序，线程按字典排序 分区数量/线程数量 整除 partition多于thrad （？） partition等于thread partition少于thread Round-robin 所有topic所有分区循环分配到所有分区上，限制 每个topic在每个consumer中线程数量必须相 同 每consumer消费的topic必须相同,主从分布,leader:处理消息 分配要均匀 follower：备份 均匀分布 Replicas： Isr：in-sync,P0,P1,P2,P3 四个分区, 3副本,持久化-消息格式,持久化-文件系统,进入kafka配置的数据目录-broker-topic,消息删除和压缩,直接删除（默认策略） 按时间： 按大小： 压缩（只在特定的业务场景下有意义）： 保留key最后一个版本的消息,磁盘缓存的利用,1.kafka是顺序存取的（页缓存） 2.硬盘的顺序读写比随机读写要快,非zero-copy,传统数据发送： read(file,temp_buff,len); write(socket,tmp_buff,len) 四次拷贝，四次内核态和用户态的切换,zero-copy,zero-copy： sendfile(out_fd,in_fd,offset,count);数据不用经过内存 java.nio.channel.FileChannel transferTo(),4,性能怪兽kafka,快,1.afka大量使用了磁盘