技术分享PPT学习课件

Kafka介绍及简单应用示例,1,2020/5/23,PPT模板：,2,2020/5/23,1,背景介绍,3,2020/5/23,Kafka产生的背景：,1.为什么要做消息系统。-数据分析,4,2020/5/23,2.Kafka是个怎样的消息系统。-Adistributedpublish-subscribemessagingsystem消息订阅和发布系统,5,2020/5/23,3.目前有哪些公司应用到了Kafka-LinkedIn,Tumblr等等4.Kafka在我们项目中的意义-公交数据分析，停车场数据分析，流量数据分析,6,2020/5/23,2,kafka执行过程以及组件介绍,7,2020/5/23,简单用例,8,2020/5/23,官方图,broker：Kafka集群包含一个或多个服务器，这种服务器被称为brokerproducer：负责发布消息到Kafkabrokerconsumer：消费消息。每个consumer属于一个特定的consuergroup（可为每个consumer指定groupname，若不指定groupname则属于默认的group）。,9,2020/5/23,前图再细分,topic：每条发布到Kafka集群的消息都有一个类别，这个类别被称为topic。（物理上不同topic的消息分开存储，逻辑上一个topic的消息虽然保存于一个或多个broker上但用户只需指定消息的topic即可生产或消费数据而不必关心数据存于何处）,10,2020/5/23,分区的概念,partition：parition是物理上的概念，每个topic包含一个或多个partition，创建topic时可指定parition数量。每个partition对应于一个文件夹，该文件夹下存储该partition的数据和索引文件,11,2020/5/23,3,实例演示,12,2020/5/23,linux运行环境环境搭建,1.安装JDK2.安装Kafka,13,2020/5/23,启动Linux服务,启动成功,14,2020/5/23,启动Java代码,ScalaJavaMyProducerMySimpleConsumer,15,2020/5/23,4,核心原理初探,16,2020/5/23,核心原理,kafka,消息删除和压缩,负载均衡,磁盘缓存的利用,主从及副本分布,消息格式,Zero-copy,文件系统,17,2020/5/23,负载均衡,负载均衡的两种策略partition.assignment.strategy=range|round-robinRange:每个topic的分区独立分配分区按数字排序，线程按字典排序分区数量/线程数量整除partition多于thrad（？）partition等于threadpartition少于threadRound-robin所有topic所有分区循环分配到所有分区上，限制每个topic在每个consumer中线程数量必须相同每consumer消费的topic必须相同,18,2020/5/23,主从分布,leader:处理消息分配要均匀follower：备份均匀分布Replicas：Isr：in-sync,P0,P1,P2,P3四个分区,3副本,19,2020/5/23,持久化-消息格式,20,2020/5/23,持久化-文件系统,进入kafka配置的数据目录-broker-topic,21,2020/5/23,消息删除和压缩,直接删除（默认策略）按时间：按大小：压缩（只在特定的业务场景下有意义）：保留key最后一个版本的消息,22,2020/5/23,磁盘缓存的利用,1.kafka是顺序存取的（页缓存）2.硬盘的顺序读写比随机读写要快,23,2020/5/23,非zero-copy,传统数据发送：read(file,temp_buff,len);write(socket,tmp_buff,len)四次拷贝，四次内核态和用户态的切换,24,2020/5/23,zero-copy,zero-copy：sendfile(out_fd,in_fd,offset,count);数据不用经过内存java.nio.channel.FileChanneltransferTo(),25,2020/5/23,4,性能怪兽kafka,26,2020/5/23,快,1.afka大量使用了磁盘作为传统意义的缓存2.zerocopy技术,27,2020/5/23,扩展强,1