版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、Kafka介绍及简单应用示例,1,2020/6/23,PPT模板: PPT素材: PPT背景: PPT图表: PPT下载: PPT教程: 资料下载: 范文下载: 试卷下载: 教案下载: PPT论坛: PPT课件: 语文课件: 数学课件: 英语课件: 美术课件: 科学课件: 物理课件: 化学课件: 生物课件: 地理课件: 历史课件:,2,2020/6/23,1,背景介绍,3,2020/6/23,Kafka产生的背景:,1.为什么要做消息系统。 -数据分析,4,2020/6/23,2.Kafka是个怎样的消息系统。 -A distributed publish-subscribe messagin
2、g system 消息订阅和发布系统,5,2020/6/23,3.目前有哪些公司应用到了Kafka -LinkedIn,Tumblr 等等 4.Kafka在我们项目中的意义 -公交数据分析,停车场数据分析,流量数据分析,6,2020/6/23,2,kafka执行过程以及组件介绍,7,2020/6/23,简单用例,8,2020/6/23,官方图,broker:Kafka集群包含一个或多个服务器,这种服务器被称为broker producer:负责发布消息到Kafka broker consumer:消费消息。每个consumer属于一个特定的consuer group(可为每个consumer指
3、定group name,若不指定group name则属于默认的group)。,9,2020/6/23,前图再细分,topic:每条发布到Kafka集群的消息都有一个类别,这个类别被称为topic。(物理上不同topic的消息分开存储,逻辑上一个topic的消息虽然保存于一个或多个broker上但用户只需指定消息的topic即可生产或消费数据而不必关心数据存于何处),10,2020/6/23,分区的概念,partition:parition是物理上的概念,每个topic包含一个或多个partition,创建topic时可指定parition数量。每个partition对应于一个文件夹,该文件夹
4、下存储该partition的数据和索引文件,11,2020/6/23,3,实例演示,12,2020/6/23,linux运行环境环境搭建,1.安装JDK 2.安装Kafka,13,2020/6/23,启动Linux服务,启动成功,14,2020/6/23,启动Java代码,Scala Java MyProducer MySimpleConsumer,15,2020/6/23,4,核心原理初探,16,2020/6/23,核心原理,kafka,消息删除和压缩,负载均衡,磁盘缓存的利用,主从及副本分布,消息格式,Zero-copy,文件系统,17,2020/6/23,负载均衡,负载均衡的两种策略 p
5、artition.assignment.strategy=range|round-robin Range:每个topic的分区独立分配 分区按数字排序,线程按字典排序 分区数量/线程数量 整除 partition多于thrad (?) partition等于thread partition少于thread Round-robin 所有topic所有分区循环分配到所有分区上,限制 每个topic在每个consumer中线程数量必须相 同 每consumer消费的topic必须相同,18,2020/6/23,主从分布,leader:处理消息 分配要均匀 follower:备份 均匀分布 Repli
6、cas: Isr:in-sync,P0,P1,P2,P3 四个分区, 3副本,19,2020/6/23,持久化-消息格式,20,2020/6/23,持久化-文件系统,进入kafka配置的数据目录-broker-topic,21,2020/6/23,消息删除和压缩,直接删除(默认策略) 按时间: 按大小: 压缩(只在特定的业务场景下有意义): 保留key最后一个版本的消息,22,2020/6/23,磁盘缓存的利用,1.kafka是顺序存取的(页缓存) 2.硬盘的顺序读写比随机读写要快,23,2020/6/23,非zero-copy,传统数据发送: read(file,temp_buff,len); write(socket,tmp_buff,len) 四次拷贝,四次内核态和用户态的切换,24,2020/6/23,zero-copy,zero-copy: sendfile(out_fd,in_fd,offset,count);数据不用经过内存 java.nio.channel.FileChannel transferTo(),25,2020/6/23,4,性能怪兽kafka,26,2020/6/23,快,1.afka大量使用了磁盘作为传统意义的缓存 2.zero copy技术,27,2020/6
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年汉服主播(汉服展示技巧)试题及答案
- 2026年一级造价工程师职业资格考试(建设工程技术与计量、安装工程)全真模拟试题及答案二
- 2026年潜江银行业专业人员中级职业资格考试(银行业法律法规与综合能力)模拟试题及答案
- 20261117-020740-吉林省公务员考试申论真题及答案
- 2026年矿业权评估师考试矿业权评估实务与案例矿业权价值评估题库及答案(兵团)
- 2026年勘察设计注册公用设备工程师考试(给水排水专业案例)仿真试题及答案
- 20261030-234832-中小学数学二元一次方程组易错题汇编300道(可打印含答案)
- 2026年5S现场管理业务题库及答案
- 2026年医疗机构安全生产管理考试题及答案解析
- 2026年急救理论知识考试模拟题库及参考答案
- (新)施工现场安全生产保证体系文件-
- 个人无偿租赁合同模板
- T-CCSAS014-2022《化工企业承包商安全管理指南》
- 《行政伦理学教程(第四版)》课件 第7、8章 行政人格、行政组织伦理
- 七彩阳光广播体操(踢腿运动)(教案)人教版体育一年级上册
- 港口煤炭现货知识讲座
- 上鼓室前隐窝的应用解剖结构
- 船舶推进课程设计
- 2022年11月四川省监狱管理局度凉山监狱、金堂监狱公开考试转任30名公务员(人民警察)参考题库+答案详解
- 1.罂粟碱-经典扩血管药物
- GA/T 1970-2021法医临床学检验规范
评论
0/150
提交评论