版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
第十二章消息系统Kafka1Kafka的基本介绍2Kafka的原理解析3Kafka的安装部署4Kafka的Java应用开发Kafka与Hadoop集成7Kafka与Flume集成Kafka与Storm集成5Kafka的Scala应用开发5Kafka的Scala应用开发68
Kafka的基本介绍
第十二章消息系统Kafka01什么是Kafka第十二章消息系统KafkaKafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(activitystream)和运营数据处理管道(pipeline)的基础。后贡献给apache基金会,成为apache的一个顶级项目。什么是消息系统?第十二章消息系统Kafka举例:火车订票成功后,发送短信或邮件通知。消息队列的分类第十二章消息系统Kafka点对点(Queue)消息的生产者将消息发送到queue中,然后消息的消费者从queue中取出消息并且消费消息被消费后,queue中不再存储,所以消息的消费者不可能消费到已经被消费的消息Queue支持存在多个消费者,但对于一个消息而言,只有一个消费者可以消费发布与订阅(Topic)消息生产者(发布)将消息发布到topic中,同时有多个消息消费者(订阅)消费该消息。和点对点方式不同,发布到topic的消息会被所有订阅者消费。Kafka处理的是Topic类型的消息Page
7消息队列的分类示例第十二章消息系统KafkaPage
8我们为什么要搭建Apachekafka系统第十二章消息系统Kafka活动数据网站用户相关行为数据,例如:PV,UV等运营数据监控核心系统性能指标(CPU利用率,磁盘利用率,IO使用率…..)这些数据的特点数据不可变数据量庞大需实时处理传统的消息队列不能很好的支持(超长的未处理数据,不能有效持久化)ApacheKafka消息系统的基本结构第十二章消息系统Kafka基本概念第十二章消息系统KafkaKafka的应用场景第十二章消息系统KafkaMessage(消息系统)WebsitActivityTracking(网站活性跟踪)LogAggregation(日志收集中心)Page
12ZooKeeper简介第十二章消息系统KafkaZookeeper是Google的Chubby一个开源的实现,是Hadoop的分布式协调服务。它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Page
13Zookeeper能帮我们做什么?第十二章消息系统KafkaHadoop2.0,使用Zookeeper的事件处理确保整个集群只有一个活跃的NameNode,存储配置信息等.HBase,使用Zookeeper的事件处理确保整个集群只有一个HMaster,察觉HRegionServer联机和宕机,存储访问控制列表等.Kafka使用ZooKeeper存储消息的元信息ZooKeeper环境的搭建和演示第十二章消息系统KafkaDemo演示核心配置文件:zoo.cfgKafka的原理解析第十二章消息系统Kafka02Page
16ApacheKafka主要的设计理念第十二章消息系统KafkaKafka之所以和其它绝大多数信息系统不同,是因为下面这几个为数不多的比较重要的设计决策:Kafka在设计之时为就将持久化消息作为通常的使用情况进行了考虑。Kafka主要的设计约束是吞吐量而不是功能。Kafka有关哪些数据已经被使用了的状态信息保存为数据使用者(consumer)的一部分,而不是保存在服务器之上。Kafka是一种显式的分布式系统。它假设,数据生产者(producer)、代理(brokers)和数据使用者(consumer)分散于多台机器之上。
Page
17Kafka在ZooKeeper中存储结构第十二章消息系统KafkaKafka在ZooKeeper中存储结构第十二章消息系统KafkaKafka在ZooKeeper中存储结构第十二章消息系统KafkaKafka在ZooKeeper中存储结构第十二章消息系统KafkaPage
21Kafka在ZooKeeper中存储结构第十二章消息系统KafkaPage
22KafkaProducer的处理逻辑第十二章消息系统KafkaKafkaConsumer的处理逻辑第十二章消息系统KafkaPage
24KafkaBroker的处理逻辑第十二章消息系统Kafka
Kafka的安装部署
第十二章消息系统Kafka03Page
26ApacheKafka的安装部署第十二章消息系统Kafka软件版本:ApacheKafka:kafka_2.9.2-.tgzZooKeeper:zookeeper-3.4.10部署的模式单Broker单机多Broker(伪分布式)多机多Broker(真正的分布式)Page
27Apachekafka部署模式第十二章消息系统Kafka单Broker的配置第十二章消息系统KafkaMessageServerBrokerApacheKafka的基本操作第十二章消息系统Kafka启动Kafka:bin/kafka-server-start.shconfig/perties&创建Topicsbin/kafka-topics.sh--create--zookeeperzookeeper31:2181-replication-factor1--partitions3--topicmydemo1查看Topcis队列列表bin/kafka-topics.sh--list--zookeeperzookeeper31:2181--topicmydemo1查看队列明细bin/kafka-topics.sh--describe--zookeeperzookeeper31:2181--topicmydemo1停止Kafka:bin/kafka-server-stop.shconfig/perties&单机多Broker的配置第十二章消息系统KafkaPage
31多机多Broker的配置第十二章消息系统KafkaPage
32核心配置文件:perties第十二章消息系统Kafka每个kafkabroker中配置文件perties默认必须配置的属性如下:Kafka发送消息和接收消息第十二章消息系统Kafka发送消息bin/kafka-console-producer.sh--broker-listlocalhost:9092--topicmydemo1接收消息bin/kafka-console-consumer.sh--zookeeperzookeeper31:2181--topicmydemo1Kafka的Java应用开发第十二章消息系统Kafka04ApcheKafkaJava客户端第十二章消息系统KafkaApacheKafka是吞吐量巨大的一个消息系统,它是用Scala写的,同时也支持Java语言。Demo演示生产者Producer的实现消费者Consumer的实现
Kafka的Scala应用开发
第十二章消息系统Kafka05ApcheKafkaScala客户端第十二章消息系统KafkaApacheKafka是吞吐量巨大的一个消息系统,它是用Scala写的,同时也支持Java语言。Demo演示生产者Producer的实现消费者Consumer的实现
Kafka与Hadoop集成
第十二章消息系统Kafka06ApacheHadoop简介第十二章消息系统KafkaHadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(highthroughput)来访问应用程序的数据。Page
40HadoopHDFS的体系架构第十二章消息系统KafkaPage
41HadoopHDFS中的基本概念第十二章消息系统KafkaKafka与HadoopHDFS的集成第十二章消息系统Kafka对于一个实时订阅的系统来说,可以通过Kafka将实时处理和监控的数据加载到Hadoop的HDFS中,或者NoSQL数据库中,或者数据仓库中。Kafka提供了HadoopProducer和Consumer用于集成Hadoop。生产者ApacheKafka消息系统HadoopHDFS生产消息
Kafka与Flume集成
第十二章消息系统Kafka07ApacheFlume简介第十二章消息系统KafkaApacheFlume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。ApacheFlume的体系结构第十二章消息系统Kafka外部数据源(webserver)将Flume可识别的Event发送到Source;Source收到Event后存储到一个或多个Channel中;Channel保留Event直到Sink将其处理完毕;Sink从Channel中取出数据,并将其传输至外部存储(HDFS)Page
46ApacheFlume中的组件第十二章消息系统KafkaPage
47ApacheFlume环境的搭建第十二章消息系统Kafka只需设置JAVA_HOME环境变量,即可Kafka与Flume的集成第十二章消息系统KafkaKafka生产的数据,是由Flume的Sink提供的,这里我们需要用到Flume集群,通过Flume集群将Agent的日志收集分发到Kafka(供实时计算处理)和HDFS(离线计算处理)。Page
49Kafka与Flume集成的配置第十二章消息系统KafkaDemo演示下面是集成Kafka与Flume的配置文件Kafka与Storm集成第十二章消息系统Kafka08Page
51ApacheStorm简介第十二章消息系统Kafka官方网址:/ApacheStorm是一个免费、开源的分布式实时计算系统。使用它可以轻松实现数据流的实时处理。Strom很简单,可以用任何编程语言!Storm用例:实时在线分析,机器学习,连续计算,分布式RPC,ETL等。Strom特点:快速:基准时钟在超过一百万元组每秒处理的每个节点。简易的设置:有可扩展性、容错性,保证了数据的处理能力,并且易于设置和操作。什么是流式计算?第十二章消息系统KafkaStorm与Hadoop的对比第十二章消息系统KafkaStorm的运作机制第十二章消息系统Kafka主节点Nimbus从节点SupervisorWorker采集水从节点SupervisorWorker过滤从节点SupervisorWorker沉淀从节点SupervisorWorker消毒Page
55Storm的安装配置第十二章消息系统Kafka修改conf/storm.yaml文件设置storm.zookeeper.servers和nimbus.host启动Storm启动nimbus:bin/stormnimbus&启动supervisor:bin/stormsupervisor&启动UI:bin/stormui&Page
56Storm的基本概念第十二章消息系统KafkaStorm编程案例第十二章消息系统Kafka编写完成WordCount程序Page
58Kafka与Storm的集成第十二章消息系统Kafka在前面Storm的基本概念中,提到过Storm的Spout应该是源源不断的取数据,不能间断。那么,很显然,消息队列系统、分布式内存系统或内存数据库是作为其数据源的很好的选择。因此,Storm的发布包中也
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 前列腺癌影像学诊断
- 五年级上册语文第五单元质量检测卷(统编版)(含答案)
- 胸外科影像诊断
- 皮肤科疾病类型及特点
- 2026高职第三学年(电子系统维护)汽车电子系统维护资格考试试题及答案
- 2026高职(语文)散文竞赛试题及答案
- 中医男科针灸治疗课件
- 过敏性休克急救体系标准化建设与多学科协同临床实践
- 直流电及直流电离子导入疗法
- 2025届陕西省渭南市临渭区数学三年级下学期期末复习检测模拟试题含答案
- 2026年入团团员知识考试题库100题及答案
- 安徽理工大学《人工智能导论》2024 - 2025 学年第一学期期末试卷
- 创意市集设计与推广方案
- 胆囊结石科普课件
- 《水质 15种酚类内分泌干扰物的测定 固相萃取-高效液相色谱-串联质谱法》编制说明
- 2026学年上海外国语大学附属外国语学校东校教师招聘考试模拟试题及答案解析
- 我爸爸是军人绘本课件
- 《海军礼仪》课件
- 爱永在混声四声部合唱正谱
- 胆囊结石中医护理查房
- 《电力中长期交易合同示范文本(2022年修订版)》
评论
0/150
提交评论