《Hadoop批处理技术与应用》课件-第十二章 消息系统Kafka_第1页
《Hadoop批处理技术与应用》课件-第十二章 消息系统Kafka_第2页
《Hadoop批处理技术与应用》课件-第十二章 消息系统Kafka_第3页
《Hadoop批处理技术与应用》课件-第十二章 消息系统Kafka_第4页
《Hadoop批处理技术与应用》课件-第十二章 消息系统Kafka_第5页
已阅读5页,还剩55页未读, 继续免费阅读

付费下载

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

第十二章消息系统Kafka1Kafka的基本介绍2Kafka的原理解析3Kafka的安装部署4Kafka的Java应用开发Kafka与Hadoop集成7Kafka与Flume集成Kafka与Storm集成5Kafka的Scala应用开发5Kafka的Scala应用开发68

Kafka的基本介绍

第十二章消息系统Kafka01什么是Kafka第十二章消息系统KafkaKafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(activitystream)和运营数据处理管道(pipeline)的基础。后贡献给apache基金会,成为apache的一个顶级项目。什么是消息系统?第十二章消息系统Kafka举例:火车订票成功后,发送短信或邮件通知。消息队列的分类第十二章消息系统Kafka点对点(Queue)消息的生产者将消息发送到queue中,然后消息的消费者从queue中取出消息并且消费消息被消费后,queue中不再存储,所以消息的消费者不可能消费到已经被消费的消息Queue支持存在多个消费者,但对于一个消息而言,只有一个消费者可以消费发布与订阅(Topic)消息生产者(发布)将消息发布到topic中,同时有多个消息消费者(订阅)消费该消息。和点对点方式不同,发布到topic的消息会被所有订阅者消费。Kafka处理的是Topic类型的消息Page

7消息队列的分类示例第十二章消息系统KafkaPage

8我们为什么要搭建Apachekafka系统第十二章消息系统Kafka活动数据网站用户相关行为数据,例如:PV,UV等运营数据监控核心系统性能指标(CPU利用率,磁盘利用率,IO使用率…..)这些数据的特点数据不可变数据量庞大需实时处理传统的消息队列不能很好的支持(超长的未处理数据,不能有效持久化)ApacheKafka消息系统的基本结构第十二章消息系统Kafka基本概念第十二章消息系统KafkaKafka的应用场景第十二章消息系统KafkaMessage(消息系统)WebsitActivityTracking(网站活性跟踪)LogAggregation(日志收集中心)Page

12ZooKeeper简介第十二章消息系统KafkaZookeeper是Google的Chubby一个开源的实现,是Hadoop的分布式协调服务。它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Page

13Zookeeper能帮我们做什么?第十二章消息系统KafkaHadoop2.0,使用Zookeeper的事件处理确保整个集群只有一个活跃的NameNode,存储配置信息等.HBase,使用Zookeeper的事件处理确保整个集群只有一个HMaster,察觉HRegionServer联机和宕机,存储访问控制列表等.Kafka使用ZooKeeper存储消息的元信息ZooKeeper环境的搭建和演示第十二章消息系统KafkaDemo演示核心配置文件:zoo.cfgKafka的原理解析第十二章消息系统Kafka02Page

16ApacheKafka主要的设计理念第十二章消息系统KafkaKafka之所以和其它绝大多数信息系统不同,是因为下面这几个为数不多的比较重要的设计决策:Kafka在设计之时为就将持久化消息作为通常的使用情况进行了考虑。Kafka主要的设计约束是吞吐量而不是功能。Kafka有关哪些数据已经被使用了的状态信息保存为数据使用者(consumer)的一部分,而不是保存在服务器之上。Kafka是一种显式的分布式系统。它假设,数据生产者(producer)、代理(brokers)和数据使用者(consumer)分散于多台机器之上。

Page

17Kafka在ZooKeeper中存储结构第十二章消息系统KafkaKafka在ZooKeeper中存储结构第十二章消息系统KafkaKafka在ZooKeeper中存储结构第十二章消息系统KafkaKafka在ZooKeeper中存储结构第十二章消息系统KafkaPage

21Kafka在ZooKeeper中存储结构第十二章消息系统KafkaPage

22KafkaProducer的处理逻辑第十二章消息系统KafkaKafkaConsumer的处理逻辑第十二章消息系统KafkaPage

24KafkaBroker的处理逻辑第十二章消息系统Kafka

Kafka的安装部署

第十二章消息系统Kafka03Page

26ApacheKafka的安装部署第十二章消息系统Kafka软件版本:ApacheKafka:kafka_2.9.2-.tgzZooKeeper:zookeeper-3.4.10部署的模式单Broker单机多Broker(伪分布式)多机多Broker(真正的分布式)Page

27Apachekafka部署模式第十二章消息系统Kafka单Broker的配置第十二章消息系统KafkaMessageServerBrokerApacheKafka的基本操作第十二章消息系统Kafka启动Kafka:bin/kafka-server-start.shconfig/perties&创建Topicsbin/kafka-topics.sh--create--zookeeperzookeeper31:2181-replication-factor1--partitions3--topicmydemo1查看Topcis队列列表bin/kafka-topics.sh--list--zookeeperzookeeper31:2181--topicmydemo1查看队列明细bin/kafka-topics.sh--describe--zookeeperzookeeper31:2181--topicmydemo1停止Kafka:bin/kafka-server-stop.shconfig/perties&单机多Broker的配置第十二章消息系统KafkaPage

31多机多Broker的配置第十二章消息系统KafkaPage

32核心配置文件:perties第十二章消息系统Kafka每个kafkabroker中配置文件perties默认必须配置的属性如下:Kafka发送消息和接收消息第十二章消息系统Kafka发送消息bin/kafka-console-producer.sh--broker-listlocalhost:9092--topicmydemo1接收消息bin/kafka-console-consumer.sh--zookeeperzookeeper31:2181--topicmydemo1Kafka的Java应用开发第十二章消息系统Kafka04ApcheKafkaJava客户端第十二章消息系统KafkaApacheKafka是吞吐量巨大的一个消息系统,它是用Scala写的,同时也支持Java语言。Demo演示生产者Producer的实现消费者Consumer的实现

Kafka的Scala应用开发

第十二章消息系统Kafka05ApcheKafkaScala客户端第十二章消息系统KafkaApacheKafka是吞吐量巨大的一个消息系统,它是用Scala写的,同时也支持Java语言。Demo演示生产者Producer的实现消费者Consumer的实现

Kafka与Hadoop集成

第十二章消息系统Kafka06ApacheHadoop简介第十二章消息系统KafkaHadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(highthroughput)来访问应用程序的数据。Page

40HadoopHDFS的体系架构第十二章消息系统KafkaPage

41HadoopHDFS中的基本概念第十二章消息系统KafkaKafka与HadoopHDFS的集成第十二章消息系统Kafka对于一个实时订阅的系统来说,可以通过Kafka将实时处理和监控的数据加载到Hadoop的HDFS中,或者NoSQL数据库中,或者数据仓库中。Kafka提供了HadoopProducer和Consumer用于集成Hadoop。生产者ApacheKafka消息系统HadoopHDFS生产消息

Kafka与Flume集成

第十二章消息系统Kafka07ApacheFlume简介第十二章消息系统KafkaApacheFlume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。ApacheFlume的体系结构第十二章消息系统Kafka外部数据源(webserver)将Flume可识别的Event发送到Source;Source收到Event后存储到一个或多个Channel中;Channel保留Event直到Sink将其处理完毕;Sink从Channel中取出数据,并将其传输至外部存储(HDFS)Page

46ApacheFlume中的组件第十二章消息系统KafkaPage

47ApacheFlume环境的搭建第十二章消息系统Kafka只需设置JAVA_HOME环境变量,即可Kafka与Flume的集成第十二章消息系统KafkaKafka生产的数据,是由Flume的Sink提供的,这里我们需要用到Flume集群,通过Flume集群将Agent的日志收集分发到Kafka(供实时计算处理)和HDFS(离线计算处理)。Page

49Kafka与Flume集成的配置第十二章消息系统KafkaDemo演示下面是集成Kafka与Flume的配置文件Kafka与Storm集成第十二章消息系统Kafka08Page

51ApacheStorm简介第十二章消息系统Kafka官方网址:/ApacheStorm是一个免费、开源的分布式实时计算系统。使用它可以轻松实现数据流的实时处理。Strom很简单,可以用任何编程语言!Storm用例:实时在线分析,机器学习,连续计算,分布式RPC,ETL等。Strom特点:快速:基准时钟在超过一百万元组每秒处理的每个节点。简易的设置:有可扩展性、容错性,保证了数据的处理能力,并且易于设置和操作。什么是流式计算?第十二章消息系统KafkaStorm与Hadoop的对比第十二章消息系统KafkaStorm的运作机制第十二章消息系统Kafka主节点Nimbus从节点SupervisorWorker采集水从节点SupervisorWorker过滤从节点SupervisorWorker沉淀从节点SupervisorWorker消毒Page

55Storm的安装配置第十二章消息系统Kafka修改conf/storm.yaml文件设置storm.zookeeper.servers和nimbus.host启动Storm启动nimbus:bin/stormnimbus&启动supervisor:bin/stormsupervisor&启动UI:bin/stormui&Page

56Storm的基本概念第十二章消息系统KafkaStorm编程案例第十二章消息系统Kafka编写完成WordCount程序Page

58Kafka与Storm的集成第十二章消息系统Kafka在前面Storm的基本概念中,提到过Storm的Spout应该是源源不断的取数据,不能间断。那么,很显然,消息队列系统、分布式内存系统或内存数据库是作为其数据源的很好的选择。因此,Storm的发布包中也

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论