开课吧-05分布式消息系统kafka预习资料1_W_第1页
开课吧-05分布式消息系统kafka预习资料1_W_第2页
开课吧-05分布式消息系统kafka预习资料1_W_第3页
开课吧-05分布式消息系统kafka预习资料1_W_第4页
开课吧-05分布式消息系统kafka预习资料1_W_第5页
已阅读5页，还剩4页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、 分布式消息系统 Kafka课程讲义主讲：Rey2018 分布式消息系统 Kafka分布式消息系统 Kafka第1章 Kafka 概述1.1 kafaka 简介Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统， 使用 Scala 与Java 语言编写，能够将消息从一个端点传递到另一个端点，较之传统的消息中间件（例如 ActiveMQ、RabbitMQ），Kafka 具有高吞吐量、内置分区、支持消息副本和高容错的特性，非常适合大规模消息处理应用程序。 Kafka 官网： /1.2 Kafa 系统架构1.3

2、应用场景Kafka 的应用场景很多，这里就举几个最常见的场景。1.3.1用户的活动追踪用户在网站的活动（网页游览，搜索或其他用户的操作信息）发布到不同的话题中心，主讲：Rey1 分布式消息系统 Kafka这些消息可实时处理，实时监测，也可加载到 Hadoop 或离线处理数据仓库。这昌“用户画像”的一种实现方式。 1.3.2日志聚合1.3.3限流削峰1.4 kafka 高吞吐率实现Kafka 与其它 MQ 相比，其最大的特点就是高吞吐量。为了增加存储能力，Kafka 将所有的消息都写入到了低速大容的硬盘。按理说，这将导致性能损失，但实际上，kafka 仍可保持超高的吞吐率，性能并未受到影响。其主

3、要采用了如下的方式实现了高吞吐率。 顺序读写零 拷 贝批量发送消息压缩1.5 Kafka 集群搭建在生产环境中为了防止单点问题，Kafka 都是以集群方式出现的。下面要搭建一个 Kafka 集群，包含三个Kafka 主机，即三个Broker。 主讲：Rey2 分布式消息系统 Kafka1.5.1安装并配置第一台主机（1） 上传并解压将下载好的Kafka 压缩包上传至 CentOS 虚拟机，并解压。（2） 创建软链接（3） 修改配置文件在 kafka 安装目录下有一个 config/perties 文件，修改该文件。 主讲：Rey3 分布式消息系统 Kafka主讲：Rey4

4、分布式消息系统 Kafka1.5.2再克隆两台 Kafka以 kafkaOS1 为母机再克隆两台Kafka 主机。在克隆完毕后，需要修改 perties 中的 broker.id、listeners 与 advertised.listeners。 主讲：Rey5 分布式消息系统 Kafka1.5.3kafka 的启动与停止（1） 启动 zookeeper（2） 启动 kafka主讲：Rey6 分布式消息系统 Kafka（3） 停止 kafka1.5.4kafka 操作（1） 创建 topic在三个 broker 中任意挑选一个，在其中创建主题。本例创建了一个名称为 test 的主题， 有 1 个备份，1 个分区。 （2） 查看 topic主讲：Rey7 分布式消

人人文库> 全部分类> 应用文书

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论