Kafka的安装与配置

第三章Kafka安装与配置学习目标Kafka定义Kafka架构132知识思政技能Kafka安装与配置吃苦耐劳科学探索精神技术前提Centos7.0Flume实时数据采集脚本的编写Kafka架构Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。Kafka系统的架构：1.producer（生产者）：kafka当中的消息生产者Kafka核心概念：2.topic（主题）：消息以topic为单位进行归类3.partition（分区）：一个topic可以有多个分区4.consumer（消费者）：用于消费kafka当中的数据5.Broker（节点）：kafka集群中服务器节点6.Zookeeper（程序协调）：集群协调、节点监测、配置管理Kafka工作原理点对点模式：一对一，消费者主动拉取数据，消息收到后消息清除。发布/订阅模式（一对多，消费者消费数据之后不会清除消息）Kafka安装部署jar包下载：（1）官网首页：/downloads.html（2）下载截图Kafka集群安装安装步骤：（1）集群规划：在hadoop01,hadoop02,hadoop03三个节点上都安装Kafka和Zookeeper。（2）将kafka_2.11-.tgz上传至linux的/opt/software目录下（3）在hadoop01中解压apache-flume-1.9.0-bin.tar.gz到/opt/module/目录下，具体命令：tar-zxvfapache-zookeeper-3.5.7-bin.tar.gz-C/opt/module/（4）修改kafka_2.11-名称为kafka，具体命令：mvkafka_2.11-/kafkaKafka集群安装安装步骤：（5）在/opt/module/kafka目录下创建logs文件夹具体命令：mkdirlogs（6）配置perties文件，具体命令：

viperties

在文件中修改文件：

broker.id=0#broker的全局唯一编号，不能重复

delete.topic.enable=true#删除topic功能使能

log.dirs=/opt/module/kafka/logs#kafka运行日志存放的路径#配置连接Zookeeper集群地址zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181

Kafka集群安装安装步骤：（7）将kafka文件夹分发到Hadoop02、hadoop03具体命令如下：scp-r/opt/module/kafkahadoop02://opt/module/scp-r/opt/module/kafkahadoop03://opt/module/（8）分别在hadoop02和hadoop03上修改配置文件：/opt/module/kafka/config/perties中的broker.id=2、broker.id=3注：broker.id不得重复Kafka集群启动启动步骤：依次在hadoop01、hadoop02、hadoop03节点上启动zookeeper,再依次启动kafka服务。在Kafka目录中输入命令

启动集群：bin/kafka-server-start.sh–daemonconfig/perties关闭集群：bin/kafka-server-stop.shstopKafka命令行操作创建topic命令：bin/kafka-topics.sh–zookeeperhadoop102:2181\#指定zookeeper--create--replication-factor3\#副本数--partitions1\#分区数--topicfirst#主题名称查看当前服务器中的所有topic

命令：bin/kafka-topics.sh--zookeeperhadoop01:2181--list删除topic命令：bin/kafka-topics.sh--zookeeperhadoop102:2181\--delete--topicfirstKafka命令行操作发送消息命令：bin/kafka-console-producer.sh\–-broker-listhadoop01:9092\--topic