实训15 Kafka集群部署

实训6.3Kafka集群部署1.实训目的通过本实训，了解Kafka的基本概念，理解Kafka工作原理，安装部署Kafka集群。2.实训内容本实训通过安装和配置Kafka，学会执行Kafka，并且校验集群是否搭建成功。3.实训要求以小组为单元进行实训，每小组5人，小组自协商选一位组长，由组长安排和分配实训任务，具体参考实训操作环节。小组成员需确保ZooKeeper集群是否安装准确。4.准备知识（1）Kafka概念趣解①Producer：生产者，就是它来生产“鸡蛋”的。②Consumer：消费者，生出的“鸡蛋”它来消费。③Topic：把它理解为标签，生产者每生产出来一个鸡蛋就贴上一个标签（Topic），消费者可不是谁生产的“鸡蛋”都吃的，这样不同的生产者生产出来的“鸡蛋”，消费者就可以选择性的“吃”了。④Broker：就是篮子了。⑤Partition：Partition是物理上的概念，每个Topic包含一个或多个Partition。⑥ConsumerGroup：每个Consumer属于一个特定的ConsumerGroup（可为每个Consumer指定groupname，若不指定groupname，则属于默认的group）如果从技术角度，Topic标签实际就是队列，生产者把所有“鸡蛋（消息）”都放到对应的队列里了，消费者到指定的队列里取。5.实训步骤（1）安装和配置Kafka①将kafka_2.13-3.3.1.tgz压缩包上传至master节点的/root/package目录下。②解压kafka_2.13-3.3.1.tgz，这里解压在/root/package目录下：cd/root/packagetar-zxvfkafka_2.13-3.3.1.tgz-C/opt/software/（2）配置Kafka①配置环境变量：vim/etc/profile添加以下内容：exportKAFKA_HOME=/opt/software/kafka_2.13-3.3.1exportPATH=$PATH:$KAFKA_HOME/bin使配置生效：source/etc/profile②修改Kafka的配置文件($KAFKA_HOME/config)：cd/opt/software/kafka_2.13-3.3.1/configvimperties修改ZooKeeper的连接节点，将文件中zookeeper.connect=localhost:2181的localhost，修改为安装ZooKeeper的三台节点，即master、slave1、slave2，主机名后面加上端口号，三台节点用逗号进行隔开。如图6-31所示。zookeeper.connect=master:2181,slave1:2181,slave2:2181图6-31修改ZooKeeper的连接节点修改日志路径为。如图6-32所示。log.dirs=/opt/software/kafka_2.13-3.3.1/tmp/kafka-logs图6-32修改ZooKeeper日志路径（3）复制master的Kafka到slave1、slave2在master中执行：~/shell/scp_call.sh/opt/software/kafka_2.13-3.3.1（4）配置slave1、slave2的Kafka配置文件①配置slave1的配置文件（修改broker.id）新打开一个终端，登录slave1并执行vim/opt/software/kafka_2.13-3.3.1/config/pertiesbroker.id=1②配置slave2的配置文件（修改broker.id）新打开一个终端，登录slave2并执行vim/opt/software/kafka_2.13-3.3.1/config/pertiesbroker.id=2③拷贝master节点的环境变量到slave1和slave2在master中执行~/shell/scp_call.sh/etc/profile分别在slave1和slave2节点中执行以下命令，使配置生效：source/etc/profile（5）校验Kafka①启动Kafka 需确保master、slave1、slave2的ZooKeeper已启动，如未启动则用下面指令启动（执行jps，有QuorumPeerMain进程则表示已启动）：zkServer.shstart ZooKeeper启动后，分别在master、slave1、slave2上执行以下命令启动Kafka：kafka-server-start.sh-daemon$KAFKA_HOME/config/perties 执行后查看进程情况，发现三个节点都启动了Kafka进程。如图