任务5.1 部署Kafka集群

部署Kafka集群任务描述在数据采集工程师使用Kafka实现农村电商网站服务器日志数据订阅之前，需要大数据运维工程师先在平台上部署ZooKeeper集群和Kafka集群。在本任务中，小数将基于项目3中部署的ZooKeeper集群，进一步部署多节点多Broker模式的Kafka集群。任务环境已部署ZooKeeper集群的3台CentOS7操作系统的虚拟机。任务描述与任务环境目录1解压Kafka下载Kafka2修改配置文件3分发Kafka至其他节点4从Kafka官网下载安装包“kafka_2.12-2.3.1.tgz”。使用Xftp8远程传输工具将Kafka安装包传输至master虚拟机/opt/software目录下。下载Kafka目录1解压Kafka下载Kafka2修改配置文件3分发Kafka至其他节点4在master虚拟机解压安装包kafka_2.12-2.3.1.tgz至/opt/module目录下。解压操作完成后查看解压目录，结果中能够看到“kafka_2.12-2.3.1”，说明文件已解压成功。解压Kafka目录1解压Kafka下载Kafka2修改配置文件3分发Kafka至其他节点4执行“vim/etc/profile”命令进入/etc/profile文件中配置环境变量，进入文件后在文件末尾添加Kafka环境变量并保存退出。执行“source/etc/profile”命令使环境变量立即生效。修改配置文件进入Kafka安装目录下的config目录。修改perties文件内容：broker.idlog.dirzookeeper.connect修改配置文件目录1解压Kafka下载Kafka2修改配置文件3分发Kafka至其他节点4将master节点配置好的Kafka相关配置文件分发到slave1和slave2节点：/opt/module/kafka_2.12-2.3.1//etc/profile在slave1和slave2节点中使用“source/etc/profile”命令，使环境变量生效。修改slave1和slave2节点的broker.id：将slave1节点的perties配置文件中的broker.id改为“1”将slave2节点的perties配置文件中的broker.id改为“2”分发Kafka至其他节点目录5启动Kafka集群启动ZooKeeper集群6验证Kafka集群是否部署成功7Kafka集群服务器依托ZooKeeper集群进行服务的协调管理，在启动Kafka集群之前需先启动ZooKeeper集群。分别在master、slave1、slave2节点上启动ZooKeeper集群，以master节点为例，具体操作如下。启动ZooKeeper集群Kafka与Hadoop并非强关联，仅在数据传输或处理流程中涉及Hadoop时，才需启动Hadoop服务。若不涉及Hadoop，则无需启动Hadoop服务，从而节约CPU资源。目录5启动Kafka集群启动ZooKeeper集群6验证Kafka集群是否部署成功7分别在master、slave1、slave2节点上启动KafkaBroker服务。启动Kafka集群目录5启动Kafka集群启动ZooKeeper集群6验证Kafka集群是否部署成功7在任意节点上使用“jps”命令查看进程，出现“QuorumPeerMain”和“Kafka”进程，说明服务启动成功。验证Kafka集群是否部署成功在Kafka中创建主题并查看主题。验证Kafka集群是否部署成功kafka-topics.sh是Kafka提供的一个用于管理主题（Topic）脚本，它允许用户创建、删除、查看和管理Kafka集群中的主题。使用“kafka-topics.sh–help”命令可以显示kafka-topics.sh工具的详细帮助信息，包括所有可用选项和内部命令及其用法说明。kafka-topics.sh创建主题参数说明如下。验证Kafka集群是否部署成功参数参数说明--create创建一个新的主题--list列出Kafka集群中已经存在的所有主题--zookeepermaster:2181指定ZooKeepe