《大数据平台部署与应用》 项目实施课件 项目5 部署与应用Kafka

部署Kafka集群任务描述在数据采集工程师使用Kafka实现农村电商网站服务器日志数据订阅之前，需要大数据运维工程师先在平台上部署ZooKeeper集群和Kafka集群。在本任务中，小数将基于项目3中部署的ZooKeeper集群，进一步部署多节点多Broker模式的Kafka集群。任务环境已部署ZooKeeper集群的3台CentOS7操作系统的虚拟机。任务描述与任务环境目录1解压Kafka下载Kafka2修改配置文件3分发Kafka至其他节点4从Kafka官网下载安装包“kafka_2.12-2.3.1.tgz”。使用Xftp8远程传输工具将Kafka安装包传输至master虚拟机/opt/software目录下。下载Kafka目录1解压Kafka下载Kafka2修改配置文件3分发Kafka至其他节点4在master虚拟机解压安装包kafka_2.12-2.3.1.tgz至/opt/module目录下。解压操作完成后查看解压目录，结果中能够看到“kafka_2.12-2.3.1”，说明文件已解压成功。解压Kafka目录1解压Kafka下载Kafka2修改配置文件3分发Kafka至其他节点4执行“vim/etc/profile”命令进入/etc/profile文件中配置环境变量，进入文件后在文件末尾添加Kafka环境变量并保存退出。执行“source/etc/profile”命令使环境变量立即生效。修改配置文件进入Kafka安装目录下的config目录。修改perties文件内容：broker.idlog.dirzookeeper.connect修改配置文件目录1解压Kafka下载Kafka2修改配置文件3分发Kafka至其他节点4将master节点配置好的Kafka相关配置文件分发到slave1和slave2节点：/opt/module/kafka_2.12-2.3.1//etc/profile在slave1和slave2节点中使用“source/etc/profile”命令，使环境变量生效。修改slave1和slave2节点的broker.id：将slave1节点的perties配置文件中的broker.id改为“1”将slave2节点的perties配置文件中的broker.id改为“2”分发Kafka至其他节点目录5启动Kafka集群启动ZooKeeper集群6验证Kafka集群是否部署成功7Kafka集群服务器依托ZooKeeper集群进行服务的协调管理，在启动Kafka集群之前需先启动ZooKeeper集群。分别在master、slave1、slave2节点上启动ZooKeeper集群，以master节点为例，具体操作如下。启动ZooKeeper集群Kafka与Hadoop并非强关联，仅在数据传输或处理流程中涉及Hadoop时，才需启动Hadoop服务。若不涉及Hadoop，则无需启动Hadoop服务，从而节约CPU资源。目录5启动Kafka集群启动ZooKeeper集群6验证Kafka集群是否部署成功7分别在master、slave1、slave2节点上启动KafkaBroker服务。启动Kafka集群目录5启动Kafka集群启动ZooKeeper集群6验证Kafka集群是否部署成功7在任意节点上使用“jps”命令查看进程，出现“QuorumPeerMain”和“Kafka”进程，说明服务启动成功。验证Kafka集群是否部署成功在Kafka中创建主题并查看主题。验证Kafka集群是否部署成功kafka-topics.sh是Kafka提供的一个用于管理主题（Topic）脚本，它允许用户创建、删除、查看和管理Kafka集群中的主题。使用“kafka-topics.sh–help”命令可以显示kafka-topics.sh工具的详细帮助信息，包括所有可用选项和内部命令及其用法说明。kafka-topics.sh创建主题参数说明如下。验证Kafka集群是否部署成功参数参数说明--create创建一个新的主题--list列出Kafka集群中已经存在的所有主题--zookeepermaster:2181指定ZooKeeper的连接信息--replication-factor1指定主题的副本因子为1--partitions1指定主题的分区数量为1--topicmytopic指定要创建的主题的名称为mytopic使用Kafka订阅农村电商网站服务器日志数据任务描述成功部署Kafka集群后，小数需要结合Flume和Kafka来订阅农村电商网站服务器日志数据。任务环境已部署ZooKeeper集群、Flume（master节点）和Kafka集群的3台CentOS7操作系统的虚拟机。任务描述与任务环境目录1创建Kafka主题编写定时取数脚本2编写Flume采集脚本3查看订阅消息4为了模拟实际生产环境进行系统测试，编写LinuxShell脚本定时抽取100条数据并存放至指定目录，可实现自动化测试流程。将农村电商网站服务器日志数据access.log和extract_logs.sh脚本上传至master虚拟机的/opt/data目录下。其中extract_logs.sh脚本用于随机从日志数据中抽取100条数据，并存放到指定目录/opt/kafka_data/output_data/。由于/opt/kafka_data/output_data/路径不存在，因此需通过“mkdir-p/opt/kafka_data/output_data/”命令创建路径。编写定时取数脚本为了后续能直接执行extract_logs.sh脚本，需要赋予extract_logs.sh文件可执行权限。编写定时取数脚本chmod是Linux系统中用于更改文件或目录权限的命令。它允许用户控制文件或目录的读、写和执行权限。其中“+x”参数代表的是添加可执行的符号权限模式。权限模式可以是数字模式或符号模式。符号模式包含权限符号、操作符号等。权限符号有四种：读权限（r）、写权限（w）、执行权限（x）、无权限（-）；操作符号有三种：添加权限（+）、删除权限（-）、设置权限，忽略其他已设置权限（=）为了实现数据定时抽取，需利用“crontab-e”命令来设置定时任务。为确保获取的数据是最新的且不受干扰，同时最小化对日常业务的影响，建议在非高峰时段进行数据抽取，如每天早晨4点。这样的安排可以避免系统繁忙时段，充分利用资源，提升数据抽取效率，同时确保业务流程不受干扰。本任务中，为能快速测试，将抽取数据时间设置为每分钟，使用“crontab-e”命令打开定时任务。打开定时任务后输入内容“*****/opt/data/extract_logs.sh”以启动定时任务。编写定时取数脚本任务运行结果可查看“/opt/kafka_data/output_data/”目录内容。编写定时取数脚本目录1创建Kafka主题编写定时取数脚本2编写Flume采集脚本3查看订阅消息4在所有节点依次启动ZooKeeper集群和Kafka集群。在master终端的Kafka安装目录的bin目录下创建名为dianshang的主题，设置副本因子为2，设置分区数为3。通过describe命令进行查看创建主题的信息。创建Kafka主题为了能确保Kafka的正常运行，需要对生产者和消费者进行测试，分别在两个终端启动master的生产者和消费者。创建Kafka主题在$KAFKA_HOME/bin目录中存在着许多用于管理和操作Kafka集群的脚本。其中除了启动和关闭集群的kafka-server-start.sh和kafka-server-stop.sh脚本之外，常用的脚本还有kafka-topics.sh、kafka-console-producer.sh和kafka-console-consumer.sh等脚本。kafka-topics.sh脚本用于管理主题，包括创建、查看、修改和删除主题等操作；kafka-console-producer.sh脚本能够通过控制台发送消息；kafka-console-consumer.sh脚本则是通过控制台订阅并接收消息。在启动生产者的终端输入内容，同时查看启动消费者的终端。创建Kafka主题目录1创建Kafka主题编写定时取数脚本2编写Flume采集脚本3查看订阅消息4在Flume安装目录的conf目录下，新建一个flume-memory-kafka.conf采集脚本，从数据源读取数据，经过内存通道缓存，最终发送到Kafka主题中。编写Flume采集脚本进入到Flume安装目录的conf目录下，再启动flumeagent实现日志文件的采集。编写Flume