任务5.2 使用Kafka订阅农村电商网站服务器日志数据

使用Kafka订阅农村电商网站服务器日志数据任务描述成功部署Kafka集群后，小数需要结合Flume和Kafka来订阅农村电商网站服务器日志数据。任务环境已部署ZooKeeper集群、Flume（master节点）和Kafka集群的3台CentOS7操作系统的虚拟机。任务描述与任务环境目录1创建Kafka主题编写定时取数脚本2编写Flume采集脚本3查看订阅消息4为了模拟实际生产环境进行系统测试，编写LinuxShell脚本定时抽取100条数据并存放至指定目录，可实现自动化测试流程。将农村电商网站服务器日志数据access.log和extract_logs.sh脚本上传至master虚拟机的/opt/data目录下。其中extract_logs.sh脚本用于随机从日志数据中抽取100条数据，并存放到指定目录/opt/kafka_data/output_data/。由于/opt/kafka_data/output_data/路径不存在，因此需通过“mkdir-p/opt/kafka_data/output_data/”命令创建路径。编写定时取数脚本为了后续能直接执行extract_logs.sh脚本，需要赋予extract_logs.sh文件可执行权限。编写定时取数脚本chmod是Linux系统中用于更改文件或目录权限的命令。它允许用户控制文件或目录的读、写和执行权限。其中“+x”参数代表的是添加可执行的符号权限模式。权限模式可以是数字模式或符号模式。符号模式包含权限符号、操作符号等。权限符号有四种：读权限（r）、写权限（w）、执行权限（x）、无权限（-）；操作符号有三种：添加权限（+）、删除权限（-）、设置权限，忽略其他已设置权限（=）为了实现数据定时抽取，需利用“crontab-e”命令来设置定时任务。为确保获取的数据是最新的且不受干扰，同时最小化对日常业务的影响，建议在非高峰时段进行数据抽取，如每天早晨4点。这样的安排可以避免系统繁忙时段，充分利用资源，提升数据抽取效率，同时确保业务流程不受干扰。本任务中，为能快速测试，将抽取数据时间设置为每分钟，使用“crontab-e”命令打开定时任务。打开定时任务后输入内容“*****/opt/data/extract_logs.sh”以启动定时任务。编写定时取数脚本任务运行结果可查看“/opt/kafka_data/output_data/”目录内容。编写定时取数脚本目录1创建Kafka主题编写定时取数脚本2编写Flume采集脚本3查看订阅消息4在所有节点依次启动ZooKeeper集群和Kafka集群。在master终端的Kafka安装目录的bin目录下创建名为dianshang的主题，设置副本因子为2，设置分区数为3。通过describe命令进行查看创建主题的信息。创建Kafka主题为了能确保Kafka的正常运行，需要对生产者和消费者进行测试，分别在两个终端启动master的生产者和消费者。创建Kafka主题在$KAFKA_HOME/bin目录中存在着许多用于管理和操作Kafka集群的脚本。其中除了启动和关闭集群的kafka-server-start.sh和kafka-server-stop.sh脚本之外，常用的脚本还有kafka-topics.sh、kafka-console-producer.sh和kafka-console-consumer.sh等脚本。kafka-topics.sh脚本用于管理主题，包括创建、查看、修改和删除主题等操作；kafka-console-producer.sh脚本能够通过控制台发送消息；kafka-console-consumer.sh脚本则是通过控制台订阅并接收消息。在启动生产者的终端输入内容，同时查看启动消费者的终端。创建Kafka主题目录1创建Kafka主题编写定时取数脚本2编写Flume采集脚本3查看订阅消息4在Flume安装目录的conf目录下，新建一个flume-memory-kafka.conf采集脚本，从数据源读取数据，经过内存通道缓存，最终发送到Kafka主题中。编写Flume采集脚本进入到Flume安装目录的conf目录下，再启动flumeagent实现日志文件的采集。编写Flume采集脚本目录1创建Kafka主题编写定时取数脚本2编写Flume采集脚本3查看订阅消息4在Kafka消费者的控制台中，可以看到Kafka主题dianshang订阅到的消息。