任务4.2 使用Flume采集农村电商网站服务器日志数据

使用Flume采集农村电商网站服务器日志数据任务描述在成功部署Flume后，小数将配合数据采集工程师，使用搭建好的采集环境进行模拟，实时捕获农村电商网站服务器生成的日志文件access.log，并将其保存到HDFS中。任务环境已部署完全分布式Hadoop集群的3台CentOS7操作系统的虚拟机，且主节点已部署单机版Flume。任务描述与任务环境农村电商网站服务器生成的日志文件access.log日志文件部分数据如下。数据示例access.log部分数据1--[22/Jan/2023:03:56:14+0330]"GET/filter/27|13%20%D9%85%DA%AF%D8%A7%D9%BE%DB%8C%DA%A9%D8%B3%D9%84,27|%DA%A9%D9%85%D8%AA%D8%B1%20%D8%A7%D8%B2%205%20%D9%85%DA%AF%D8%A7%D9%BE%DB%8C%DA%A9%D8%B3%D9%84,p53HTTP/1.1"20030577"-""Mozilla/5.0(compatible;AhrefsBot/6.1;+http://***/robot/)""-"1--[22/Jan/2023:03:56:16+0330]"GET/image/60844/productModel/200x200HTTP/1.1"2005667"https://***/m/filter/b113""Mozilla/5.0(Linux;Android6.0;ALE-L21Build/HuaweiALE-L21)AppleWebKit/537.36(KHTML,likeGecko)Chrome/66.0.3359.158MobileSafari/537.36""-"1--[22/Jan/2023:03:56:16+0330]"GET/image/61474/productModel/200x200HTTP/1.1"2005379"https://***/m/filter/b113""Mozilla/5.0(Linux;Android6.0;ALE-L21Build/HuaweiALE-L21)AppleWebKit/537.36(KHTML,likeGecko)Chrome/66.0.3359.158MobileSafari/537.36""-"目录1编写采集脚本定时抽取数据2启动采集程序3将农村电商网站服务器日志文件access.log和抽取日志的脚本文件createLog.sh上传至master虚拟机的/opt/data目录下。createLog.sh脚本文件用于从access.log文件中随机抽取100行数据并存储至/opt/flumeproject。注意：需先在master虚拟机的/opt目录下创建新文件夹flumeproject，用于存放抽取的数据。定时抽取数据在master虚拟机输入代码“crontab-e”，编辑定时任务。在定时任务中输入内容“*****sh/opt/data/createLog.sh”，模拟日志文件的产生。定时抽取数据crontab是Linux系统中用于调度定时任务的工具，它允许用户按照预定的时间间隔执行特定的命令或脚本。crontab的时间格式采用5个空格分隔的字段，分别代表不同的时间单位，格式为“分钟小时日期月份星期命令”。等待几分钟后，在/opt/flumeproject目录下查看定时生成的日志文件。定时抽取数据目录1编写采集脚本定时抽取数据2启动采集程序3编写Flume采集脚本，实现采集日志文件并保存至HDFS的配置，Flume采集脚本具体配置如下：Source：SpoolingDirectorySource，表示从本地目录中采集数据Sink：HDFSSink，表示将数据写入HDFS文件系统上Channel：FileChannel，表示将数据存储在磁盘上的文件中编写采集脚本编写采集脚本编写采集脚本目录1编写采集脚本定时抽取数据2启动采集程序3先启动Hadoop集群，再启动FlumeAgent程序采集农村电商网站服务器日志数据。Flume采集命令说明如下。启动采集程序命令说明/opt/module/flume-1.9.0/bin/flume-ngagent通过flume-ng命令启动FlumeAgent-c/opt/module/flume-1.9.0/conf指定Flume配置文件所在的目录-f/opt/module/flume-1.9.0/conf/spool-file-hdfs.conf指定具体的采集配置文件的名称-na指定配置文件中的Agent的名称-Dflume.root.logger=INFO,console指定Flume的日志级别为INFO，并输出到控制台采集配置文件不必局限于Flume安装路径下的conf文件夹中。用户可以根据个人喜好或项目需求，将配置文件放置在合适的目录中。在/opt/flumeproject目录下查看日志文件，可看到日志文件均添加了“.COMPLE