大数据分析技术应用-Zkeeper的安装与配置

Flume采集数据供KaFka消费学习目标Flume与Kafka配合消费数据132知识思政技能Flume与KaFka协调启动吃苦耐劳科学探索精神练习步骤启动ZooKeeper服务启动KaFka服务编写Flume脚本运行Flume脚本编写模拟发送数据的脚本模拟发送数据运行KaFka消费数据Zookeeper服务启动在三台计算机中启动Zookeeper服务，也可用脚本进行启动，为启动KaFka做准备，在测试环境中也可以使用KaFka自带的ZooKeeper启动服务。具体操作详见后面的视频。KaFka服务启动在三台计算机中启动KaFka服务，也可用脚本进行启动，但要注意的是KaFka关闭服务时要注意的事项。由于关闭脚本时找不到对应的id，无法关闭，进行修改Flume脚本的编写编写脚本时要注意，source设置为Channel要设置为，Sink要设置为kafka运行Flume脚本输入如下脚本命令，指定脚本的路径，将输出设置为编写模拟发送数据的脚本编写脚本模拟发送数据，利用Linux系统中的echo命令发送数据模拟发送数据在模拟发送数据之前修改文件运行权限命令如下模拟发送数据之前一定要先启动Flume脚本，因为只有发送没有接收，会提示出错。运行KaFka消费数据利用KaFka的消费者命令将数据输出至控制台运行KaFka消费数据安装地址：（1）官网首页：/（2）下载截图Zookeeper集群安装安装步骤：（1）集群规划，在hadoop01,hadoop02,hadoop03三个节点上都安装Zookeeper。（2）将apache-zookeeper-3.5.7-bin.tar.gz上传到linux的/opt/software目录下（2）在hadoop01中解压apache-flume-1.9.0-bin.tar.gz到/opt/module/目录下/具体命令：tar-zxvfapache-zookeeper-3.5.7-bin.tar.gz-C/opt/module/（3）修改apache-zookeeper-3.5.7-bin名称为zookeeper具体命令：mvapache-zookeeper-3.5.7-bin/zookeeper-3.5.7Zookeeper集群安装安装步骤：（4）配置服务器编号在/opt/module/zookeeper/这个目录下创建zkData具体命令：mkdirzkData在/opt/module/zookeeper/zkData目录下创建一个myid的文件用于标识Zookeeper服务器

具体命令：vimyid在文件中添加与服务器

对应的编号，每台服务器不能相同，用数字标识即可。（5）配置zoo.cfg文件重命名/opt/module/zookeeper-3.5.7/conf这个目录下的zoo_sample.cfg为zoo.cfgZookeeper集群安装安装步骤：打开zoo.cfg文件输入如下命令：vizoo.cfg修改数据存储路径配置dataDir=/opt/module/zookeeper/zkData增加如下配置#######################cluster##########################server.1=hadoop01:2888:3888server.2=hadoop02:2888:3888server.3=hadoop03:2888:3888（6）将文件Zookeeper文件发送至Hadoop02，Hadoop03中，具体命令如下：Zookeeper集群启动分别在Hadoop01，Hadoop02，Hadoop03中进入Zookeeper安装目录，并输入如下指令：bin/zkServer.shstart输入查看运行状态指令：bin/zkServer.shstatusZookeeper客户端命令行操作1）启动客户端bin/zkCli.sh-serverhadoop01:2181命令行语法命令基本语法功能描述lspath使用ls命令来查看当前znode的子节点[可监听]-w监听子节点变化-s附加次级信息create普通创建-s含有序列-e临时（重启