Storm 单机环境的安装与配置

1、安装包：系统：Ubuntu 12.04下载地址：虚拟机：VMware Workstation下载地址：许可证号: 5A02H-AU243-TZJ49-GTC7K-3C61N下载zookeeper zookeeper-3.4.8下载地址： /dyn/closer.cgi/zookeeper/下载storm:下载地址/dyn/closer.lua/storm/apache-storm-1.0.0/apache-storm-1.0.0.tar.gzjdk1.8下载地址：centos 7防火墙的停止/禁

2、用：systemctl stop firewalld.service #停止systemctl disable firewalld.service #禁用一、Jdk安装卸载OpenJdk并安装JDK：root用户1、 上传jdk至系统/usr 目录下。2、通过java version 得到 OpenJdk3、如果存在 输入 rpm -qa | grep java或者rpm -qa | grep jdk出现图中信息  XXXX_openjdk_XXX 等相关的 信息  复制 其中一个4、卸载OPENJDK 输入如下命令rpm -e -nodeps 

3、0;上一步复制的jdk文件名 或者 yum -y remove java 上一步复制的jdk文件名等待执行完毕 重复此步操作 更换 文件名完成后输入 java version 得到No such file or directory，即已卸载OpenJdk5、解压Jdk到指定的文件夹中：tar zxvf jdk-8u11-linux-x64.tar.gz6、文件重命名并移动至指定文件夹mv jdk1.8.0_11 /usr/share/jdk87、配置环境变量 #vim编辑器执行写入操作需要先按“i"键，编辑完成之后需要先按esc键，然后输入“:x”回车即

4、可保存并退出 1. vim /etc/profile  2. 向文件里追加如下内容：  3. JAVA_HOME=/usr/share/jdk8  4. JRE_HOME=/usr/share/jdk8/jre5. PATH=$PATH:$JAVA_HOME/bin:  6. CLASSPATH=.:$JAVA_HOME/lib  7. export JAVA_HOME  PATH CLASSPATH  修改完成后

5、输入 source /etc/profile 立即生效：详情可参考： 二、zookeeper安装 2.1 单实例配置1-1、上传解压同样，我们将zookeeper的安装包放入 /home/stormuser 目录下，通过sudo chmod a+x zookeeper-3.4.8.tar.gz增加 可执行权限，如图：解压压缩包，tar zxvf zookeeper-3.4.8.tar.gz,得到：zookeeper-3.4.8mv zookeeper-3.4.8 /home/stormuser/app 配置zookeeper 的环境变量：export ZOOKEEPER_HOME= /home

6、/stormuser/app/zookeeper-3.4.8export PATH=$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$JRE_HOME/bin:$PATH通过sudo vim /etc/profile 1-2、配置 建目录/home/stormuser/tmp/zookeeper/data进入/home/stormuser/app/zookeeper-3.4.8/conf 将 zoo_sample.cfg修改为zoo.cfg 修改配置文件 zoo.cfg tickTime=2000 dataDir=/home/stormuser/tmp/zookeeper

7、/data clientPort=2181 initLimit=5 syncLimit=2 参数说明：· tickTime: zookeeper中使用的基本时间单位, 毫秒值.· dataDir: 数据目录. 可以是任意目录.· dataLogDir: log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和dataDir相同的设置.· clientPort: 监听client连接的端口号.· initLimit: zookeeper集群中的包含多台server, 其中一台为leader, 集群中其余的server为follower.

8、 initLimit参数配置初始化连接时, follower和leader之间的最长心跳时间. 此时该参数设置为5, 说明时间限制为5倍tickTime, 即5*2000=10000ms=10s.· syncLimit: 该参数配置leader和follower之间发送消息, 请求和应答的最大时间长度. 此时该参数设置为2, 说明时间限制为2倍tickTime, 即4000ms.· server.X=A:B:C 其中X是一个数字, 表示这是第几号server. A是该server所在的IP地址. B配置该server和集群中的leader交换消息所使用的端口. C配置选举l

9、eader时所使用的端口. 由于配置的是伪集群模式, 所以各个server的B, C参数必须不同.至此，zookeeper的单机模式已经配置好了，启动server只需运行脚本。启动：使用 /bin zkServer.sh start查看服务器状态/bin zkServer.sh status查看服务器状态，此时服务器的模式（model）应该是standalone。Server启动后，可以启client连接server。只需执行：bin/zkCli.sh -server localhost: 2181 来连接服务器，如果在这个过程中没有抛出异常的话，就说明我们能够正确地配置了Zookeeper三

10、、ZEROMQJZMQ安装安装 zeromq上传zeromq4.1.zip 至 /home/stormuser ，使用unzip zeromq4.1.zip 得到zeromq4.1，进入目录使用tar zxvf zeromq-4.1.3.tar.gz 得到zeromq-4.1.3 ，使用mv zeromq-4.1.3 / /home/stormuser/app进入/home/stormuser/app/zeromq-4.1.3使用 >>./configure -without-libsodium>>make>>sudo make install安装结束。安装

11、jzmq$ cd /home/stormuser/app/jzmq$ ./autogen.sh$ ./configure$ make$ sudo make install测试安装结果5.1修改运行脚本添加jvm参数java.library.path$ cd jzmq-master/perf/$ vim local_lat.sh#!/bin/sh#java -classpath "./src/zmq.jar:zmq-perf.jar" local_lat $#如果出现错误no XXX in java.library.path，就添加jvm参数java.library.path

12、java -Djava.library.path=/usr/local/lib -classpath "./src/zmq.jar:zmq-perf.jar" local_lat $ vim remote_lat.sh#!/bin/sh#java -classpath "./src/zmq.jar:zmq-perf.jar" remote_lat $#如果出现错误no XXX in java.library.path，就添加jvm参数java.library.pathjava -Djava.library.path=/usr/local/lib -cla

13、sspath "./src/zmq.jar:zmq-perf.jar" remote_lat $先运行$ ./local_lat.sh tcp:/:5555 1 100新建终端运行$ ./remote_lat.sh tcp:/:5555 1 1005.3显示结果，测试安装成功四、STORM安装上传apache-storm-1.0.0.tar.gz 并解压至目录：/home/stormuser/app 修改配置信息修改目录/home/stormuser/app/apache-storm-1.0.0/conf下 storm.yaml文件。st

14、orm.zookeeper.servers: - ""# - "server2" nimbus.host: "" storm.zookeeper.port: 2181 storm.local.dir: "/home/stormuser/app/apache-storm-1.0.0" supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703说明一下：storm.local.dir表示storm需要用到的本地目录。nimbus.host表

15、示那一台机器是master机器，即 nimbus。storm.zookeeper.servers表示哪几台机器是zookeeper服务器。storm.zookeeper.port表示zookeeper的端口号，这里一定要与zookeeper配置的端口号一致，否则会出现通信错误，切记切记。当然你也可以配 superevisor.slot.port，supervisor.slots.ports表示supervisor节点的槽数，就是最多能跑几个 worker进程（每个sprout或bolt默认只启动一个worker，但是可以通过conf修改成多个）启动storm：>>storm nim

16、bus&>>storm supervisor&>>storm ui&通过命令jps 查看进程状态>>jps在没有运行任务时，我们必须应该要看到5个进程：QuorumPeerMain、nimbus、core、Jps、supervisor。否则就需要检查是否正确地启动，如果启动之后没有过多久就停止了，我们就需要查看/storm-0.8.2/logs下面的对应的log文件，查看引起异常的原因是什么，然后解决后再次启动。同时，我们可以在虚拟机浏览器中输入http:/localhost:8080来进入Storm UI的界面，可以查看Storm运

17、行期间的相关信息。到此为止单机版的Storm就安装完毕了。附录：Storm 启动后进程对应关系上图中：1882 core   对应的进程是Storm UI341 Jps     对应的进程是Java jps1880 nimbus 对应的进程是Storm nimbus18450 supervisor 对应的进程是Storm supervisor27380 worker     对应的线程是Storm main函数里面设置的 conf.setNumWorkers(15) ，所以本

18、例中有15个worker。2112 QuorumPeerMain 对应的进程是zkServer.sh其中在nimbus上nimbus、 core和 QuorumPeerMain 这三个进程必须启动，如果启动失败，需要研究一下日志中失败的原因，按照上述的顺序再启动一次。否则 会导致下一步的topology提交失败，切记。错误记录：这里在启动numbus时候，遇到一个错误，java.lang.RuntimeException: Something wrong with network/dns config, host cant figure out its name需要修改hostname 需要修改两处：一处是/etc/sysconfig/network，另一处是/etc/hosts，只修改任一处会导致系统启动异常。首先切换到root用户。· /etc/sysconfig/network用任一款你喜爱的编辑器打开该文件，里面有一行 HOSTNAME=localhost.localdomain (如果是默认的话），修改 localhost.localdomain 为你的主机名。· /etc/hosts打开该文件，会有一行  localhost.localdomain l