Storm集群的搭建与配置

摘要: Storm集群的搭建与配置

安装Storm集群

这一章节将详细描述如何搭建一个Storm集群。下面是接下来需要依次完成的安装步骤：

搭建Zookeeper集群；

安装Storm依赖库；

下载并解压Storm发布版本；

修改storm.yaml配置文件；

启动Storm各个后台进程。

1、Zookeeper的搭建参考：http://my.oschina.net/u/2377453/blog/464739
搭建Zookeeper集群注意事项：

由于Zookeeper是快速失败（fail-fast)的，且遇到任何错误情况，进程均会退出，因此，最好能通过监控程序将Zookeeper管理起来，保证Zookeeper退出后能被自动重启。详情参考这里。

Zookeeper运行过程中会在dataDir目录下生成很多日志和快照文件，而Zookeeper运行进程并不负责定期清理合并这些文件，导致占用大量磁盘空间，因此，需要通过cron等方式定期清除没用的日志和快照文件。详情参考这里。具体命令格式如下：java -cp zookeeper.jar:log4j.jar:conf org.apache.zookeeper.server.PurgeTxnLog <dataDir> <snapDir> -n <count>

2、安装Storm依赖库

接下来，需要在Nimbus和Supervisor机器上安装Storm的依赖库，具体如下：

ZeroMQ 2.1.7 – 请勿使用2.1.10版本，因为该版本的一些严重bug会导致Storm集群运行时出现奇怪的问题。少数用户在2.1.7版本会遇到"IllegalArgumentException"的异常，此时降为2.1.4版本可修复这一问题。

JZMQ

Java 6

Python 2.6.6

unzip

以上依赖库的版本是经过Storm测试的，Storm并不能保证在其他版本的Java或Python库下可运行。
注意：
安装过程中经常出现需要依赖，请务必使用yum安装各种依赖
YUM出现问题请参考这篇文章：http://my.oschina.net/u/2377453/blog/466141
3、安装ZMQ 2.1.7

下载后编译安装ZMQ：

#wget    //http://download.zeromq.org/zeromq-2.1.7.tar.gz//下载
#tar -xzf zeromq-2.1.7.tar.gz    //解压
#cd zeromq-2.1.7    //切换目录
//编译且安装
#./configure
#make
#make install

安装时可能出现如下依赖：
1.安装c++编译器
#sudo yum install gcc-c++
2.下载libsodium
//https://github.com/jedisct1/libsodium/archive/1.0.1.tar.gz
3.安装libtool
#sudo yum install libtool
4.安装autoconf-2.68
#wget //http://ftp.gnu.org/gnu/autoconf/autoconf-2.68.tar.gz
#./configure
#make && make install

注意事项：

1. 如果安装过程报错uuid找不到，则通过如下的包安装uuid库：
#yum install uuid*
#yum install e2fsprogs*
2. 如果出现c++编译环境
#yum install gcc-c++

4、安装JZMQ

下载后编译安装JZMQ：

#wget   // https://codeload.github.com/zeromq/jzmq/zip/master//下载 #unzip jzmq-master.zip //解压
#cd jzmq-maste    //切换目录
//编译安装
#./autogen.sh
#./configure
#make
#make install

为了保证JZMQ正常工作，可能需要完成以下配置：

正确设置 JAVA_HOME环境变量

安装Java开发包

注意事项：

1. 如果运行

./configure

命令出现connot find zmq.h

加入两台export：
export CPPFLAGS=-I/root/installs/zeromq/include
export LDFLAGS=-L/root/installs/zeromq/lib/

5、 安装Java 6
1. 下载并安装JDK 6
2. 配置JAVA_HOME环境变量；
3. 运行java、javac命令，测试java正常安装。
6、安装Python2.7.10

1. 下载Python2.7.10：

wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tar.xz[/code] 2. 编译安装Python2.7.10：
#xz -d Python-2.7.10.tar.xz//可能需要安装xz，sudo yum install xz
#tar –xvf Python-2.7.10.tar.gz
#cd Python-2.7.10
#./configure
#make
#make install
注意：
1、python默认安装路径：/usr/local/bin/pythonN
2、新安装的python要替代系统自带的python必须将系统自带的python的链接文件删除：/usr/bin/python
3、使用命令创建自己的链接文件：ln -s /usr/local/bin/pythonN /usr/bin/python
N位版本号

3. 测试Python2.7.10：
#python -V
Python 2.7.10

7、安装unzip
1. 如果使用RedHat系列Linux系统，执行以下命令安装unzip：
apt-get install unzip

2. 如果使用Debian系列Linux系统，执行以下命令安装unzip：
yum install unzip

8、下载并解压Storm发布版本

下一步，需要在Nimbus和Supervisor机器上安装Storm发行版本。
1. 下载Storm发行版本，推荐使用Storm0.8.1：
wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip[/code] 2. 解压到安装目录下：
unzip storm-0.8.1.zip

3. 修改storm.yaml配置文件

Storm发行版本解压目录下有一个
conf/storm.yaml
文件，用于配置Storm。默认配置在这里可以查看。
conf/storm.yaml
中的配置选项将覆盖
defaults.yaml中的默认配置。以下配置选项是必须在
conf/storm.yaml
中进行配置的：

注意：
配置文件中“：”以及“-”左右两边必须有空格（→_→我被坑了好久才发现这个问题）

#配置storm使用的zookeeper集群的地址
storm.zookeeper.servers:
- "hostA"
- "hostB"
#（选配）如果zookeeper默认端口不是2181，则需要配置zookeeper端口
storm.zookeeper.port : 2181
#配置主节点nimbus所在的主机
nimbus.host : "host"
#配置storm的工作目录
storm.local.dir : "/root/app/storm/tmp"
#配置本地模式下是否使用ZeroQM作为消息系统，默认为false：使用java消息系统
storm.local.mode.zmq : true
#配置supervisor节点可以使用worker进程的端口,默认情况为4个worker进程，端口如下
supervisor.slots.ports :
- 6700
- 6701
- 6702
- 6703

9、启动Storm各个后台进程

最后一步，启动Storm的所有后台进程。和Zookeeper一样，Storm也是快速失败（fail-fast)的系统，这样Storm才能在任意时刻被停止，并且当进程重启后被正确地恢复执行。这也是为什么Storm不在进程内保存状态的原因，即使Nimbus或Supervisors被重启，运行中的Topologies不会受到影响。
以下是启动Storm各个后台进程的方式：

Nimbus: 在Storm主控节点上运行"bin/storm nimbus 1 > /dev/null 2 &1 &"启动Nimbus后台程序，并放到后台执行；

Supervisor: 在Storm各个工作节点上运行"bin/storm supervisor 1 /dev/null 2 &1 &"启动Supervisor后台程序，并放到后台执行；

UI: 在Storm主控节点上运行"bin/storm ui  1 > /dev/null 2 &1 &"启动UI后台程序，并放到后台执行，启动后可以通过http://{nimbus host}:8080观察集群的worker资源使用情况、Topologies的运行状态等信息。

命令解释：“1 > /dev/null 2 &1”，linux命令，意思是标准输出（1）到/dev/null，异常输出（2）同样输出到/dev/null（&1就是引用1输出的位置），&后台运行，如果在命令最前端加入“nohub”，则变为即使关闭终端也会继续运行.

注意事项：

Storm后台进程被启动后，将在Storm安装部署目录下的logs/子目录下生成各个进程的日志文件。

经测试，Storm UI必须和Storm Nimbus部署在同一台机器上，否则UI无法正常工作，因为UI进程会检查本机是否存在Nimbus链接。

为了方便使用，可以将bin/storm加入到系统环境变量中。

至此，Storm集群已经部署、配置完毕，可以向集群提交拓扑运行了。
10、向集群提交任务

1）启动Storm Topology：
storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3

其中，allmycode.jar是包含Topology实现代码的jar包，org.me.MyTopology的main方法是Topology的入口，arg1、arg2和arg3为org.me.MyTopology执行时需要传入的参数。
2）停止Storm Topology：
storm kill {toponame}

其中，{toponame}为Topology提交到Storm集群时指定的Topology任务名称。
参考资料

1. https://github.com/nathanmarz/storm/wiki/Tutorial
2. https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster