storm 集群部署

前提条件

安装了python 2.6.6和java 8

服务器相关列表

IP	installed binary	actor	nohup log file	server status log	data log folder	launch cmd
.147	/data/slot0/kafka_2.11-0.8.2.1 /data/slot0/storm	nimbus	/data/slot0/kafka_2.11-0.8.2.1/nohup.out	/data/slot0/kafka_2.11-0.8.2.1/logs	/data/slot0/kafka-logs for storing topic messages	./bin/kafka-server-start.sh ./config/my-server.properties &
.148
.149
.150
.151

创建帐号

这个帐号是storm服务使用，将来也会成为HDFS的用户帐号之一。
useradd dean创建公钥su - dean
ssh-keygen -t rsa -P ''

下载并解压

#wget https://github.com/apache/storm/archive/v0.10.0-beta1.tar.gz 绝对是个坑，不要下载这个
#wget http://mirror.bit.edu.cn/apache/storm/apache-storm-0.10.0-beta1/apache-storm-0.10.0-beta1.tar.gz 又是一个坑，有bug,不能用

只好下载0.9.5版本
wget http://mirror.bit.edu.cn/apache/storm/apache-storm-0.9.5/apache-storm-0.9.5.tar.gz 解压后放在/data/slot0/apache-storm-0.9.5目录下

Storm社区真让人担心，下载都连碰两个坑。

配置

1. 建立/data/slot0/storm 软链接，指向/data/slot/apache-storm-0.9.5
2. 将两个storm目录owner都改为dean, 比如：

chown -R dean:dean storm3. 切换为storm帐号，开始编辑conf/storm.yaml文件（无需指定storm.yaml文件路径，程序会自动在conf目录下找）
从gihub.com下载的包里面有个defaults.yaml文件(release包里没有，但这个很值得一看), defaults.yaml文件里面的设置都是默认值，如果你不在storm.yaml文件中覆盖，就会采用这些默认值storm.local.dir: "storm-local"
storm-local保存了部署在storm上的topology的程序jar包和配置文件。
由于本来storm安装目录就在大磁盘分区上，所以这里仍然采用默认设置，在目录下配置storm-local目录
4. 设置zookeeper的地址，由于使用默认端口，没有设置端口号
暂时就设置这么多
########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
- "zk1"
- "zk2"
- "zk3"

nimbus.host: "host1"

然后将storm目录都复制到各个服务器上，最好打通ssh 的dean帐号认证。

5. 启动nimbus
su - dean
cd /data/slot0/storm
nohup bin/storm nimbus &6. 启动storm ui
nohup bin/storm ui &现在用浏览器访问 http://host1:8080/index.html，成功



7. 启动各个supervisor
su - dean
cd /data/slot0/storm
nohup bin/storm supervisor &
通过检查nohup.out和日志来确定服务器启动是否正常。

8. 关闭服务
只能通过ps -def | grep nimubs命令查找进程ID后再kill