3台机器部署storm-1.1.0集群

一. 环境介绍

三台主机，主机名和ip分别为：
ubuntu1  10.3.19.171
ubuntu2  10.3.19.172
ubuntu3  10.3.19.173

三台主机的登录用户名是bigdata，home目录是/home/bigdata
现在三台主机上部署storm集群。

storm需要使用python，安装python如下：

bigdata@ubuntu1:~$ sudo apt-get install python

二. 解压复制storm安装包到ubuntu1

bigdata@ubuntu1:~/download$ tar -zxvf apache-storm-1.1.0.tar.gz

bigdata@ubuntu1:~/download$ mv apache-storm-1.1.0 ../run/

bigdata@ubuntu1:~/download$ cd ../run/

bigdata@ubuntu1:~/run$ ln -s apache-storm-1.1.0 storm

三. 修改ubuntu1上storm的配置文件

创建Nimbus 和 Supervisor 后台进程所需要的local目录

bigdata@ubuntu1:~$ mkdir /home/bigdata/run/storm/storm_workdir

修改配置文件：

bigdata@ubuntu1:~/run$ cd storm/conf/
bigdata@ubuntu1:~/run/storm/conf$ cat storm.yaml
......
storm.zookeeper.servers:
- "10.3.19.171"
- "10.3.19.172"
- "10.3.19.173"

nimbus.host: "10.3.19.171"
ui.port:  9090
storm.local.dir: "/home/bigdata/run/storm/storm_workdir"

四. 在ubuntu2 ubuntu3上安装storm

为了安装方便，直接将ubuntu1上的storm打包，拷贝到ubuntu1和ubuntu2主机上，操作如下：

bigdata@ubuntu1:~/run$ tar -zcvf apache-storm-1.1.0.tar.gz apache-storm-1.1.0
bigdata@ubuntu1:~/run$ scp apache-storm-1.1.0.tar.gz ubuntu2:/home/bigdata/run/
bigdata@ubuntu1:~/run$ scp apache-storm-1.1.0.tar.gz ubuntu3:/home/bigdata/run/

在ubuntu2 ubuntu3上解压，并创建软连接。ubuntu2操作如下，ubuntu3类似。

bigdata@ubuntu2:~/run$ tar -zxvf apache-storm-1.1.0.tar.gz
bigdata@ubuntu2:~/run$ ln -s apache-storm-1.1.0 storm

至此，已成功将storm部署到ubuntu1 ubuntu2 ubuntu3三台机器上。

五. 启动storm

ubuntu1作为master, 在其它执行操作:

bigdata@ubuntu1:~/run/storm/bin$ ./storm nimbus &
bigdata@ubuntu1:~/run/storm/bin$ ./storm ui &
bigdata@ubuntu1:~/run/storm/bin$ ./storm supervisor &

ubuntu2 ubuntu3作为从节点，只需要执行：

bigdata@ubuntu2:~/run/storm/bin$ ./storm supervisor &

查看storm进程是否启动：

bigdata@ubuntu1:~/run/storm/bin$ jps -l | grep storm
5370 org.apache.storm.ui.core
5454 org.apache.storm.daemon.supervisor.Supervisor
5263 org.apache.storm.daemon.nimbus

bigdata@ubuntu2:~/run/storm/bin$ jps -l | grep storm
3189 org.apache.storm.daemon.supervisor.Supervisor

六. 测试

使用浏览器查看storm界面：http://10.3.19.171:9090

七.编译示例程序源码&&执行测试命令测试：

bigdata@ubuntu1:~$ cd /home/bigdata/run/storm/examples/storm-starter

bigdata@ubuntu1:~/run/storm/examples/storm-starter$ mvn package

bigdata@ubuntu1:~/run/storm/examples/storm-starter$ ls
dependency-reduced-pom.xml  multilang  pom.xml  README.markdown  src  target  test
bigdata@ubuntu1:~/run/storm/examples/storm-starter$ cd target/
bigdata@ubuntu1:~/run/storm/examples/storm-starter/target$ ls 
classes            generated-test-sources  maven-shared-archive-resources  original-storm-starter-1.1.0.jar  surefire-reports
generated-sources  maven-archiver          maven-status                    storm-starter-1.1.0.jar           test-classes

bigdata@ubuntu1:~/run/storm/examples/storm-starter/target$ cd ../../../bin/

bigdata@ubuntu1:~/run/storm/bin$ ./storm jar ../examples/storm-starter/target/storm-starter-1.1.0.jar org.apache.storm.starter.WordCountTopology wordcount