Storm1.0集群部署(HA)
2017-02-08 17:15
253 查看
部署前准备
下载V1.0.0
http://mirrors.cnnic.cn/apache/storm/apache-storm-1.0.0/apache-storm-1.0.0.tar.gz
zookeeper信息
192.168.7.108:2181
192.168.7.109:2181
192.168.7.110:2181
Storm部署
Nimbus:192.168.7.111(active),192.168.7.112
Supervisor:192.168.7.111,192.168.7.112,192.168.7.113
检查python
storm@ydt-dsp-poc08:/ztapp/usr/storm >python -V Python 2.6.6 |
0、在3台服务器上配置hosts
vi /etc/hosts192.168.7.111 storm01
192.168.7.112 storm02
192.168.7.113 storm03
1、将apache-storm-1.0.0.tar.gz上传到storm安装目录
假设为:/home/usr/storm
2、解压
将apache-storm-1.0.0.tar.gz解压:tar -zxvf apache-storm-1.0.0.tar.gz
3、重命名(非必需)
将解压后的目录命名为stormmv apache-storm-1.0.0 storm
4、配置storm.yaml
进入storm/conf目录,修改storm.yaml配置文件为如下内容:# zookeeper ip storm.zookeeper.servers: - "192.168.7.108" - "192.168.7.109" - "192.168.7.110" storm.zookeeper.port: 2181 storm.zookeeper.root: "/storm" #Nimbus H/A nimbus.seeds: ["storm01","storm02"] #Nimbus dir storm.local.dir: "/ztapp/usr/storm/wkdir" #supervisor worker port, 4 workers example supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703 |
绝大多数配置信息都是使用默认值,具体参考:
https://github.com/apache/storm/blob/v1.0.0/conf/defaults.yaml
在storm nimbus启动之后,wkdir目录结构如下:
storm@ydt-dsp-poc08:/ztapp/usr/storm/wkdir >du 4 ./nimbus/history 4 ./nimbus/inbox 12 ./nimbus 4 ./blobs 12 ./supervisor/isupervisor 4 ./supervisor/tmp 20 ./supervisor/localstate 40 ./supervisor |
5、进程启动
在192.168.7.111、192.168.7.112、192.168.7.113完成前面4步之后,按nimbus、supervisor的分布情况启动storm进程:192.168.7.111启动nimbus、supervisor、ui
./storm/bin/storm nimbus & ./storm/bin/storm supervisor & ./storm/bin/storm ui & |
192.168.7.112启动nimbus、supervisor、ui
./storm/bin/storm nimbus & ./storm/bin/storm supervisor & ./storm/bin/storm ui & |
192.168.7.113启动supervisor
./storm/bin/storm supervisor & |
6、验证
http://192.168.7.111:8080其他参考:
http://storm.apache.org/releases/1.0.0/Setting-up-a-Storm-cluster.html
http://storm.apache.org/releases/1.0.0/javadocs/org/apache/storm/Config.html
https://github.com/apache/storm/blob/v1.0.0/conf/defaults.yaml
相关文章推荐
- storm1.0集群部署(含HA)
- storm1.0集群部署(含HA)
- Storm1.0集群部署
- Storm集群安装部署步骤【详细版】
- Storm集群部署
- Storm集群部署
- CentOS6.5环境部署Hadoop2.8.1集群(HA)
- storm集群部署的基本流程
- Hadoop大数据框架研究(3)——Spark的HA高可用性集群环境部署
- 从0开始部署hadoop HDFS的HA集群,使用zk实现自动容灾
- Storm集群安装部署步骤【详细版】
- Storm集群搭建、storm集群部署
- Storm集群安装部署步骤【详细版】
- Storm集群安装部署步骤【详细版】
- Spark集群基于Zookeeper的HA搭建部署
- 大数据Hadoop的HA高可用架构集群部署
- spark集群与spark HA高可用快速部署 spark研习第一季
- Spark集群基于Zookeeper的HA搭建部署笔记
- Storm集群安装部署步骤
- Storm1.1.0集群部署