storm1.0集群部署(含HA)
2016-04-14 20:34
483 查看
Storm1.0集群部署
部署前准备
下载V1.0.0http://mirrors.cnnic.cn/apache/storm/apache-storm-1.0.0/apache-storm-1.0.0.tar.gz
zookeeper信息
192.168.7.108:2181
192.168.7.109:2181
192.168.7.110:2181
Storm部署
Nimbus:192.168.7.111(active),192.168.7.112
Supervisor:192.168.7.111,192.168.7.112,192.168.7.113
检查python
storm@ydt-dsp-poc08:/ztapp/usr/storm >python -V Python 2.6.6 |
0、在3台服务器上配置hosts
vi /etc/hosts192.168.7.111 storm01
192.168.7.112 storm02
192.168.7.113 storm03
1、将apache-storm-1.0.0.tar.gz上传到storm安装目录
假设为:/home/usr/storm2、解压
将apache-storm-1.0.0.tar.gz解压:tar -zxvf apache-storm-1.0.0.tar.gz
3、重命名(非必需)
将解压后的目录命名为stormmv apache-storm-1.0.0 storm
4、配置storm.yaml
进入storm/conf目录,修改storm.yaml配置文件为如下内容:# zookeeper ip storm.zookeeper.servers: - "192.168.7.108" - "192.168.7.109" - "192.168.7.110" storm.zookeeper.port: 2181 storm.zookeeper.root: "/storm" #Nimbus H/A nimbus.seeds: ["storm01","storm02"] #Nimbus dir storm.local.dir: "/ztapp/usr/storm/wkdir" #supervisor worker port, 4 workers example supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703 |
绝大多数配置信息都是使用默认值,具体参考:
https://github.com/apache/storm/blob/v1.0.0/conf/defaults.yaml
在storm nimbus启动之后,wkdir目录结构如下:
storm@ydt-dsp-poc08:/ztapp/usr/storm/wkdir >du 4 ./nimbus/history 4 ./nimbus/inbox 12 ./nimbus 4 ./blobs 12 ./supervisor/isupervisor 4 ./supervisor/tmp 20 ./supervisor/localstate 40 ./supervisor |
5、进程启动
在192.168.7.111、192.168.7.112、192.168.7.113完成前面4步之后,按nimbus、supervisor的分布情况启动storm进程:192.168.7.111启动nimbus、supervisor、ui
./storm/bin/storm nimbus & ./storm/bin/storm supervisor & ./storm/bin/storm ui & |
./storm/bin/storm nimbus & ./storm/bin/storm supervisor & ./storm/bin/storm ui & |
./storm/bin/storm supervisor & |
6、验证
http://192.168.7.111:8080其他参考:
http://storm.apache.org/releases/1.0.0/Setting-up-a-Storm-cluster.html
http://storm.apache.org/releases/1.0.0/javadocs/org/apache/storm/Config.html
https://github.com/apache/storm/blob/v1.0.0/conf/defaults.yaml
相关文章推荐
- BZOJ2178: 圆的面积并
- struts2整合kindeditor有感
- Spring mvc + MyBatis 整合Shiro
- Java 中的成员内部类
- 浅入浅出---JQuery究竟是什么?
- 20135202闫佳歆--week 8 实验:理解进程调度时机跟踪分析进程调度与进程切换的过程--实验及总结
- 使用 gulp 搭建前端环境入门篇(转载)
- libsvm学习-1 libsvm-3.21在Python-3.4.4, Pycharm, windows环境下的安装过程
- MediaCodec解码到GLSurfaceView
- BZOJ 3130 SDOI2013 费用流
- poj-1003-Hangover
- 神经网络学习(不定期更新)
- 分数修改
- [插头DP自我总结]
- Android 偶遇小问题解决方案集合
- 前端大牛们都学过哪些东西?
- 线程-002-基本的线程机制
- Asp.net MVC中关于@Html标签Label、Editor使用
- 查看和修改mysql数据库的最大链接数据
- 关于FragmentLayout布局的位置问题