Storm集群已经部署、配置完毕,向集群提交任务。
2018-02-11 13:03
274 查看
原文:http://www.it610.com/article/1961490.htm启动Storm的所有后台进程。和Zookeeper一样,Storm也是快速失败(fail-fast)的系统,这样Storm才能在 任意时刻被停止,并且当进程重启后被正确地恢复执行。这也是为什么Storm不在进程内保存状态的原因,即使Nimbus或Supervisors被重 启,运行中的Topologies不会受到影响。以下是启动Storm各个后台进程的方式:Nimbus: 在Storm主控节点上运行”bin/storm nimbus >/dev/null 2>&1 &”启动Nimbus后台程序,并放到后台执行;Supervisor: 在Storm各个工作节点上运行”bin/storm supervisor >/dev/null 2>&1 &”启动Supervisor后台程序,并放到后台执行;UI: 在Storm主控节点上运行”bin/storm ui >/dev/null 2>&1 &”启动UI后台程序,并放到后台执行,启动后可以通过http://{nimbus host}:8080观察集群的worker资源使用情况、Topologies的运行状态等信息。注意事项:启动Storm后台进程时,需要对conf/storm.yaml配置文件中设置的storm.local.dir目录具有写权限。Storm后台进程被启动后,将在Storm安装部署目录下的logs/子目录下生成各个进程的日志文件。经测试,Storm UI必须和Storm Nimbus部署在同一台机器上,否则UI无法正常工作,因为UI进程会检查本机是否存在Nimbus链接。为了方便使用,可以将bin/storm加入到系统环境变量中。至此,Storm集群已经部署、配置完毕,可以向集群提交拓扑运行了。向集群提交任务1. 启动Storm Topology:storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3
其中,allmycode.jar是包含Topology实现代码的jar包,org.me.MyTopology的main方法是Topology的入口,arg1、arg2和arg3为org.me.MyTopology执行时需要传入的参数。2. 停止Storm Topology:storm kill {toponame}
其中,{toponame}为Topology提交到Storm集群时指定的Topology任务名称。启动Storm各个后台进程加上nohup命令即可!
其中,allmycode.jar是包含Topology实现代码的jar包,org.me.MyTopology的main方法是Topology的入口,arg1、arg2和arg3为org.me.MyTopology执行时需要传入的参数。2. 停止Storm Topology:storm kill {toponame}
其中,{toponame}为Topology提交到Storm集群时指定的Topology任务名称。启动Storm各个后台进程加上nohup命令即可!
相关文章推荐
- storm集群部署和配置过程详解
- Storm笔记整理(三):Storm集群安装部署与Topology作业提交
- storm集群部署和配置过程详解
- storm集群部署和配置过程详解
- storm集群部署和配置过程详解
- Storm(二):集群部署配置
- storm集群部署和配置过程详解
- Storm集群提交任务
- quartz分布式集群部署并且可视化配置job定时任务
- storm环境部署篇2 - 集群配置
- kubernetes1.5.1集群安装部署指南之集群配置篇
- storm集群的安装和部署
- Solr集群配置以及部署
- storm-(1)集群安装及部署
- Storm系列(一)集群的安装配置
- [置顶] Jstorm安装与集群环境搭建(storm集群配置类似)
- Spark集群部署和Job提交思想
- storm的开发环境部署配置教程
- spark core源码分析1 集群启动及任务提交过程
- windows eclipse远程连接hadoop集群并提交任务运行