Hadoop下的调度工具
2018-02-27 13:00
183 查看
Hadoop下的调度工具
制作Azkaban作业调度,包含job、Flow之间的依赖关系,并成功执行:第一步:到相应的host4上su – Azkaban
第二步:建各个job.
第三步:根据需求先画出需求图:
Flow需求图:
整体需求图:
然后根据图片写job:
-----vi a.job
#a.job
type = command
command = echo “此时此刻的我想吟诗一首:念奴娇·赤壁怀古”
-----vi b.job
type = command
dependencies = a
command = echo “大江东去,浪淘尽,千古风流人物。”
-----vi c.job
type = command
dependencies = a
command = echo “故垒西边,人道是,三国周郎赤壁。”
-----vi d.job
type = command
dependencies = b
command = echo “乱石穿空,惊涛拍岸,卷起千堆雪。”
------vi e.job
type = command
dependencies = b
command = echo “江山如画,一时多少豪杰。”
-----vi f.job
type = command
dependencies = d,e
command = echo “遥想公瑾当年,小乔初嫁了(liǎo),雄姿英(yīng)发。”
-----vi g.job
type = command
dependencies =f,c
command = echo “羽扇纶(guān)巾,谈笑间,樯橹灰飞烟灭。”
------vi h.job
type = command
dependencies =g
command = echo “故国神游,多情应笑我,早生华(huā)发。人生如梦,一尊还酹(lèi)江月。”
把各个jiob做成zip格式:
把zip下载到桌面:
下载成功:
创建端口转接:
打开网页:
127.0.0.1:8081
先创建项目:
上传zip:
运行:
运行成功:
查看:
相关文章推荐
- Hadoop资源可视化、提高吞吐量的调度工具Pepperdata介绍
- hadoop集群监控工具ambari安装
- Twitter将开源MySQL/Hadoop转移工具
- Hadoop和大数据:60款顶级大数据开源工具
- 在Hadoop上运行SQL:程序员需知晓的13种数据工具
- Hadoop 管理工具HUE配置-filebrowser配置
- hadoop基础----hadoop实战(九)-----hadoop管理工具---CDH的错误排查(持续更新)
- Storm, Spark, Hadoop三个大数据处理工具谁将成为主流
- 在Hadoop上运行SQL:程序员需知晓的13种数据工具
- Hadoop2.0集群、Hbase集群、Zookeeper集群、Hive工具、Sqoop工具、Flume工具搭建总结
- Hadoop小集群上减少MR任务调度延迟
- MapR与Ubuntu携手 推免费版Hadoop工具
- Hadoop 性能测试工具
- linux学习笔记4:linux的任务调度,进程管理,mysql的安装和使用,ssh工具的使用,linux网络编程
- JAVA线程池管理及分布式HADOOP调度框架搭建
- Hadoop调度器及其工作方法
- hadoop日志分析系统二 第一部分 利用任务调度系统定期的把web系统所产生的日志文件导入到hdfs中
- Hadoop和大数据:60款顶级开源工具
- Hadoop(七)YARN的资源调度
- Hadoop中InputFormat分析——数据划分、调度、读取