您的位置:首页 > 其它

azkaban上传时卡在那不动

2017-06-30 11:35 197 查看
这是因为你的job依赖层数太多引起的,一般到8层的时候上传就很慢了,因为azkaban会把你上传的文件解析成图边的数据存起来。

       解决办法:使用flow

flow_1.job:

type=flow
flow.name=hive_label_1


your.job

type=command
command=sh /path/shell.sh
dependencies=flow_1


将你的调度分为多个flow,job依赖flow就可以解决上传卡死的问题
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  azkaban