您的位置:首页 > 大数据 > 人工智能

azkaban做mr调度时报错 Call From SparkMaster/192.168.237.128 to 0.0.0.0:10020 failed on connection except

2018-02-12 11:06 477 查看
做点击流项目时,数据清洗后生成pageviews模型和visit模型,需要运行两次mr程序,所以在azkaban中把他俩作为一个job提交,先运行生成pv的mr程序,再去运行生成visit的mr程序(job中添加depandence依赖关系),但是在生成pv时,查看azkaban的web界面中flow的details,发现报错(虽然报错但是生成pv的mr程序运行结果是对的,但是因为前一个任务报错,azkaban会认为执行失败,而没办法去执行下一个任务visit,所以要这个错误解决。也可以把生成pv和visit分成两个job提交给azkaban。):



原因是需要访问hadoop的historyserver,而hadoop的historyserver服务没有启动,所以将其启动即可:在namenode上执行命令:mr-jobhistory-daemon.sh start historyserver   历史服务器 用于记录hadoop运行的日志信息

 
还有,azkaban经常出现各种bug,有时页面刷新不出来,运行时卡顿啊。。。。。但是不影响运行结果。。。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐