Hadoop运行错误:org.apache.hadoop.yarn.exceptions.YarnException
2018-03-03 11:24
507 查看
打包MapReduce程序为jar包后在Hadoop集群执行时出错:
原因:集群时间不一致造成的
解决:同步集群时间即可
同步步骤:
思路:比如集群有三台机器:node1,node2,node3,将node1作为时间服务器,其它两台与node1同步即可。
一、设置时间服务器:(node1中执行)
1、vi /etc/ntp.conf
注释掉restrict default kod nomodify notrap nopeer noquery(开启了ntp server 的功能),并添加:
restrict 192.168.245.0 mask 255.255.255.0 nomodify notrap
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
这里192.168.245.0是这三台机器所在的网段,使得同网段的机器可以与node1时间同步。后两行是让本机的ntpd和本地硬件时间同步
2、service ntpd restart
3、chkconfig ntpd on(开机启动)
此时,时间服务器就好了
二、在其它机器中同步(node2、node3中都执行)
1、service ntpd stop
2、chkconfig ntpd off
3、ntpdate node1
4、crontab -e,添加如下两行:
#synchronize time with node1
/5 * * * /usr/sbin/ntpdate nimbus >/dev/null 2>&1
保存退出
OK
原因:集群时间不一致造成的
解决:同步集群时间即可
同步步骤:
思路:比如集群有三台机器:node1,node2,node3,将node1作为时间服务器,其它两台与node1同步即可。
一、设置时间服务器:(node1中执行)
1、vi /etc/ntp.conf
注释掉restrict default kod nomodify notrap nopeer noquery(开启了ntp server 的功能),并添加:
restrict 192.168.245.0 mask 255.255.255.0 nomodify notrap
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
这里192.168.245.0是这三台机器所在的网段,使得同网段的机器可以与node1时间同步。后两行是让本机的ntpd和本地硬件时间同步
2、service ntpd restart
3、chkconfig ntpd on(开机启动)
此时,时间服务器就好了
二、在其它机器中同步(node2、node3中都执行)
1、service ntpd stop
2、chkconfig ntpd off
3、ntpdate node1
4、crontab -e,添加如下两行:
#synchronize time with node1
/5 * * * /usr/sbin/ntpdate nimbus >/dev/null 2>&1
保存退出
OK
相关文章推荐
- hadoop错误org.apache.hadoop.yarn.exceptions.YarnException Unauthorized request to start container
- hadoop错误org.apache.hadoop.yarn.exceptions.YarnException Unauthorized request to start container
- 错误:no such method error:org.apache.hadoop.yarn.proto.YarnProtos$LocalResourceProto.hashLong(J)I
- nodemanager启动报错Caused by: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved SHUTDOWN
- org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container
- org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService: mapreduce_shuffle do
- eclipse运行hadoop1版本错误如下 ClassNotFoundException:org.apache.hadoop.io.nativeio.NativeIO$POSIX$Stat
- org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container
- 运行hadoop程序时,有时候会报以下错误: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. N
- 从window中的eclipse中提交jar包到yarn框架运行,出现Exception from container-launch: org.apache.hadoop.util.Shell$
- 运行hadoop程序时,有时候会报以下错误: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Na
- 关于org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container
- Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/util/Apps Hadoop2.6.0编程问题与解决
- hadoop错误org.apache.hadoop.mapred.TaskAttemptListenerImpl Progress of TaskAttempt
- HBASE SHELL 错误NativeException: org.apache.hadoop.hbase.MasterNotRunningException: null
- ssm整合框架 idea运行出现错误 Request processing failed; nested exception is org.apache.ibatis.binding.BindingE
- spark on yarn 报 org.apache.hadoop.util.Shell$ExitCodeException: 问题
- org.apache.ibatis.exceptions.PersistenceException: 前言中没有内容 错误的正确解决方法
- hadoop错误org.apache.hadoop.util.DiskChecker$DiskErrorException Could not find any valid local directory for
- hadoop错误java.io.IOException at org.apache.hadoop.mapred.pipes.OutputHandler。。。