大数据学习-遇到问题整理
2016-10-11 11:16
288 查看
1.DataNode无法启动(其他服务完全正常)
这一般是因为NameNode和DataNode的namespaceID不一致,产生原因一般是由于两次或两次以上的格式化NameNode造成的。
我出现这个问题的场景是用一个新机器重新配置并替换掉了原来的NameNode,初始化后就出现了这个问题
有两种方法可以解决
①删除DataNode版本文件然后重新NameNode格式化
![](https://images2015.cnblogs.com/blog/390726/201610/390726-20161011111056164-408916976.png)
②修改每个DataNode的namespaceID(位于Hadoop安装目录/tmp/hdfs/data/current/VERSION文件中)或修改NameNode的namespaceID,使其一致。
2.System times on machines may be out of sync
时间未同步
解决方法就是在NameNode上重设时间
3.找不到类class org.apache.sqoop.Sqoop 或【Error: Could not find or load main class org.apache.sqoop.Sqoop】
方法①:将sqoop-x.x.x.jar文件拷贝到$HADOOP_HOME/lib 目录。如果方法①不起作用,则可以试试方法②
方法②:修改 $SQOOP_HOME/bin/sqoop 脚本:
exec ${HADOOP_COMMON_HOME}/bin/hadoop org.apache.sqoop.Sqoop "$@"
↓↓↓
exec ${HADOOP_COMMON_HOME}/bin/hadoop jar $SQOOP_HOME/sqoop-x.x.x.jar org.apache.sqoop.Sqoop "$@"
来源:找不到类class org.apache.sqoop.Sqoop
这一般是因为NameNode和DataNode的namespaceID不一致,产生原因一般是由于两次或两次以上的格式化NameNode造成的。
我出现这个问题的场景是用一个新机器重新配置并替换掉了原来的NameNode,初始化后就出现了这个问题
有两种方法可以解决
①删除DataNode版本文件然后重新NameNode格式化
[hadoop@Slave1 hadoop]$ cd /usr/local/hadoop/ #hadoop安装目录 [hadoop@Slave1 hadoop]$ rm tmp/dfs/data/current/VERSION
![](https://images2015.cnblogs.com/blog/390726/201610/390726-20161011111056164-408916976.png)
②修改每个DataNode的namespaceID(位于Hadoop安装目录/tmp/hdfs/data/current/VERSION文件中)或修改NameNode的namespaceID,使其一致。
2.System times on machines may be out of sync
时间未同步
解决方法就是在NameNode上重设时间
date -s "2016-10-11 12:00:00" #设成当前时间即可
3.找不到类class org.apache.sqoop.Sqoop 或【Error: Could not find or load main class org.apache.sqoop.Sqoop】
方法①:将sqoop-x.x.x.jar文件拷贝到$HADOOP_HOME/lib 目录。如果方法①不起作用,则可以试试方法②
方法②:修改 $SQOOP_HOME/bin/sqoop 脚本:
exec ${HADOOP_COMMON_HOME}/bin/hadoop org.apache.sqoop.Sqoop "$@"
↓↓↓
exec ${HADOOP_COMMON_HOME}/bin/hadoop jar $SQOOP_HOME/sqoop-x.x.x.jar org.apache.sqoop.Sqoop "$@"
来源:找不到类class org.apache.sqoop.Sqoop
相关文章推荐
- 关于EXP-00056: 遇到 ORACLE 错误 1455 ORA-01455: 转换列溢出整数数据类型 EXP-00000: 导出终止失败 的问题解决方法整理
- C++ 学习拾遗 —— 点滴记录C++学习过程中遇到的问题以及整理
- python学习中遇到的问题整理
- OpenCV学习笔记(4)——VS环境下调试遇到的问题整理(不断更新……)
- 深度学习中大数据整理问题
- C语言:近日学习遇到的问题整理
- 学习springMVC框架配置遇到的问题-数据写入不进数据库时的处理办法
- QTP学习中遇到的问题整理
- 整理iOS工作学习过程中遇到的各种问题
- ES-MongoDB学习1_elasticsearch与mongodb分布式集群环境下数据同步以及遇到的相应问题解答
- 学习线性表的数据存储结构时所遇到的问题
- 最近整理了个js,解决了excel导入读取数据遇到的种种问题
- 整理学习libnet时遇到的问题
- centos最新版solr5.3.1安装和数据整理以及遇到的问题解答
- 在学习git的过程中,遇到如下问题,特整理如下:
- matlab学习中遇到的问题整理
- 一些学习中遇到的问题整理
- 在录入数据时可能会遇到的问题--有道笔记的整理
- 大数据学习--使用Hadoop2.6.0遇到的相关问题
- 面试的时候经常遇到数据类型字节大小,字节对齐的问题,现整理如下