hadoop集群搭建过程中遇到的问题
2016-12-21 18:44
246 查看
在安装配置Hadoop集群的过程中遇到了很多问题，有些是配置导致的，有些是linux系统本身的问题造成的，现在总结如下。
1. hdfs namenode -format出现错误：hdfs namenode format cannot load main class
请检查环境变量HADOOP_HOME的设置是否正确，通常基于文件/etc/profile
2. sbin/start-dfs.sh 启动dfs过程中出现错误： call to localhost/127.0.0.1:9000 failed on connection exception
请查看log中启动的namenode的ip与预期的是否一致，如果不一致，需要注释掉/etc/hosts中localhost和:::1部分
3. 使用jps命令发现没有namenode的进程
请参考第二个问题，并进行解决
4. 使用lsof -i:9000命令发现9000端口没有被监听
请参考第二个问题，并进行解决
5. 不能访问hdfs://master:9000
请参考第二个问题，并进行解决
6. 配置ssh免密码登录的时候不能成功
请使用root账号进行操作
7. 环境变量到底放在哪里？/etc/bashrc, /etc/profile, ~/.bashrc, ~/.profile
前面两个是全局的，一般情况下hadoop相关的配置需要放在这里；
后面两个是user based的，并且可以重写前面两个中相同的环境变量，建议用户级别的放在这里。
1. hdfs namenode -format出现错误：hdfs namenode format cannot load main class
请检查环境变量HADOOP_HOME的设置是否正确，通常基于文件/etc/profile
2. sbin/start-dfs.sh 启动dfs过程中出现错误： call to localhost/127.0.0.1:9000 failed on connection exception
请查看log中启动的namenode的ip与预期的是否一致，如果不一致，需要注释掉/etc/hosts中localhost和:::1部分
3. 使用jps命令发现没有namenode的进程
请参考第二个问题，并进行解决
4. 使用lsof -i:9000命令发现9000端口没有被监听
请参考第二个问题，并进行解决
5. 不能访问hdfs://master:9000
请参考第二个问题，并进行解决
6. 配置ssh免密码登录的时候不能成功
请使用root账号进行操作
7. 环境变量到底放在哪里？/etc/bashrc, /etc/profile, ~/.bashrc, ~/.profile
前面两个是全局的，一般情况下hadoop相关的配置需要放在这里；
后面两个是user based的，并且可以重写前面两个中相同的环境变量，建议用户级别的放在这里。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- hadoop 1.x集群搭建及搭建过程遇到的问题总结
- Kubernetes集群搭建过程中遇到的问题
- 基于docker搭建hadoop集群环境中遇到的一些问题
- spark集群详细搭建过程及遇到的问题解决（三）
- spark集群详细搭建过程及遇到的问题解决（二）
- centos6.5安装hadoop集群过程及遇到的问题
- Kubernetes集群搭建过程中遇到的问题
- Hadoop集群搭建过程中的常见问题（一）
- Hadoop集群搭建过程问题总结
- redis集群搭建 以及搭建过程中遇到的问题
- 【Database-cluster】mycat集群搭建过程中遇到的几个问题
- hadoop集群搭建过程中所遇问题总结
- hadoop 搭建过程中遇到的问题
- Hadoop集群搭建过程中DataNode与TaskTracker节点的问题
- 搭建hadoop伪集群时遇到的datanode不启动的问题
- Hadoop完全分布式搭建过程中遇到的问题小结
- hadoop伪分布式集群搭建遇到的问题
- Hadoop集群搭建过程中遇到的那些事
- Hadoop1.2.1+Zookeeper3.4.5+HBase0.94.18完全分布式集群配置过程中遇到的问题
- Hadoop集群搭建过程中的常见问题（二）