linux系统安装hadoop-1.2.1遇到的问题【linux本机上的主机名和域名问题、不可以使用默认的localhost;完全没有启动】
2015-03-25 11:21
821 查看
参考博客:
【问题一:主机名和域名配置文件问题及hadoop的配置文件etc/hadoop/core-site.xml导致hadoop彻底不能启动】
博客:hadoop1.2.1伪分布模式配置
/article/4607252.html
博客:在对HDFS格式化,执行hadoop namenode -format命令时出现未知的主机名的问题
/article/3875410.html
【问题二:datanode问题】:
博客:Hadoop 启动节点Datanode失败解决:
http://www.linuxidc.com/Linux/2014-11/108822.htm
博客:关于namenode namespaceID与datanode namespaceID 不一致导致datanode无法启动的问题:
http://f.dataguru.cn/thread-24378-1-1.html
=========================================================================================================
主机名问题:hostname;】
修改主机名位置:【共三个地方】
1、/etc/sysconfig/network中修改hostname;
2、/etc/hosts
3、还有Windows中的hosts文件:添加“ip 域名”,用于外面访问!
原理:
我们通过执行hostname命令可以看到:
[shirdrn@localhost bin]# hostname
localhost.localdomain
也就是说,Hadoop在格式化HDFS的时候,通过hostname命令获取到的主机名是localhost.localdomain,然后在/etc/hosts文件中进行映射
的时候,没有找到,看下我的/etc/hosts内容:
[root@localhost bin]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1 localhost localhost
192.168.1.103 localhost localhost
也就说,通过localhost.localdomain根本无法映射到一个IP地址,所以报错了。
此时,我们查看一下/etc/sysconfig/network文件:
NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=localhost.localdomain
可见,执行hostname获取到这里配置的HOSTNAME的值。
解决办法:
修改/etc/sysconfig/network中HOSTNAME的值为localhost,或者自己指定的主机名,保证localhost在/etc/hosts文件中映射为正确的IP地
址,然后重新启动网络服务:
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------
【hadoop安装目录下的/conf/core-site.xml文件的配置问题:】
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
</property>
</configuration>
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
【datanode没有启动问题:】
导致原因:namenode和datanode的namespaceID不一致
解决办法【手动修改之后无效,一气之下,把name和data目录都删除,重新格式化namenode】:
1、直接删除name文件夹和data文件夹,重新格式化namenode
./bin/hadoop namenode -format
2、./bin/hadoop-daemon.sh start datanode
3、jps查看对应节点的进程是否启动
参考博客:
【问题一:主机名和域名配置文件问题及hadoop的配置文件etc/hadoop/core-site.xml导致hadoop彻底不能启动】
博客:hadoop1.2.1伪分布模式配置
/article/4607252.html
博客:在对HDFS格式化,执行hadoop namenode -format命令时出现未知的主机名的问题
/article/3875410.html
【问题二:datanode问题】:
博客:Hadoop 启动节点Datanode失败解决:
http://www.linuxidc.com/Linux/2014-11/108822.htm
博客:关于namenode namespaceID与datanode namespaceID 不一致导致datanode无法启动的问题:
http://f.dataguru.cn/thread-24378-1-1.html
=========================================================================================================
主机名问题:hostname;】
修改主机名位置:【共三个地方】
1、/etc/sysconfig/network中修改hostname;
2、/etc/hosts
3、还有Windows中的hosts文件:添加“ip 域名”,用于外面访问!
原理:
我们通过执行hostname命令可以看到:
[shirdrn@localhost bin]# hostname
localhost.localdomain
也就是说,Hadoop在格式化HDFS的时候,通过hostname命令获取到的主机名是localhost.localdomain,然后在/etc/hosts文件中进行映射
的时候,没有找到,看下我的/etc/hosts内容:
[root@localhost bin]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1 localhost localhost
192.168.1.103 localhost localhost
也就说,通过localhost.localdomain根本无法映射到一个IP地址,所以报错了。
此时,我们查看一下/etc/sysconfig/network文件:
NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=localhost.localdomain
可见,执行hostname获取到这里配置的HOSTNAME的值。
解决办法:
修改/etc/sysconfig/network中HOSTNAME的值为localhost,或者自己指定的主机名,保证localhost在/etc/hosts文件中映射为正确的IP地
址,然后重新启动网络服务:
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------
【hadoop安装目录下的/conf/core-site.xml文件的配置问题:】
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
</property>
</configuration>
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
【datanode没有启动问题:】
导致原因:namenode和datanode的namespaceID不一致
解决办法【手动修改之后无效,一气之下,把name和data目录都删除,重新格式化namenode】:
1、直接删除name文件夹和data文件夹,重新格式化namenode
./bin/hadoop namenode -format
2、./bin/hadoop-daemon.sh start datanode
3、jps查看对应节点的进程是否启动
相关文章推荐
- 解决使用Ghost XP SP3系统安装IIS5.1没有默认网站的问题
- linux(ubuntu)hadoop系统迁移或使用新主机产生问题
- linux系统安装时和使用时遇到的问题
- vm14.0安装黑苹果遇到的几个问题(1系统选项没有苹果 2启动虚拟机之后 黑屏 3进入boot manager界面没反应)
- bt5全称是Back Track five,是继BT3,BT4之后的最新版,这是一个linux环境的便携系统,可以放到U盘或者硬盘中启动,对本身硬盘没有影响,无需在本地安装。
- linux系统安装和使用SVN经验和遇到的问题
- Linux:安装双系统(Win7+Ubuntu)后,Ubuntu正常,Win7无法启动,有需要的朋友可以参考下
- 使用InstallShield2010_SP1打包,在64位机器安装时文件没有安装到正确的系统目录下的问题
- compass 使用过程遇到的问题(linux 系统下)
- 使用U盘制作linux启动盘,并且成功安装Linux系统后,拔掉无法再次启动linux,修复引导区到硬盘
- 在linux下使用wine安装source insight遇到的问题
- ubuntu12.04服务器版本hadoop 1.2.1集群安装遇到问题总结
- Linux问题解决_arch系统安装完没有声音
- 使用U盘安装win7系统,遇到“无法定位现有系统分区”问题
- 使用U盘安装win7系统,遇到“无法定位现有系统分区”问题
- linux系统使用中遇到的问题
- 安装jdk后使用Eclipse遇到无法启动问题解决办法
- 解决虚拟机(linux系统)ping 不同主机,主机可以ping通虚拟机的问题
- Windows下使用命令行创建可启动U盘(可以安装系统的U盘)
- 解决主机是win8/8.1 ,安装VMware虚拟机,使用校园出校器,连接宽带,里面的系统连不上网 问题