您的位置:首页 > 运维架构

Ubuntu 14.04 配置 Hadoop 2.7.2 可能遇到的问题

2016-03-29 21:58 357 查看
基本配置方案:

参见:http://dblab.xmu.edu.cn/blog/install-hadoop/

与配置2.6.0无异

可能存在的问题:

1.openssh无法安装:

1)检查网络连接是否正常 firefox是否可以正常打开网页

2)更新apt源 过程较慢 但是为保证之后的顺利进行 请务必进行此操作

sudo apt-get update

2. 64bit的Linux系统安装了32bit Hadoop:

1)出现:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

   本人未作处理,在伪分布式系统下成功运行wordcount示例程序,但在完全分布式系统下是否会有影响未知。

2) 1)中提及的警告不影响配置Eclipse

配置使用Eclipse编译运行Hadoop程序:

参见:http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/

与配置2.6.0无异

可能存在的问题:

1.Ubuntu通过软件中心下载Eclipse太慢:

1)可以在其他源下载Eclipse 版本似乎没有限制 Linux 32bit/64bit均可

2)安装过程仍参照教程CentOS的安装方法

2.安装Eclipse后没有显示HDFS:

1)参照教程CentOS的安装方法,在配置完Preference后会出现HDFS

3.创建完WordCount工程后需要指定Main Type

1)安装Run Configurations方法,在Main栏下的 main class 填入 org.apache.hadoop.examples.WordCount即可

3.执行完WordCount工程后 HDFS没有出现output文件夹

1)右击HDFS图标,点击重新连接(reconnect)就会出现output文件夹

2)生成output文件夹后,如果要再次运行程序需要将原有文件夹删除

./bin/hdfs dfs -rm -r output
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  hadoop ubuntu linux 配置