您的位置:首页 > 运维架构

Hadoop中HDFS及MapReduce相关测试

2014-11-15 14:36 399 查看
运行hadoop程序时,在建文件夹时提示:

mkdir:org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannotcreate directory /user/netlab312/jeff. Name node is in safemode.

解决的命令:

bin/hadoop dfsadmin -safemode leave #关闭safe mode

(1)创建两个文件

[root@hadoop hadoop]# echo "hello world" >/tmp/uestc_lxp/input/test1.txt
[root@hadoop hadoop]# echo "hello hadoop" > /tmp/uestc_lxp/input/test2.txt
(2)将文件移到hadoop的/ping目录下

[root@hadoop hadoop]# hadoop   fs   -put  /tmp/uestc_lxp/input /*    /ping/    //将input文件夹上传到hdfs的in文件夹下,默认的应该是在user作为base目录

(3)执行wordcount

./bin/hadoop    jar     hadoop-examples-0.20.203.0.jar    wordcount   /ping   /ping/out      其中,/ping指的是输入文件的目录,后面的/ping/out指的是输出文件的目录,内部有相应的分片信息
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: