Hadoop中HDFS及MapReduce相关测试
2014-11-15 14:36
399 查看
运行hadoop程序时,在建文件夹时提示:
mkdir:org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannotcreate directory /user/netlab312/jeff. Name node is in safemode.
解决的命令:
bin/hadoop dfsadmin -safemode leave #关闭safe mode
(1)创建两个文件
[root@hadoop hadoop]# echo "hello world" >/tmp/uestc_lxp/input/test1.txt
[root@hadoop hadoop]# echo "hello hadoop" > /tmp/uestc_lxp/input/test2.txt
(2)将文件移到hadoop的/ping目录下
[root@hadoop hadoop]# hadoop fs -put /tmp/uestc_lxp/input /* /ping/ //将input文件夹上传到hdfs的in文件夹下,默认的应该是在user作为base目录
(3)执行wordcount
./bin/hadoop jar hadoop-examples-0.20.203.0.jar wordcount /ping /ping/out 其中,/ping指的是输入文件的目录,后面的/ping/out指的是输出文件的目录,内部有相应的分片信息
mkdir:org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannotcreate directory /user/netlab312/jeff. Name node is in safemode.
解决的命令:
bin/hadoop dfsadmin -safemode leave #关闭safe mode
(1)创建两个文件
[root@hadoop hadoop]# echo "hello world" >/tmp/uestc_lxp/input/test1.txt
[root@hadoop hadoop]# echo "hello hadoop" > /tmp/uestc_lxp/input/test2.txt
(2)将文件移到hadoop的/ping目录下
[root@hadoop hadoop]# hadoop fs -put /tmp/uestc_lxp/input /* /ping/ //将input文件夹上传到hdfs的in文件夹下,默认的应该是在user作为base目录
(3)执行wordcount
./bin/hadoop jar hadoop-examples-0.20.203.0.jar wordcount /ping /ping/out 其中,/ping指的是输入文件的目录,后面的/ping/out指的是输出文件的目录,内部有相应的分片信息
相关文章推荐
- 近200篇云计算、虚拟化、Hadoop、MapReduce、HDFS等云计算相关资料整理下载
- 【Hadoop】Hadoop/Yarn中hdfs与mapreduce相关问题汇总
- 近200篇云计算、虚拟化、Hadoop、MapReduce、HDFS等云计算相关资料整理下载
- 【HDFS篇】eclipse下开发hadoop配置相关及测试HDFSDemo
- hadoop之HDFS/MapReduce的java接口简单测试
- 小白学习大数据测试之hadoop hdfs和MapReduce小实战
- 小白学习大数据测试之hadoop hdfs和MapReduce小实战
- 小白学习大数据测试之hadoop hdfs和MapReduce小实战
- 【Hadoop】Hadoop/Yarn中hdfs与mapreduce相关问题汇总
- hadoop-0.23.9安装以及第一个mapreduce测试程序
- 关于hadoop集群的简单性能测试——mapreduce性能,hive性能,并行计算分析(原创)
- 【hadoop】巧用MapReduce+HDFS,海量数据去重的五大策略
- hadoop,hdfs,mapreduce,hive,derby配置总结(待续)
- 云计算学习笔记005---Hadoop HDFS和MapReduce 架构浅析
- hadoop hdfs搭建 mapreduce环境搭建 wordcount程序简单注释
- Hadoop入门之HDFS与MapReduce
- Hadoop中HDFS和MapReduce节点基本简介
- Hadoop MapReduce 上利用Lucene实现分布式索引--测试主类
- Hadoop MapReduce之上传文件到HDFS
- 文件数据云计算学习笔记---Hadoop HDFS和MapReduce 架构浅析