Hadoop集群环境测试-WordCount.java-上篇
2013-02-01 15:56
204 查看
一. 验证hadoop的hdfs文件系统功能是否正常
安装好Hadoop后,其hdfs文件系统是空的。Hdfs实现文件的管理操作。此时,查看hdfs目录,将出现“cannot access …”错误。如下:
1.
从linux系统中将文件copy到hadoop的hdfs中。
首先,在linux系统中常见input(或file)文件夹,并在其中创建test1.txt和test2.txt(也可以创建多个),即:
接着,将这些文件上传到hdfs文件系统中,如下。
析:dfs程序带的一个参数,主要表示要操作的是dfs文件系统。-put表示要“上传”这个动作。./表示上传的源文件路径,该例中,表示要将file目录下的所有文件上传,所以是./。input表示上传文件的目的地址,即此时上传至hdfs的主目录下的input下。
显示hdfs文件系统目录:
显示input文件夹内容:
删除input文件夹:
安装好Hadoop后,其hdfs文件系统是空的。Hdfs实现文件的管理操作。此时,查看hdfs目录,将出现“cannot access …”错误。如下:
1.
从linux系统中将文件copy到hadoop的hdfs中。
首先,在linux系统中常见input(或file)文件夹,并在其中创建test1.txt和test2.txt(也可以创建多个),即:
接着,将这些文件上传到hdfs文件系统中,如下。
析:dfs程序带的一个参数,主要表示要操作的是dfs文件系统。-put表示要“上传”这个动作。./表示上传的源文件路径,该例中,表示要将file目录下的所有文件上传,所以是./。input表示上传文件的目的地址,即此时上传至hdfs的主目录下的input下。
显示hdfs文件系统目录:
显示input文件夹内容:
删除input文件夹:
相关文章推荐
- Hadoop集群环境测试-WordCount.java-下篇
- 第122讲:实战WordCount测试Hadoop集群环境学习笔记
- Linux CentOS 7下在Hadoop2.7.3全分布式环境编译运行WordCount.java
- HADOOP 分布式集群环境下第一个mapReduce程序—WordCount
- Windows环境下eclipse提交到远程wordcount程序报错 at org.apache.hadoop.util.Shell.runCommand(Shell.java:545)
- hadoop学习之HDFS(2.5):windows下eclipse远程连接linux下的hadoop集群并测试wordcount例子
- hadoop学习之HDFS(2.5):windows下eclipse远程连接linux下的hadoop集群并测试wordcount例子
- Hadoop2.5.1在Ubuntu14中的伪分布配置+wordcount测试+eclipse环境配置
- IDEA【基本配置1】配置SBT 和 scala 并在spark环境中进行wordcount测试(spark集群运行模式)
- hadoop学习之HDFS(2.1):linux下eclipse中配置hadoop-mapreduce开发环境并运行WordCount.java程序
- Hadoop集群(第6期)_WordCount运行详解
- hadoop 集群运行WordCount示例程序
- 大数据之Hadoop平台(二)Centos6.5(64bit)Hadoop2.5.1伪分布式安装记录,wordcount运行测试
- Eclipse下运行Hadoop测试WordCount
- hadoop2.7.3 编译运行WordCount.java
- CentOS系统下的Hadoop集群(第6期)_WordCount运行详解
- Hadoop集群_WordCount运行详解
- ubuntu系统下eclipse配置hadoop开发环境并运行wordcount程序
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop伪分布模式并运行Wordcount示例(1)
- Hadoop MapReduce案例word count本地环境运行时遇到的一些问题