Hadoop 运行wordcount案例

启动dfs

[hadoop@master-hadoop hadoop-2.4.1]$sbin/start-dfs.sh

启动yarn 资源集群管理

[hadoop@master-hadoop hadoop-2.4.1]$sbin/start-yarn.sh

启动历史服务

[hadoop@master-hadoop hadoop-2.4.1]$sbin/mr-jobhistory-daemon.shstart historyserver

查看系统进程

[hadoop@master-hadoop hadoop-2.4.1]$jps



注意：

 NameNode 存储元数据

 DataNode  存储数据

 SecondaryNameNode  辅助namenode进行集群管理

 ResourceManager   管理集群资源

 NodeManager   负责ResourceManager申请资源

 Jps  查看系统进程

http://master-hadoop.dragon.org:50070/dfshealth.jsp





删除当前wc.txt文件

[hadoop@master-hadoop hadoop-2.4.1]$bin/hdfs dfs -rm /test/wc.txt

删除当前目录下所有的文件

[hadoop@master-hadoop hadoop-2.4.1]$ bin/hdfs dfs -rm /out2/*

查看文件是否被删除了！

[hadoop@master-hadoop hadoop-2.4.1]$bin/hdfs dfs -ls /test/

删除目录test

[hadoop@master-hadoop hadoop-2.4.1]$bin/hdfs dfs -rmdir /test

查看是否存在目录test

[hadoop@master-hadoop hadoop-2.4.1]$bin/hdfs dfs -ls /

 

创建目录test

[hadoop@master-hadoop hadoop-2.4.1]$bin/hdfs dfs -mkdir /test

编辑个空文件
[hadoop@master-hadoop hadoop-2.4.1]# touch wc.input
编写这个文件
[hadoop@master-hadoop hadoop-2.4.1]# vi wc.input
将这个文件上传到hdfs /test/中
[hadoop@master-hadoophadoop-2.4.1]$ bin/hdfs dfs -put ./wc.input /test/

 

运行wordcount案例输入，输出
[root@master-hadoop hadoop-2.4.1]# bin/yarn jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /test  /out1



http://master-hadoop.dragon.org:19888/jobhistory/job/job_1488239177698_0001/



 [hadoop@master-hadoop hadoop-2.4.1]$ bin/hdfsdfs -ls /out1

Found 2 items

-rw-r--r--  1 hadoop supergroup          02017-02-27 08:28 /out2/_SUCCESS

-rw-r--r--  1 hadoop supergroup         512017-02-27 08:28 /out2/part-r-00000

 

查看/test/output/part-r-00000文件的统计的单词个数
[hadoop@master-hadoophadoop-2.4.1]$ bin/hdfs dfs -text /out1/part-r-00000

hadoop 2

hdfs   1

hello  1

http://master-hadoop.dragon.org:50075/browseDirectory.jsp?namenodeInfoPort=50070&dir=/&nnaddr=192.168.23.128:9000

源文件



输出文件



查看统计单词的个数



停止dfs

[hadoop@master-hadoop hadoop-2.4.1]$ sbin/stop-dfs.sh

停止yarn

[hadoop@master-hadoop hadoop-2.4.1]$ sbin/stop-yarn.sh

停止jobhistory

[hadoop@master-hadoop hadoop-2.4.1]$sbin/mr-jobhistory-daemon.sh stop historyserver