云计算Hadoop配置(二) ——单机伪分布配置

2.3.1 配置三个文件

1) 配置$HADOOP_HOME/conf/core-site.xml



图2-1 配置core-site.xml
原来文件是空的，只要在该文件中添加上面图2-1所示中标示部分的内容即可。如没有配置 hadoop.tmp.dir 参数,此时系统默认的临时目录 为:/tmp/hadoop/hadoop。而这个目录在每次重启后都会被干掉,必须重新执行format才行,否则会出错 。

2) 配置$HADOOP_HOME/conf/hdfs-site.xml

原来文件是空的，只要在该文件中添加图2-2标示部分的内容即可。



图2-2 配置hdfs-site.xml
3) 配置$HADOOP_HOME/conf/mapred-site.xml

在原文件中添加图2-3标示的内容即可。



图2-3 配置mapred-site.xml

2.3.2 格式化HDFS

进入Hadoop的HADOOP_HOME目录下面，运行命令：

$ bin/hadoop namenode –format

2.3.3 启动hadoop监护进程

进入Hadoop的HADOOP_HOME目录下面，运行命令：

$ bin/start-all.sh



图2-4 启动监护进程

2.3.4 复制输入文件到hdfs

进入Hadoop的HADOOP_HOME目录下面，运行命令：

$ bin/hadoop dfs –mkdir test-in //在hdfs文件系统下创建一个test-in的文件夹

$ bin/hadoop dfs –copyFromLocal /home/administrator/test_file.txt test-in //将本地文件test-file.txt复制到hdfs系统的test-in文件夹中

2.3.5 运行简单例子

$ bin/hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount test-in test-out

//将hdfs文件系统中的test-in作为输入目录，test-out目录作为结果的输出目录



图2-5 运行实例

2.3.6 将结果输出

$ bin/hadoop dfs –cat test-out/part-r-00000

//将hdfs文件系统中的test-out中的文件part-r-00000中的结果输出



图2-6 输出结果

2.3.7 停止hadoop系统

$ bin/stop-all.sh

//停止Namenode,JobTracker,Datanode及Secondarynamenode



图2-7 停止Hadoop系统