Hadoop 伪分布模式搭建

之前我有一篇博客是Hadoop单机模式，运行在本地，数据来源于本地

https://blog.csdn.net/happytjl/article/details/89041628

这篇是伪分布模式，运行在本地，数据来源于HDFS文件系统

首先，我们需要配置两个文件。一个是core-site.xml,另一个是hdfs-site.xml

配置前我们需要创建一个data/tmp临时目录，为我们配置core-site.xml做铺垫。

1、core-site.xml配置

hadoop-senior.ibeifeng. 4000 com 是我的主机名，配置了主机名和IP的映射，所以可以直接使用主机名表示本机。

具体设置主机名和IP 看博客 https://blog.csdn.net/happytjl/article/details/89042381

hadoop.tmp.dir   下的value填入我们上面创建目录的路径

2、hdfs-site.xml配置

3、配置成功后，需要将namenode 格式化，因为namenode开始的时候是空的，但是我们hdfs系统是有数据的，

所以我们格式化生成数据。

4.格式化成功显示如下

5、sbin/hadoop-daemon.sh start namenode   //启动namenode

      sbin/hadoopo-daemon.sh start datanode  //启动datanode

      jps   //查看启动了哪些

   打开web界面  http://hadoop-senior.ibeifeng.com:50070

6、 bin/hdfs dfs -mkdir -p /user/beifeng /input      //在hdfs文件系统下创建/user/beifeng/input文件夹

       ls            //查看本机hadoop-2.5.0的文件，wc.text是我们单机模式下

7、bin/hdfs dfs -put wc.text /user/beifeng/input     //将本地的wc.text文件上传到hdfs文件系统 /user/beifeng/input目录

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/beifeng/input/ /user/beifeng/output     //测试hadoop伪分布

8、bin/hdfs dfs -ls /user/beifeng/          //查看hdfs文件系统/user/beifeng/下有哪些文件 ，发现多了一个output文件，就是我们上面测试所生成的文件

bin/hdfs dfs -cat /user/beifeng/output/part*    //查看output下的part开头的文件内容，内容如下

到这里就说明我们的伪分布搭建成功啦~