如何在Windows中运行MapReduce程序

原文地址

Windows上配置环境变量

解压Hadoop，然后把Hadoop的根目录配置到HADOOP_HOME环境变量里面

然后把HADOOP_HOME/lib和HADOOP_HOME/bin配置到path里面。

替换bin目录

要在Windows运行MapReduce，你首先需要编译Windows版的Hadoop的应用程序。然后把官网下载的Hadoop目录下面的bin目录替换成Windows下编译的Hadoop的bin目录。

关于这一点，我已经上传了自己编译好的hadoop-2.7.3的bin目录，可以从 http://download.csdn.net/detail/mrbcy/9758112下载。

我的环境是Win10 64位。如果跟我的不一样可以参考我的另一篇博客http://blog.csdn.net/mrbcy/article/details/55806809 自已编译即可。

在应用程序中包含正确的Jar包

原则上需要把hadoop-2.7.3/share/hadoop/下的common、hdfs、mapreduce、yarn下的jar包的基础包和它们的lib下的jar包都包含进来。

运行

现在可以在Windows运行MapReduce程序了。这里用http://blog.csdn.net/mrbcy/article/details/61455917中的计算PI来做例子。

输入数据是：

99999
999999
9999999
99999999

在运行设置里面配置运行参数，主要是任务的输入目录和输出目录，如下图所示：



然后点击运行，会看到控制台的输出，如下图所示：



最后看一下输出：

99999   3.1408314083140834
999999  3.1416111416111416
9999999 3.1412607141260716
99999999    3.1414984314149845