Cygwin下Hadoop的安装与配置详解
2011-07-05 19:53
351 查看
Hadoop 支持 Linux 及 Windows 操作系统, 但其官方网站声明 Hadoop 的分布式操作在 Windows 上未做严格测试,建议只把 Windows 作为 Hadoop 的开发平台。在 Windows 环境上的安装步骤如下( Linux 平台类似,且更简单一些):
一、安装Cygwin
下载Cygwin,运行step.exe,选择从网络安装,选择安装路径和临时下载文件的存放路径,这里我将安装路径设为 F:/ Cygwin ->Next ,在下面的目录中搜索ssh,注意这里ssh一定要选中,在后面的分布式配置中虚拟主机之间是通过ssh连接的。安装完成之后,把Cgywin 的安装目录如 F:/Cygwin/bin 加到系统环境变量 PATH 中,这是因为运行 Hadoop 要执行一些 linux 环境下的脚本和命令。
二、安装Jdk
jdk的版本要求是1.5以上版本,最好是1.6,因为最新版的hadoop默认的是1.6的配置,在环境变量中配置JAVA_HOME ,我的jdk位置是D:/Program Files/Java/jdk1.6.0_10三、Hadoop
到 Hadoop 官方网站 http://hadoop.apache.org下载HadoopCore,目前 最新的版本是 0.21.0.每个版本之间都会有区别,我选择的是0.20.2版本, 将下载后的安装包解压到一个目录,本文假定解压到 F:/hadoop-0.20.2。
接下来开始配置,修改 conf/hadoop-env.sh 文件,在其中设置 JAVA_HOME
环境变量: export JAVA_HOME="D:/Program Files/Java/jdk1.6.0_10” (因为路径中 Program Files 中间有空格,一定要用双引号将路径引起来),注意如果这样配置在接下来仍会出现Java home is not set的错误的话,那么把export前面的#号去掉,最好直接去掉#以免麻烦。
至此,一切就绪,可以运行 Hadoop 了。以下的运行过程,需要启动 cygwin, 进入模拟 Linux 环境。在下载的 Hadoop Core 包中,带有几个示例程序并且已经打包成了 hadoop-0.20.2-examples.jar。其中有一个 WordCount 程序,功能是统计一批文本文件中各个单词出现的次数,我们先来看看怎么运行这个程序。Hadoop
共有三种运行模式: 单机(非分布式)模式,伪分布式运行模式,分布式运行模式,其中前两种运行模式体现不了 Hadoop 分布式计算的优势,并没有什么实际意义,但对程序的测试及调试很有帮助,我们先从这两种模式入手,了解基于 Hadoop 的分布式并行程序是如何编写和运行的。
相关文章推荐
- Hadoop---在window下的安装配置----基于cygwin的
- 教你Windows平台安装配置Hadoop2.5.2(不借助cygwin)
- hadoop配置文件详解、安装及相关操作
- hadoop配置文件详解,安装及相关操作
- Hadoop---在window下配置安装之cygwin的安装
- Hadoop---在window下的安装配置----基于cygwin的
- Hadoop2.6.2完全分布式集群HA模式安装配置详解
- Windows下Cygwin环境的Hadoop安装(2)- Hadoop安装和配置
- Hadoop详解(七)——Hive的原理和安装配置和UDF,flume的安装和配置以及简单使用,flume+hive+Hadoop进行日志处理
- 详解如何在Windows上安装与配置Hadoop
- Hadoop2.6.2完全分布式集群HA模式安装配置详解
- hadoop配置文件详解,安装及相关操作
- 无需Cygwin!Windows7 Hadoop0.20.2安装配置(单节点)
- 使用Cygwin模拟Linux环境安装配置运行基于单机的Hadoop
- hadoop配置文件详解、安装及相关操作
- hadoop配置文件详解、安装及相关操作
- hadoop的安装与配置方法详解
- hadoop配置文件详解、安装及相关操作 .
- hadoop配置文件详解、安装及相关操作
- Hadoop2.6.2完全分布式集群HA模式安装配置详解