hadoop 1.x 伪分布式部署及windows开发环境搭建
2014-11-04 14:47
549 查看
1、hadoop 1.x伪分布式部署
关于hadoop的部署,网上能搜到的帖子一大推,部署起来也比较简单,这里我简要介绍一下部署过程中的重难点
1.1、环境介绍
1、linux机器:centos 6.0 Linux version 2.6.32-71.el6.x86_64
2、hadoop安装包:这里选0.20.2,hadoop权威指南第2版是用的这个hadoop版本。
这里提供一个镜像下载地址:(突然找不到了...暂时先不写了)
3、jdk 必须采用1.6及以上版本 我用的是jdk-6u45-linux-x64.bin 在oracle官网上下的
1.2、 jdk安装
1、将jdk-6u45-linux-x64.bin 拷贝到任意目录,我拷贝到/opt下
2、用"./jdk-6u45-linux-x64.bin"运行jdk安装文件,运行完后在当前目录下会生成一个“jdk1.6.0_45”目录
3、配置JAVA_HOME
vim /etc/profile
在文件末尾加上以下配置,wq保存。注意JAVA_HOME的值根据jdk实际安装路径确定。
export JAVA_HOME=/opt/jdk1.6.0_45
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH
4、用“java -version”命令查看jdk安装情况,如下则表示安装成功
[root@jiaoshou opt]# java -version
java version "1.6.0_45"
Java(TM) SE Runtime Environment (build 1.6.0_45-b06)
Java HotSpot(TM) 64-Bit Server VM (build 20.45-b01, mixed mode)
1、3 hadoop伪分布式部署
这里先不写了,写了前面那些,感觉边回忆边写不可靠,下次有时间重新搭一个环境,边搭建边写
2、windows 开发环境配置
1、jdk版本1.6以上
2、将hadoop安装包解压到windows机器上
3、安装hadoop插件到Eclipse,注意:很多文章说必须要用hadoop安装包中的hadoop-0.20.2-eclipse-plugin.jar 这个jar包,但实际上不行,用这个jar包访问hdfs没有问题,但是运行MapReduce程序时,点“run
on hadoop” 不起作用,在http://www.cnblogs.com/end/archive/2012/11/22/2782903.html网页上找到了解决办法,应该是这个jar包有问题。
关于hadoop的部署,网上能搜到的帖子一大推,部署起来也比较简单,这里我简要介绍一下部署过程中的重难点
1.1、环境介绍
1、linux机器:centos 6.0 Linux version 2.6.32-71.el6.x86_64
2、hadoop安装包:这里选0.20.2,hadoop权威指南第2版是用的这个hadoop版本。
这里提供一个镜像下载地址:(突然找不到了...暂时先不写了)
3、jdk 必须采用1.6及以上版本 我用的是jdk-6u45-linux-x64.bin 在oracle官网上下的
1.2、 jdk安装
1、将jdk-6u45-linux-x64.bin 拷贝到任意目录,我拷贝到/opt下
2、用"./jdk-6u45-linux-x64.bin"运行jdk安装文件,运行完后在当前目录下会生成一个“jdk1.6.0_45”目录
3、配置JAVA_HOME
vim /etc/profile
在文件末尾加上以下配置,wq保存。注意JAVA_HOME的值根据jdk实际安装路径确定。
export JAVA_HOME=/opt/jdk1.6.0_45
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH
4、用“java -version”命令查看jdk安装情况,如下则表示安装成功
[root@jiaoshou opt]# java -version
java version "1.6.0_45"
Java(TM) SE Runtime Environment (build 1.6.0_45-b06)
Java HotSpot(TM) 64-Bit Server VM (build 20.45-b01, mixed mode)
1、3 hadoop伪分布式部署
这里先不写了,写了前面那些,感觉边回忆边写不可靠,下次有时间重新搭一个环境,边搭建边写
2、windows 开发环境配置
1、jdk版本1.6以上
2、将hadoop安装包解压到windows机器上
3、安装hadoop插件到Eclipse,注意:很多文章说必须要用hadoop安装包中的hadoop-0.20.2-eclipse-plugin.jar 这个jar包,但实际上不行,用这个jar包访问hdfs没有问题,但是运行MapReduce程序时,点“run
on hadoop” 不起作用,在http://www.cnblogs.com/end/archive/2012/11/22/2782903.html网页上找到了解决办法,应该是这个jar包有问题。
相关文章推荐
- windows下hadoop伪分布式模式开发环境的搭建(Cygwin)以及Eclipse集成开发环境下的搭建
- windows eclipse hadoop 集群开发环境搭建(分布式模式)
- windows下hadoop伪分布式模式开发环境的搭建(Cygwin)以及Eclipse集成开发环境下的搭建
- windows下基于cygwin,eclipse搭建hadoop开发环境
- windows下搭建hadoop开发环境(Eclipse)
- 使用Vagrant在Windows平台搭建嵌入式Linux开发环境(1)虚拟环境部署
- windows开发 linux部署 java [debian+resin+mysql+java] 之环境搭建
- 从零起步搭建Hadoop单机和伪分布式开发环境图文教程
- hadoop2.2.0 单机伪分布式(含64位hadoop编译) 及 eclipse hadoop开发环境搭建
- windows下搭建hadoop+eclipse开发环境
- 【hadoop之翊】——windows 7使用eclipse下hadoop应用开发环境搭建
- 在 Windows 平台下部署 Hadoop 开发环境(引自CSDN)
- 【环境搭建】hadoop分布式计算开发环境搭建
- 王家林 云计算分布式大数据Hadoop实战高手之路---从零开始 第二讲:全球最详细的从零起步搭建Hadoop单机和伪分布式开发环境图文教程
- windows下搭建hadoop开发环境(Eclipse)
- 不用linux,两步在Windows下搭建hadoop开发环境!
- windows开发 linux部署 java [debian+resin+mysql+java] 之环境搭建
- Windows下使用Eclipse搭建Hadoop开发环境
- windows下搭建hadoop开发环境