【hadoop入门实战】Mac上安装hadoop,并运行程序(1)
2014-06-28 23:43
483 查看
安装hadoop
参考:http://blog.csdn.net/ksgt00016758/article/details/23625007
系统版本:
————————————————————————————————————————————————————————————————————————————
1.安装JAVA——之后会运行jar包,肯定需要java的运行环境
查看java版本:
————————————————————————————————————————————————————————————————————————————
2.下载hadoop
地址:http://hadoop.apache.org/releases.html
然后看到
我没有选版本太高的,因为不会用
存放的路径可以看到:/Users/hadoop
配置mac os 自身环境
这个主要是配置ssh环境。先在terminal里面输入
不过这里面还有一个麻烦,就是每次都会要求输入用户密码。《Hadoop实战》提供了一种免登陆的方法。首先,输入
————————————————————————————————————————————————————————————————————————————
3设置环境变量
在实际启动Hadoop之前,有三个文件需要进行配置。
但在这之前,我们需要设置一下几个类似Windows的环境变量,方便以后在命令行敲命令。
export HADOOP_HOME=/Users/hadoop/hadoop-1.2.1 (根据你自己的目录进行设定)
export PATH=$PATH:$HADOOP_HOME/bin
注明:export设置只对当前的bash登录session有效。这是存在内存里面的。如果你嫌麻烦,就直接写入etc中的profile文件里面就好。
————————————————————————————————————————————————————————————————————————————
4.配置hadoop-env.sh
在Hadoop->conf目录下,找到hadoop-env.sh,打开编辑进行如下设置:
export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home(去掉注释)
export HADOOP_HEAPSIZE=2000(去掉注释)
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"(去掉注释)
注意第三个配置在OS X上最好进行配置,否则会报“Unable to load realm info from SCDynamicStore”。
————————————————————————————————————————————————————————————————————————————
5.配置core-site.xml——指定了NameNode的主机名与端口
————————————————————————————————————————————————————————————————————————————
6.配置hdfs-site.xml——指定了HDFS的默认参数副本数,因为仅运行在一个节点上,所以这里的副本数为1
————————————————————————————————————————————————————————————————————————————
7.配置mapred-site.xml——指定了JobTracker的主机名与端口
————————————————————————————————————————————————————————————————————————————
8.安装HDFS
经过以上的配置,就可以进行HDFS的安装了。
如果出现以下结果:
就说明你的HDFS已经安装成功了。
————————————————————————————————————————————————————————————————————————————
9.启动Hadoop
很简单,一条命令搞定。
到这里,hadoop单机伪分布式的环境就算搭建好了。
下一篇,用最简单的程序来看下效果。
参考:http://blog.csdn.net/ksgt00016758/article/details/23625007
系统版本:
————————————————————————————————————————————————————————————————————————————
1.安装JAVA——之后会运行jar包,肯定需要java的运行环境
查看java版本:
java -version
————————————————————————————————————————————————————————————————————————————
2.下载hadoop
地址:http://hadoop.apache.org/releases.html
然后看到
我没有选版本太高的,因为不会用
存放的路径可以看到:/Users/hadoop
配置mac os 自身环境
这个主要是配置ssh环境。先在terminal里面输入
<span style="white-space:pre"> </span>ssh localhost会有错误提示信息,表示当前用户没有权限。这个多半是系统为安全考虑,默认设置的。更改设置如下:进入system preference --> sharing --> 勾选remote login,并设置allow access for all users。再次输入“ssh localhost",再输入密码并确认之后,可以看到ssh成功。
不过这里面还有一个麻烦,就是每次都会要求输入用户密码。《Hadoop实战》提供了一种免登陆的方法。首先,输入
<span style="white-space:pre"> </span>ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsassh-keygen表示生成秘钥;-t表示秘钥类型;-P用于提供密语;-f指定生成的秘钥文件。这个命令在”~/.ssh/“文件夹下创建两个文件id_dsa和id_dsa.pub,是ssh的一对儿私钥和公钥。接下来,将公钥追加到授权的key中去,输入:
<span style="white-space:pre"> </span>cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
————————————————————————————————————————————————————————————————————————————
3设置环境变量
在实际启动Hadoop之前,有三个文件需要进行配置。
但在这之前,我们需要设置一下几个类似Windows的环境变量,方便以后在命令行敲命令。
export HADOOP_HOME=/Users/hadoop/hadoop-1.2.1 (根据你自己的目录进行设定)
export PATH=$PATH:$HADOOP_HOME/bin
注明:export设置只对当前的bash登录session有效。这是存在内存里面的。如果你嫌麻烦,就直接写入etc中的profile文件里面就好。
————————————————————————————————————————————————————————————————————————————
4.配置hadoop-env.sh
在Hadoop->conf目录下,找到hadoop-env.sh,打开编辑进行如下设置:
export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home(去掉注释)
export HADOOP_HEAPSIZE=2000(去掉注释)
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"(去掉注释)
注意第三个配置在OS X上最好进行配置,否则会报“Unable to load realm info from SCDynamicStore”。
————————————————————————————————————————————————————————————————————————————
5.配置core-site.xml——指定了NameNode的主机名与端口
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>hadoop.tmp.dir</name> <value>hdfs://localhost:9000</value> <description>A base for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:8020</value> </property> </configuration>
————————————————————————————————————————————————————————————————————————————
6.配置hdfs-site.xml——指定了HDFS的默认参数副本数,因为仅运行在一个节点上,所以这里的副本数为1
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
————————————————————————————————————————————————————————————————————————————
7.配置mapred-site.xml——指定了JobTracker的主机名与端口
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>hdfs://localhost:9001/value> </property> <property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>2</value> </property> <property> <name>mapred.tasktracker.reduce.tasks.maximum</name> <value>2</value> </property> </configuration>
————————————————————————————————————————————————————————————————————————————
8.安装HDFS
经过以上的配置,就可以进行HDFS的安装了。
$HADOOP_HOME/bin/hadoop namenode -format
如果出现以下结果:
就说明你的HDFS已经安装成功了。
————————————————————————————————————————————————————————————————————————————
9.启动Hadoop
很简单,一条命令搞定。
$HADOOP_HOME/bin/start-all.sh
到这里,hadoop单机伪分布式的环境就算搭建好了。
下一篇,用最简单的程序来看下效果。
相关文章推荐
- 【hadoop入门实战】Mac上安装hadoop,并运行程序(1)
- Hadoop入门系列3——安装,配置,编程,部署和运行
- MyEclipse 6 实战开发讲解视频入门 0: 下载 安装 运行 HelloWorld
- Hadoop入门系列4——安装,配置,编程,部署和运行
- Hadoop实战 Hadoop Pipes运行C++程序问题解决
- mac 10.9.5 安装hadoop 1.2.1 运行wordcount
- 安装Hadoop,搭建jdk环境,运行wordcount程序
- Spark入门实战系列--2.Spark编译与部署(中)--Hadoop编译安装
- win7下安装hadoop 2.6.0 的eclipse插件并编写运行WordCount程序
- hadoop编程入门学习笔记-1 安装运行hadoop
- Hadoop入门系列2——安装,配置,编程,部署和运行
- 虚拟机中ubuntu12.04安装eclipse并运行hadoop程序
- Win7下面安装hadoop2.x插件及Win7/Linux运行MapReduce程序
- MyEclipse 6 实战开发讲解视频入门 0: 下载 安装 运行 HelloWorld
- MyEclipse 6 实战开发讲解视频入门 0: 下载 安装 运行 HelloWorld
- MAC上搭建Windows Phone 8 开发环境——VMware Fusion下Win8 “无法安装Hyper-V, 某个虚拟机监控程序正在运行”问题解决的办法
- Hadoop从入门到精通之 如何运行hadoop程序
- Spark入门实战系列--2.Spark编译与部署(中)--Hadoop编译安装
- 如何在Mac OS X上安装 Ruby运行环境 对于新入门的开发者,如何安装 Ruby和Ruby Gems 的运行环境可能会是个问题,本页主要介绍如何用一条靠谱的路子快速安装 Ruby 开发环境。
- Hadoop入门系列1—— 安装,配置,编程,部署和运行