在Mac OS上安装Hadoop1.0.0
2015-07-01 14:28
148 查看
1.先安装javaSE,这里不详细说明;
2.去官网下载hadoop,这里我下的1.0.0版本;
3.设置Hadoop环境变量
我们打开〜/.profile,在结件处加上如下两行脚本(环境变量的值根据你自己的实际情况填写)
4.配置hadoop-env.sh
进入到conf目录下,找到hadoop-env.sh,打开编辑进行如下设置(值根据你自己的实际情况填写)
5.配置core-site.xml
6.配置hdfs-site.xml
7.配置mapred-site.xml
8.安装HDFS
经过以上的配置,就可以进行HDFS的安装了。
命令如下
9.启动Hadoop
很简单,一条命令搞定。
10.简单调试
如果想试试看是否已经成功启动,可以用自带的例子试验一下:
hadoop jar $HADOOP_HOME/hadoop-example-1.0.0.jar pi 10 100
成功的话,会有类似结果:
Number of Maps = 10
Samples per Map = 100
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
……
2.去官网下载hadoop,这里我下的1.0.0版本;
3.设置Hadoop环境变量
我们打开〜/.profile,在结件处加上如下两行脚本(环境变量的值根据你自己的实际情况填写)
export HADOOP_HOME=/users/apple/hadoop export PATH=$PATH:$HADOOP_HOME/bin export HADOOP_HOME_WARN_SUPPRESS=1
4.配置hadoop-env.sh
进入到conf目录下,找到hadoop-env.sh,打开编辑进行如下设置(值根据你自己的实际情况填写)
export JAVA_HOME=/library/Java/Home(去掉注释) export HADOOP_HEAPSIZE=2000(去掉注释) export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"(去掉注释)
5.配置core-site.xml
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/users/billy/hadoop/tmp/hadoop-${user.name}</value> <description>A base for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:8020</value> </property> </configuration>
6.配置hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
7.配置mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:8021</value> </property> <property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>2</value> </property> <property> <name>mapred.tasktracker.reduce.tasks.maximum</name> <value>2</value> </property> </configuration>
8.安装HDFS
经过以上的配置,就可以进行HDFS的安装了。
命令如下
$HADOOP_HOME/bin/hadoop namenode -format
9.启动Hadoop
很简单,一条命令搞定。
$HADOOP_HOME/bin/start-all.sh
10.简单调试
如果想试试看是否已经成功启动,可以用自带的例子试验一下:
hadoop jar $HADOOP_HOME/hadoop-example-1.0.0.jar pi 10 100
成功的话,会有类似结果:
Number of Maps = 10
Samples per Map = 100
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
……
相关文章推荐
- 本地日志数据实时接入到hadoop集群的数据接入方案
- 3D-HEVC运行window & linux
- 本地日志数据实时接入到hadoop集群的数据接入方案
- CentOS 6 通过DVD快速建立本地YUM源
- linux命令笔记之ls
- centos6.4安装配置ISCSI
- “UEFI虚拟机”以及“EFI SHELL”介绍
- 嵌入式Linux启动过程中的问题积累
- linux用户和组
- 查看Linux系统版本,适用于RedHat,CentOS
- 进程间通信——使用WM_COPYDATA消息通信
- 进程间通信——使用WM_COPYDATA消息通信
- linux系统服务器下jsp传参数乱码
- linux常用命令--个人笔记
- linux连接无线网
- nginx日志分析工具
- linux tomcat 做成服务
- 转nginx优化和内核优化王壮~~
- shell脚本echo的换行操作
- 两台linux机器时间同步