Hadoop 2.2.0 单节点安装
2013-11-02 19:09
417 查看
Hadoop 2.2.0已经发布,网上有很多教程说明安装的过程,不过总有些问题存在……这里把我安装的过程分享一下。
建议采用Ubuntu 12.04.3 LTS Server x64版本或者其他长期支持版本。
另外,如果是虚拟机环境,使用32位版本的Ubuntu即可。
建议在安装前,将系统升级到最新:
则JAVA_HOME地址可以如下配置,在/etc/profile中修改:
在末尾加入:
注:如果是32位的Linux,请安装jdk-7u45-linux-i586的32位Java。
CNNIC相对速度较快。附件中也提供该文件的下载。
然后将下载的压缩包解压并放到/opt下:
然后建议使用软连接:
然后执行以下命令:
首次连接需要输入yes确认,之后每次执行上述ssh命令应当不用输入密码。
确保可以在任意位置执行hadoop命令。
然后将配置文件启用:
将默认的JAVA_HOME修改为:
在<configuration>标签中(即嵌套在该标签中)加入以下内容:
更多配置信息,参考:
http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-common/core-default.xml
在<configuration>标签中(即嵌套在该标签中)加入以下内容:
更多hdfs-site.xml的配置信息,参考:
http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
在<configuration>标签中(即嵌套在该标签中)加入以下内容:
在<configuration>标签中(即嵌套在该标签中)加入以下内容:
yarn.resourcemanager.hostname配置后,其他端口号将使用默认。详见:
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
使用jps查看进程是否启动:
并在以下网页检查:
然后重新执行格式化:
建议采用Ubuntu 12.04.3 LTS Server x64版本或者其他长期支持版本。
另外,如果是虚拟机环境,使用32位版本的Ubuntu即可。
建议在安装前,将系统升级到最新:
$sudo apt-get update $sudo apt-get upgrade
准备工作
java
建议采用Oracle Java JDK6以上版本。$chmod 755 jdk-7u45-linux-x64.bin ./jdk-7u45-linux-x64.bin mvjdk1.7.0_45 /opt
则JAVA_HOME地址可以如下配置,在/etc/profile中修改:
$ sudo vim /etc/profile
在末尾加入:
export JAVA_HOME=/opt/jdk1.7.0_45 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib export PATH=$PATH:$JAVA_HOME/bin
注:如果是32位的Linux,请安装jdk-7u45-linux-i586的32位Java。
hadoop 2.2.0
从Apache官方可以下载到Hadoop 2.2.0的发布代码,或者在CNNIC下载:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz
CNNIC相对速度较快。附件中也提供该文件的下载。
Hadoop路径配置
建议将Hadoop安装在/opt下,所以将/opt的属主修改为实际用户(本文以cloud用户为例):$sudo chown cloud:cloud /opt
然后将下载的压缩包解压并放到/opt下:
$ tar xzvf hadoop-2.2.0.tar.gz $ mv hadoop-2.2.0 /opt
然后建议使用软连接:
$ ln -s /opt/hadoop-2.2.0 /opt/hadoop
ssh本地互通
配置公钥,使用默认配置即可:$ sshgen $ cd ~/.ssh $ cat id_rsa.pub >> authorized_keys
然后执行以下命令:
$ ssh localhost
首次连接需要输入yes确认,之后每次执行上述ssh命令应当不用输入密码。
全局变量
在/etc/profile的末尾加入:export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
确保可以在任意位置执行hadoop命令。
然后将配置文件启用:
$ source /etc/profile
目录配置
创建Hadoop的数据存储目录,并修改属主权限:$ sudo mkdir /hadoop $ sudo chown cloud:cloud /hadoop $ mkdir /hadoop/dfs $ mkdir /hadoop/tmp
配置Hadoop
配置hadoop-env.sh
修改hadoop-env.sh文件:$ cd /opt/hadoop/etc/hadoop $ vim hadoop-env.sh
将默认的JAVA_HOME修改为:
export JAVA_HOME=/opt/jdk1.7.0_45
配置core-site.xml
修改core-site.xml文件:$cd /opt/hadoop/etc/hadoop $vim core-site.xml
在<configuration>标签中(即嵌套在该标签中)加入以下内容:
<property> <name>hadoop.tmp.dir</name> <value>/hadoop/tmp</value> <description>temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.1.100:9000</value> <description>The name of the defaultfile system. Either the literal string "local" or a host:port forNDFS. </description> <final>true</final> </property>
更多配置信息,参考:
http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-common/core-default.xml
配置hdfs-site.xml
修改hdfs-site.xml:$ vim hdfs-site.xml
在<configuration>标签中(即嵌套在该标签中)加入以下内容:
<property> <name>dfs.namenode.name.dir</name> <value>file:/hadoop/dfs/name</value> <description>Determineswhere on the local filesystem the DFS name node should store the name table.</description> <final>true</final> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/hadoop/dfs/data</value> <description>Determineswhere on the local filesystem an DFS data node should store its blocks. </description> <final>true</final> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property>
更多hdfs-site.xml的配置信息,参考:
http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
配置mapred-site.xml
默认不存在此文件,需要创建:$ cp mapred-site.xml.template mapred-site.xml $ vim mapred-site.xml
在<configuration>标签中(即嵌套在该标签中)加入以下内容:
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapred.system.dir</name> <value>file:/hadoop/mapred/system</value> <final>true</final> </property> <property> <name>mapred.local.dir</name> <value>file:/hadoop/mapred/local</value> <final>true</final> </property>
配置yarn-site.xml
执行以下命令:$ vim yarn-site.xml
在<configuration>标签中(即嵌套在该标签中)加入以下内容:
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> <description>shuffle service that needsto be set for Map Reduce to run </description> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>192.168.1.100</value> <description>hostanem of RM</description> </property>
yarn.resourcemanager.hostname配置后,其他端口号将使用默认。详见:
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
初始化
格式化NameNode:$ hdfs namenode -format
启动DFS
分别按顺序执行以下命令:$ hadoop-daemon.sh start namenode $ hadoop-daemon.sh start datanode
使用jps查看进程是否启动:
$ jps
并在以下网页检查:
http://202.117.16.170:50070/dfshealth.jsp
启动Yarn
$ yarn-daemon.sh start resourcemanager $ yarn-daemon.sh start nodemanager
异常处理
如果发生任何启动异常,关闭进程后,需要清空数据:$ rm -rf /hadoop/dfs/* $ rm -rf /hadoop/tmp/*
然后重新执行格式化:
$ hdfs namenode -format
相关文章推荐
- 单节点hadoop2.2.0 安装
- Hadoop2.2.0版本多节点集群安装及测试
- Hadoop2.2.0版本多节点集群安装及测试
- Hadoop 2.2.0 单节点安装
- Hadoop2.2.0版本多节点集群安装及测试
- hadoop2.2.0(单节点)下Sqoop-1.4.6安装与配置(数据读取涉及hadoop、hbase和hive)
- Hadoop 2.2.0 单节点安装
- Hadoop 2.2.0 单节点安装
- CentOS 6.5单节点编译安装hadoop-2.2.0
- hadoop2.2.0 单节点安装
- 3节点hadoop2.2.0集群安装
- 多节点的 Hadoop-2.2.0 的安装步骤
- Hadoop2.2.0 单节点安装
- hadoop2.2.0 单节点安装 -翻译自hadoop官方文档-与原文有出入
- Hadoop2.2.0版本多节点集群安装及测试
- Hadoop 2.2.0 单节点安装
- Hadoop2.2.0 Ubuntu12.04单节点安装
- Hadoop2.2.0版本多节点集群安装及测试
- Hadoop2.2.0版本多节点集群安装及测试
- Flume1.5.0的安装、部署、简单应用(含伪分布式、与hadoop2.2.0、hbase0.96的案例)