Ubuntu Kylin 安装和部署Hadoop（伪分布式）

摘要: 简单整理和记录在Ubuntu Kylin 16.04 LTS上安装和部署Hadoop2.7.3。

####一、配置用户信息
1.添加用户到sudo组（用户名以实际情况为准，这里使用Kevin举例）：

sudo adduser Kevin sudo

2.添加到hadoop，并将用户添加到hadoop：

su
addgroup hadoop
usermod -a -G hadoop Kevin

####二、配置ssh免密码登录
1.安装ssh server：

sudo apt-get install openssh-server

2.ssh免密配置：

cd ~/.ssh/          #若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa
cat id_rsa.pub >> authorized_keys

3.检测是否能直接登录：

ssh localhost

####三、配置JDK
参考文章《Ubuntu Kylin 安装和配置JDK》。

####四、安装和配置Hadoop环境变量
1.下载Hadoop2.7.3：

http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.3/

2.解压Hadoop压缩文件：

sudo tar -zxvf  /home/Kevin/下载/hadoop-2.7.3.tar.gz -C /usr/local

3.重命名Hadoop文件夹：

cd /usr/local/
sudo mv ./hadoop-2.7.3/ ./hadoop

4.修改文件权限：

sudo chown -R Kevin ./hadoop

5.配置Hadoop环境变量：

执行以下命令：

sudo nano /etc/profile

打开界面后，在之前配置的JAVA_HOME后面输入：

export HADOOP_INSTALL=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL

export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

使配置立即生效：

source /etc/profile

6.检测Hadoop安装是否成功：

hdfs

####五、配置Hadoop伪分布式
1.切换至配置文件目录：

cd /usr/local/hadoop/etc/hadoop

2.配置 core-site.xml：

执行命令：

nano core-site.xml

将文件中的<configuration></configuration>替换为：

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

3.配置 hdfs-site.xml：

执行命令：

nano hdfs-site.xml

将文件中的<configuration></configuration>替换为：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>

4.配置yarn-site.xml：

执行命令：

nano yarn-site.xml

将文件中的<configuration></configuration>替换为：

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

5.配置mapred-site.xml：

从模板文件复制一个xml，执行命令：

mv mapred-site.xml.template mapred-site.xml

再执行命令：

nano mapred-site.xml

将文件中的<configuration></configuration>替换为：

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

6.配置hadoop-env.sh：

执行命令：

nano hadoop-env.sh

配置文件中的JAVA_HOME（JDK路径以实际情况为准）：

export JAVA_HOME=/usr/lib/jvm/java-7-oracle

7.配置完成后，执行格式化：

hdfs namenode -format

出现Exitting with status 0 表示成功，若为 Exitting with status 1 则是出错。

8.启动hadoop所有的进程：

start-all.sh

9.查看各个进程是否正常启动：

执行命令：

jps

执行结果：

5385 Jps
2422 NameNode
2538 DataNode
2742 SecondaryNameNode
3008 NodeManager
2892 ResourceManager

10.在网页上查看Hadoop信息：

http://localhost:50070

####六、参考文章
1.在Ubuntu 14.04 LTS上安装部署Hadoop 2.7.1（伪分布式）(http://www.linuxidc.com/Linux/2015-09/122873.htm)