Hadoop安装配置

本次实验环境为Ubuntu 16.04.3

1、安装JDK，并配置环境变量，详见http://blog.csdn.net/u012343297/article/details/78748446。

2、配置SSH面密码登录

先安装ssh

sudo apt-get install ssh



查看当前用户家目录下是否有.ssh文件

ls -a /home/lenmon



没有，手动创建一个

mkdir /home/lenmon/.ssh



生成密钥

cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost

ssh-keygen -t rsa # 会有提示，都按回车就可以

ssh-keygen 代表生成密钥；-t(注意区分大小写)表示指定生成的密钥类型；rsa是rsa密钥认证的意思，即密钥类型；



把公钥加到用于认证的公钥文件中

cat ./id_rsa.pub >> ./authorized_keys # 加入授权

实际上，在hadoop安装过程中，是否无密码登录是无关紧要的，但是不配置无密码登录，每次启动hadoop，都需要输入密码以登录到每台机器的DataNode上，考虑一般的Hadoop集群动辄数百台或上千台机器，因此一般来说都会配置SSH无密码登录。

3、安装并运行Hadoop

下载hadoop的tar包

http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz

解压hadoop-3.0.0.tar.gz：tar -zxvf hadoop-3.0.0.tar.gz

新建文件夹

mkdir ./hadoop/tmp

mkdir ./hadoop/hdfs

mkdir ./hadoop/hdfs/data

mkdir ./hadoop/hdfs/name

修改配置文件

vim ./hadoop/hadoop-3.0.0/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/jdk1.8.0_151

vim ./hadoop/hadoop-3.0.0/etc/hadoop/core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/lenmon/hadoop/tmp</value>
</property>
</configuration>

vim ./hadoop/hadoop-3.0.0/etc/hadoop/hdfs-site.xml

<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/lenmon/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/lenmon/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

vim ./hadoop/hadoop-3.0.0/etc/hadoop/mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

vim ./hadoop/hadoop-3.0.0/etc/hadoop/yarn-site.xml

<configuration>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>localhost:9001</value>
</property>
</configuration>

格式化Hadoop文件系统HDFS

./bin/hdfs namenode -format



运行Hadoop测试

start-all.sh