基于Docker布署伪分布式hadoop环境(一)

1.安装Docker

安装Docker的方法这里不再详述，根据自己的操作系统在网上有一大堆教程。今天我们的主要任务是在DOCKER上布署HADOOP。

2.下载 ubutun镜像

docker pull ubuntu:14.04

这条命令的作用是从Docker仓库中获取ubuntu的镜像,下载完成以后，使用docker images，可以列出所有本地的镜像

Docker常用命令介绍

docker images：列出所有镜像(images)

docker ps（-a)：列出正在运行的(容器)containers docker

pull ubuntu：下载镜像

docker run -i -t ubuntu /bin/bash：运行ubuntu镜像 docker

commit 3a09b2588478 ubuntu:mynewimage：提交你的变更，并且把容器保存成Tag为mynewimage的新的ubuntu镜像.(注意，这里提交只是提交到本地仓库，类似git)

接下来启动容器：

docker rudocker run -ti ubuntu:14.04

注意：我们在不指定Tag的情况下，默认选择Tag为latest的镜像启动容器。 指定Tag启动命令为：

docker run -ti ubuntu:14.04

执行完后容器就启动了

paul@paul-ThinkPad-T440s:~$ docker run -ti trusting
root@0d055329351d:/#

PS:每执行一次docker run命令都会产生一个新的容器，要打开上次生成的容器，可以执行docker start -ai name

name可以通过以下命令找到：

docker ps -a

paul@paul-ThinkPad-T440s:~$ docker ps -aCONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS                      PORTS               NAMES
8487f03a0766        ubuntu:hadoop       "/bin/bash"              11 hours ago        Up 44 minutes                                   sharp_swanson
fb83318a33c5        ubuntu:hadoop       "/bin/bash"              11 hours ago        Up 45 minutes                                   dreamy_lichterman
d405da673df0        ubuntu:hadoop       "/bin/bash"              11 hours ago        Up 47 minutes                                   small_banach
f4b0f6ab6077        ubuntu:14.04        "/bin/bash"              12 hours ago        Exited (100) 10 hours ago                       sharp_lalande
0d055329351d        2372da530482        "/bin/bash"              31 hours ago        Exited (0) 11 hours ago                         trusting_wescoff

3.JAVA 安装

sudo apt-get install software-properties-common python-software-properties
PS：如果执行后出现 Unable to locate package software-properties-common,则先执行sudo apt-get update再执行上面的命令。
sudo add-apt-repository ppa:bhadauria-nitin/java
如果上面的PPA源不可用，可以在https://launchpad.net/ubuntu/+ppas寻找需要的源更换ppa:bhadauria-nitin/java即可
sudo apt-get update
apt-get install oracle-java8-installer

安装完成后执行

java -version

如果看到下面信息说明安装成功。

root@f4b0f6ab6077:/# java -version
java version "1.8.0_74"
Java(TM) SE Runtime Environment (build 1.8.0_74-b02)
Java HotSpot(TM) 64-Bit Server VM (build 25.74-b02, mixed mode)

4.安装hadoop

(1)先安装wget

sudo apt-get install -y wget

(2)利用wget下载安装文件并解压：

oot@8ef06706f88d:cd ~
root@8ef06706f88d:~# mkdir soft
root@8ef06706f88d:~# cd soft/
root@8ef06706f88d:~/soft# mkdir apache
root@8ef06706f88d:~/soft# cd apache/
root@8ef06706f88d:~/soft/apache# mkdir hadoop
root@8ef06706f88d:~/soft/apache# cd hadoop/
root@8ef06706f88d:~/soft/apache/hadoop# wget http://mirrors.sonic.net/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz root@8ef06706f88d:~/soft/apache/hadoop# tar xvzf hadoop-2.6.0.tar.gz

注意：这里我们安装的Hadoop版本是2.6.0，如果需要其他版本，请在这里找到链接地址后修改命令即可。

(3)配置环境

修改

~/.bashrc

文件。输入

nano ~/.bashrc

在文件末尾加入下面配置信息：

export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export HADOOP_HOME=/root/soft/apache/hadoop/hadoop-2.6.0
export HADOOP_CONFIG_HOME=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

PS:

1.如果出现

bash: nano: command not found

的命令，先执行

sudo apt-get install nano

安装nano。（nano是一个文本编辑器，关于它的用法请自行查找资料）

2.们使用apt-get安装java，不知道java装在什么地方的话可以使用下面的命令查看：

root@f4b0f6ab6077:~# update-alternatives --config java
There is only one alternative in link group java (providing /usr/bin/java): /usr/lib/jvm/java-8-oracle/jre/bin/java
Nothing to configure.

5.配置hadoop

主要配置core-site.xml、hdfs-site.xml、mapred-site.xml这三个文件。

开始配置之前，执行下面命令：

root@f4b0f6ab6077:~# cd $HADOOP_HOME

root@f4b0f6ab6077:~/soft/apache/hadoop/hadoop-2.6.0# cd tmp bash: cd:

tmp: No such file or directory

root@f4b0f6ab6077:~/soft/apache/hadoop/hadoop-2.6.0# mkdir tmp

root@f4b0f6ab6077:~/soft/apache/hadoop/hadoop-2.6.0# cd tmp

root@f4b0f6ab6077:~/soft/apache/hadoop/hadoop-2.6.0/tmp# pwd

$HADOOP_HOME/tmp /root/soft/apache/hadoop/hadoop-2.6.0/tmp

root@f4b0f6ab6077:~/soft/apache/hadoop/hadoop-2.6.0/tmp# cd ..

root@f4b0f6ab6077:~/soft/apache/hadoop/hadoop-2.6.0# mkdir namenode

root@f4b0f6ab6077:~/soft/apache/hadoop/hadoop-2.6.0# cd namenode

root@f4b0f6ab6077:~/soft/apache/hadoop/hadoop-2.6.0/namenode# pwd

$HADOOP_HOME/namenode /root/soft/apache/hadoop/hadoop-2.6.0/namenode

root@f4b0f6ab6077:~/soft/apache/hadoop/hadoop-2.6.0/namenode# cd ..

root@f4b0f6ab6077:~/soft/apache/hadoop/hadoop-2.6.0# mkdir datanode

root@f4b0f6ab6077:~/soft/apache/hadoop/hadoop-2.6.0# cd datanode

root@f4b0f6ab6077:~/soft/apache/hadoop/hadoop-2.6.0/datanode# pwd

$HADOOP_HOME/datanode /root/soft/apache/hadoop/hadoop-2.6.0/datanode

root@f4b0f6ab6077:~# cd $HADOOP_CONFIG_HOME

root@f4b0f6ab6077:~/soft/apache/hadoop/hadoop-2.6.0/etc/hadoop# cp

mapred-site.xml.template mapred-site.xml

root@f4b0f6ab6077:~/soft/apache/hadoop/hadoop-2.6.0/etc/hadoop#

拉下来就是配置三个文件了，由于一些原因写在下一篇文章基于Docker布署伪分布式hadoop环境(二)