Ubuntu15 中安装hadoop2.7单机模式 （图文详细步骤）

Ubuntu15 中安装hadoop2.7单机模式 （图文详细步骤）

参考链接：http://www.cnblogs.com/kinglau/p/3794433.html

材料：
ubuntu 15.04
jdk 1.8.51（在ubuntu终端下载，下面详细解析）
hadoop 2.7.1（是ubuntu终端下载，下面将详细解析）

安装：

1. 在ubuntu中创建hadoop用户
1.1. ctrl+Alt+T打开终端窗口，然后输入如下命令创建新用户。
$ sudo useradd -m hadoop -s -/bin/bash
1.2. 使用下面命令修改密码（笔者密码为hadoop）
$ sudo passwd hadoop
1.3. 接着为hadoop增加管理员的权限，以免之后出现权限问题。
$ sudo adduser hadoop sudo
也可以打开sudoers文件，给hadoop用户赋予和root一样的权限：
$sudo gedit /etc/sudoers
然后编辑增添如下那句hadoop ALL(ALL:ALL) ALL




1.4. 注销当前的账户，然后登陆刚刚创建的hadoop用户。

2.
2.1. 安装ssh
$sudo apt-get installl openssh-server
然后continue YES




2.2. 安装好ssh服务后，那就打开这个服务吧
$sudo /etc/init.d/ssh start



2.3. 顺便查看下服务是否正确启动：
$ ps -e | grep ssh



2.4. 设置免密码登录，生成私钥和公钥
$ ssh-keygen -t rsa -P ""
在输入路径那儿笔者直接回车，这样在／home／hadoop/.ssh里面生成两个文件 id_rsa、id_rsa.pub，前者是私钥，后者是公钥。



2.5. 接着将公钥追加到authorized_keys里面，它保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys



2.6. 登陆ssh
$ssh hadoop@localhost
接着输入yes




2.7. 退出
$exit

3. 安装java环境
3.1 下载jdk二进制编译包
下载用wget软件，wget软件在ubuntu下的安装命令如下：
sudo apt-get install wget

用wget下载jdk包的命令格式为：
wget url链接 -o 输出文件名
例如：
wget http://download.oracle.com/otn-pub/java/jdk/8u51-b16/jdk-8u51-linux-x64.tar.gz?AuthParam=1437810421_1d235bda6e9428e1caa05d0fd7951c6d -o
jdk-x64.tar.gz

3.2 解压安装
3.2.1 复制解压
先是把压缩包复制到欲安装目录下：
cp jdk-x64.tar.gz /usr/local/
进入上述目录解压：
cd /usr/local/
tar xzvf jdk-x64.tar.gz
若权限不足则还需要加上sudo:
sudo cp jdk-x64.tar.gz /usr/local/
cd /usr/local/
sudo tar xzvf jdk-x64.tar.gz

本人下载时的版本是1.8.0_51，故在/usr/local/目录下解压生成的jdk目录是/usr/local/jdk-1.8.0_51
3.2.2 配置路径安装
打开配置文件：
sudo vim /etc/profile
添加以下命令语句：
export J***A_HOME=/usr/local/jdk-1.8.0_51
export PATH = $J***A_HOME/bin:$PATH
export CLASS_PATH=.:$J***A_HOME/lib/dt.jar:$J***A_HOME/lib/tools.jar
应用配置：
source /etc/profile
测试成功：
java -version


4. 安装hadoop
4.1. 解压：
sudo tar xzf hadoop-2.7.1.tar.gz（一定不要下载rpm的，这个是redhat等系统的软件安装包，在ubuntu中是tar.gz这种才行。）
4.2. copy到/usr/local/中，并命名为hadoop
sudo mv hadoop-2.7.1 /usr/local/
cd /usr/local
sudo mv hadoop-2.7.1 hadoop


4.3. 修改目录主人
sudo chown hadoop:hadoop -R -f /usr/local/hadoop/

4.4. 配置
打开配置文件:
sudo vim /etc/profile
添加以下命令语句：

export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

5. 测试
进入 hadoop目录：
cd /usr/local/hadoop
运行官方测试样例：

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

（默默说句，其实在文章开头链接所指教程中，我弄到一半，然后就出现很多错误，比如安装jdk后还是找不到version、解压失败、以及配置环境时候各种出错。幸亏有进益大神一直指点，然后帮我配环境调bug等等等等。最后终于成功运行了WordCount。现在对WordCount具体代码实现还是半头雾水，还在接下日子慢慢揭开hadoop的面纱。）