06_Hadoop配置伪分布式模式详解

查看IP地址，设为手动模式：




配置hadoop用户sudo权限
su切换到root身份，配置vim /etc/sudoers文件，加入
hadoop ALL=(root)NOPASSWD:ALL    



配置/opt文件夹的属主
将/opt文件夹的属于由root:root改为hadoop
sudo -R hadoop:hadoop /opt



关闭防火墙和禁用SELinux
# service iptables stop



# vim /etc/sysconfig/selinux 设置 SELINUX=disabled



查看（确认一下可省略）静态IP地址

# vi /etc/sysconfig/network-scripts/ifcfg-eth0



修改HostName
# hostname hadoop-master ##重启失效

# vi /etc/sysconfig/network     ##永远有效



IP与Hostname绑定
# vi /etc/hosts



修改windows操作系统的hosts文件
Càwindowsàsystem32àdriversàetcàhosts添加如下内容;



 
设置SSH自动登录 —— 所有守护进程彼此通过SSH协议进行通信，无密码登录

1）$ ssh-keygen -t rsa ##在/home/hadoop目录下





2）$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys



3）$ping localhost

$ping hadoop-master
$ping hadoop-master.dragon.org
$ping 192.168.38.180



准备工作
在/opt文件夹下创建文件夹如下;

本课程软件安装的规则：

/opt    ---    父目录
/opt/modules    --    存放软件的安装目录
/opt/softwares    --    存放软件包（tar 包，bin 文件，zip 文件等）
/opt/tools    --    存储工具目录（Eclipse 等）
/opt/data    --    存储一些测试数据
/home/hadoop    --    存储工具盒测数据目录
安装JDK

1) 安装jdk之前要先卸载以前的版本，防止出现其他问题

rpm -qa|grep jdk ##查找安装的jdk
    rpm -e --nodeps 【查找到的内容】
2）安装
直接将.tar.gz格式的jdk-x64文件在/opt/modules中解压就行了
配置环境变量 vim /etc/profile



Apache Hadoop伪分布模式安装

 $ tar -zxvf hadoop-1.2.1.tar.gz

设置环境变量/etc/profile 增加内容如下:

export HADOOP_HOME=/opt/modules/ hadoop-1.2.1
export PATH=.:$HADOOP_HOME/bin:$PATH
使设置生效

# source /etc/profile



    修改Hadoop中conf目录下的hadoop-env.sh文件，将Java的路径改为安装的路径



修改conf目录下的配置文件（使用UltraExit操作）
hadoop-env.sh
上面已经修改

core-site.xml



hdfs-site.xml



mapred-site.xml



格式化
$ hadoop namenode -format

 
至此已经配置完成下面启动五大守护进程
在hadoop*安装目录中的bin目录下运行
$start-all.sh



查看启动结果：



在Google浏览器中查看
1)查看dfs：http://hadoop-master.dragon.org:50070/



2)查看MP：http://hadoop-master.dragon.org:50030/



运行Wordcount测试
$ hadoop fs -mkdir /wc
$ hadoop fs -mkdir /wc/input
$ hadoop fs -cp /opt/modules/hadoop-1.2.1/conf/*.xml /wc/input
$ hadoop jar hadoop-examples-1.2.1.jar wordcount /wc/input /wc/output



运行结束



结果图示



关闭五大守护进程
$ /bin/stop-all.sh



 
至此hadoop伪分布式模式安装并测试成功