hadoop 伪分布模式搭建（上）

转载请标明出处：  http://blog.csdn.net/zwto1/article/details/44002083；  本文出自:【zhang_way的博客专栏】

软件：

hadoop1.1.2、pietty(在windows系统下登录到linux虚拟机的远程登录软件)、winscp（在本地与远程计算机间安全的复制文件）、jdk-6u24-linux-i586.bin、virtualbox上安装的centos
系统（安装过程这里不说了）

安装步骤：

注：避免安装过程出现文件操作权限导致的问题，以下操作在root用户下进行。

1.安装ssh免密码登录

hadoop 运行过程需要远端管理hadoop 守护进程，linux 虚拟机没有ssh server,安装命令如下：

apt-get install ssh

hadoop进程之间通信采用ssh（加密的通信协议）方式，避免每次都要输入密码，为了 自动化操作，，进行如下的配置：

首先生成密钥：



命令“ssh-keygen -t rsa”表示使用rsa 加密方式生成密钥， 回车后，会提示三次输入信息，直接回车即可。然后进入密钥文件夹，执行命令：



使用ssh 登录本机是因为hadoop 在本机部署时，需要使用ssh 访问。

验证是否可以免密码登录：



2.安装jdk
将jdk安装到/usr/local目录下，"."解压文件



为了以后方便，可以用mv命令重命名 jdk-6u24-linux-i586.bin为jdk

接下来，将jdk 的命令配置到环境变量中 



配置完后，为了文件的配置立即生效，用该命令：

source  /etc/profile

检验是否安装成功：



3.关闭防火墙

有setup命令调出关闭防火墙工具，关闭防火墙的目的是为了避免无谓的错误，防火墙本身的作用是，关闭不用的端口，避免服务器被攻击。实际工作中不这样做。



选择 firewall configuration ，按回车键



点空格，*消失，*存在表示防火墙被启用，之后tab键到ok,一步步退出

验证防火墙是否关闭：





4.virtualbox网络的配置

这里采用的是host-only连接方式，host-only连接的特点：

虚拟机访问主机，用的是主机的VirtualBox Host-Only Network网卡的IP：192.168.56.1  ，不管主机“本地连接”有无红叉，永远通。

主机访问虚拟机，用是的虚拟机的网卡3的IP： 192.168.56.101  ，不管主机“本地连接”有无红叉，永远通。

虚拟机访问互联网，用的是自己的网卡2， 这时主机要能通过“本地连接”有线上网，（无线网卡不行）

开始配置：



在Linux里进行如下操作：



注意：

上图 的gateway也就是网关地址为在virtualbox  host-only network 所手动设置的ip地址 ，意思是虚拟机通过它来与主机进行互相通信。

这样即使本机没有连接互联网，虚拟机和主机还是可以互相通信的。



5.设置dns解析

因为hadoop 集群之间通过主机名互相访问，所以必须设置dns 解析。使用gedit 编辑dns 解析文件



在文件后面追加：

192.168.56.100   hadoop  (注意两者之间有空格)

保存关闭。

hadoop 伪分布模式搭建（下）：http://blog.csdn.net/zwto1/article/details/44020263

hadoop集群环境安装：http://blog.csdn.net/zwto1/article/details/45647643