VMWare Workstation8.0上安装和配置Hadoop群集环境

在VMWareWorkstation8.0上安装和配置Hadoop群集环境
VMWare Workstation：VMware® Workstation8.0.0build-471780

JDK：1.6.0_25

Hadoop：hadoop-0.21.0

Linux：CentOS Release 5.5

Linux客户端：SSHSecureShellClient-3.2.9

启动后直接按回车键，即可进入图形安装界面；





直接选择下一步，并且选择英文字符，避免以后出现字符错乱问题，所以现在我们所有字符都已英文为主；







这里我们选择默认分区，不在自定义，为了节省更多的时间！！



然后就是选择时区，和设置root密码的截图，这里省略，不做截图，我选择上海的时区，密码：redhat;



这里可以选择server，和server-gui，也可以省略，全部不选择，来节约更多时间来按照其他节点。然后直接下一步







重启下系统，













最后进行完成工作；finish工作。

以此类推，按照类似步骤安装完成，3个节点的虚拟机环境，Redhat01,02,03这3个节点、



配置虚拟机的IP地址

用root账号登陆虚拟系统，输入以下命令：



配置如下模式，请知晓



修改主机名称：



笔者测试环境的虚拟机的IP地址和主机名的对应情况如下：

RedHat01 192.168.0.231 redhat01

RedHat02 192.168.0.232 redhat02

RedHat03 192.168.0.233 redhat03

并保持他们之间的网络相关可以PING通。保证网络没有问题即可



安装JDK

①安装JDK之前，先下载用于登录Linux的客户端SSH Secure Shell Client。下载地址：http://www.onlinedown.net/softdown/20089_2.htm（如果地址无效，可在网上搜索SSH
Secure）。

安装完成之后，将会有两个客户端，一个远程登录客户端，另一个FTP客户端






















④使用①中安装的远程登录工具，分别登录每台虚拟机，进行JDK的安装。

Ø 执行下面的指令，编辑/etc/profile文件，进行环境变量的设置



Ø 在相应的位置添加下图中蓝色框的下面红色框所圈出的内容



Ø 重新开启远程登录客户端，重新登录【必须重新登录远程登录客户端，环境变量才会起作用】

Ø 输入javac指令验证JDK安装是否成功



如出现上述内容则说明JDK安装成功，并且环境变量配置成功

建立虚拟机之间SSH无密码登录

Ø 按照如下顺序，在192.168.0.231虚拟机中执行框出的指令





测试192.168.0.231无需密码登陆直接直接登陆redhat02,03机器；



安装hadoop


① 在官方网站上下载hadoop-0.21.0版本

② 打开①中安装的FTP客户端SSHSecure File Transfer Client，然后将下载的hadoop上传到虚拟机的
/usr目录下。（注：每台虚拟机都要hadoop的安装）





3 配置HADOOP环境变量【和配置JDK环境变量类似】



4. 配置Hadoop配置文件

Ø 更改hadoop安装路径/conf/hadoop-env.sh(三个虚拟机都配)



Ø 更改hadoop安装路径/conf/masters和slaves两个文件。只配置192.168.0.231虚拟机









配置hadoop安装路径/conf/core-site.xml、hdfs-site.xml和mapred-site.xml三个文件。三个虚拟机都需要配置，并且配置的内容相同







至此，Hadoop框架在VMWareWorkstation虚拟机中安装任务全部结束。

进行验证安装是否成功

Ø 首先在192.168.0.231机器上执行如下指令，格式化文件系统

hdfsnamenode –format

执行结果如下：





Ø 然后在192.168.0.231机器上执行如下指令，启动HDFS文件系统

start-dfs.sh （停止HDFS文件系统：stop-dfs.sh）

执行结果如下：



Ø 执行如下指令，列出HDFS文件系统中存在的目录情况

hadoopfs –ls

执行结果如下：



Ø 关于hadoopfs指令的详细参数说明，请参照相关文档。



Ø 执行如下指令，启动MAPREDUCE框架

start-mapred.sh （停止MAPREDUCE框架：stop-mapred.sh）

执行结果如下：



Ø Web浏览器监视HDFS文件系统状态和MAPREDUCE执行任务的情况。

HDFS文件系统

浏览器中输入：http://192.168.0.231:50070/





浏览器中输入：http://192.168.0.231:50030

Ø 运行框架自带的wordcount示例

① 在192.168.0.231虚拟机中建立两个输入文件input1和input2



① HDFS中建立一个目录input



① 拷贝input1和input2两个文件到HDFS的input目录中



① 运行wordcount程序





① 查看运行结果



如果至此全部成功，那么恭喜整个Hadoop框架成功搭建与VMWareWorkstation软件中，下面的任务就是编写自己的程序，然后运行于该框架。尽情享受Hadoop的乐趣吧。

在安装过程中遇到了一些问题，就是在安装三个节点的时候，JDK大家在按照设置java_home的时候一定要注意前面的那个#,要去掉，呵呵，不然到时无法启动HDFS，还有就是50030这个端口无法访问！估计我的map-redouce没有做好，下来自己再看看！