Ubuntu Linux hadoop开发环境搭建详细教程 一、安装Linux虚拟机

最近,开始学习大数据处理技术，由于以前没有接触过这个领域，刚开始学的时候还是蛮费劲的，尤其是环境搭建就有很多细则地方需要注意。此处，我把自己环境搭建过程作了一个完整的教程，为有需要的同仁们提供些许参考。

   本教程写的比较详细，为了便于理解，截取了很多界面图形，适合于所有有志于于进行大数据处理技术学习的编程开发人员(包括linux、hadoop零基础起步的人员)，有一定基础的可以跳过相关细则步骤。

   所用的软件是之前下载好的，关于下载地址网上都能查到，在此就不再赘述软件下载的相关内容。

   教程分为五个部分：

   一、安装Linux虚拟机

   二、配置Hadoop集群环境

   三、Windows下hadoop用户利用eclipse开发MapReduce程序

   四、Windows下非hadoop用户利用eclipse开发MapReduce程序

   五、关于HDFS上用户数据的讨论

1、安装Linux虚拟机

1.1、Windows系统增加双IP地址

   为Window电脑的“本地连接”增加一个IP地址：192.168.10.9。

   




  

1.2安装虚拟机软件

 
安装虚拟机软件Vmware10：

1.3创建Linux虚拟机

1.3.1 新建linux虚拟机master

      新建虚拟机master，网络方式为桥接。

 










注：此处根据windows计算机的实际内存情况进行分配。














至此，Linux虚拟机master创建完成。

1.3.2 安装linux虚拟机master

为新建的虚拟机master安装linux操作系统，在安装过程中设置影子账户hadoop（即具有sudo权限的用户）。

Vmware软件在创建完成虚拟机后，会自行启动虚拟机，进入linux安装阶段。




对弹出的“软件更新”对话框，选择“取消更新”并“关闭”。



在虚拟机界面上点击鼠标，将鼠标键盘的焦点转入虚拟机（可通过Ctrl+Alt将鼠标键盘的焦点移除虚拟机）。

1.3.2.1 选择语言

1.3.2.2 配置键盘

1.3.2.3 探测并挂载光盘

1.3.2.4 装载debconf预配置文件

1.3.2.5 从光盘加载安装程序组件

1.3.2.6 探测来自硬件制造商的虚拟驱动盘

1.3.2.7 探测网络设备

1.3.2.8 配置网络

上图中选择“否”，需要手动配置IP地址。

  稍微等候片刻。

  上图中设置主机名，下图的域名不设置。

1.3.2.9 设置用户名密码

  上图中选择“是”，启动影子口令。

  上图中选择“否”，不启动root用户。

上图中选择“是”。

  上图中选择“否”。

1.3.2.10 时钟设置

1.3.2.11 探测磁盘

1.3.2.12 磁盘分区






















1.3.2.13 安装系统

1.3.2.14 配置软件包管理器

  上图步骤中，选“否”。

1.3.2.15 选择并安装软件

在上图步骤中，按“空格键”(space)选择要安装的软件服务（带*的表示选择需要安装的）。

1.3.2.16 将GRUB安装写至硬盘

1.3.2.17 结束安装进程

   到此，整个虚拟机Ubuant Linux Sever安装结束，Vmware自动重启虚拟机。

   通过hadoop用户登录linux。

1.3.3 编辑linux虚拟机hosts文件

  #sudo vi /etc/hosts

127.0.0.1 localhost
192.168.10.10 master
192.168.10.11 slave1





注：(1)因为/etc/hosts文件属于系统配置文件，需要root权限才能进行修改编辑，因此此处使用sudo给vi命令临时赋予root权限。如果不使用sudo命令，则编辑完hosts后，系统会提示该文件是只读的，不能保存修改。
   (2)linux服务器下，通过vi命令进行文本文件的编辑。进入编辑界面后，按下键盘上的“i”键，进入编辑模式，对文件进行修改；编辑完成后，先按下“Esc”键，再输入“:wq”保存编辑内容并退出编辑界面，输入“:q!”不保存修改强制退出编辑界面。
   (3)如果要安装多个虚拟机，可在hosts文件中增加相应的ip地址主机名对应行即可。

1.3.4 重启linux虚拟机