您的位置:首页 > 理论基础 > 计算机网络

Hadoop平台搭建使用系列教程(5)- 网络以及初始统一环境配置

2013-06-05 21:46 936 查看
雪影工作室版权所有,转载请注明【http://blog.csdn.net/lina791211】
 Tips:以下操作完全可以在远程终端(SSH Secure ShellClient)中完成。


1、关闭防火墙

        打开Terminal终端,输入sudo ufw disable




2、更新软件源

        打开Terminal终端,输入sudo apt-get update

        (此步可以忽略)


3、安装或者更新ssh

        打开Terminal终端,输入sudo apt-get install ssh,安装完成以后就可以通过远程终端连接了。




4、安装或更新rsync

        打开Terminal终端,输入sudo apt-get install rsync
        图略


5、机器名称验证与修改

        Hadoop集群要第一章和第二章表格所示进行配置。如果实验室后来人在安装系统时,没有配置好也不要紧,没有必要重新安装,在安装完系统之后仍然可以根据后来的规划对机器的主机名进行修改。

        下面的例子我们将以Master机器为例,即主机名为"namenode",IP为"10.196.80.90"进行一些主机名配置的相关操作。其他的Slave机器(datanode)以此为依据进行修改。

1)查看当前机器名称

        用下面命令进行显示机器名称,如果跟规划的不一致,要按照下面进行修改。

hadoop@namenode:~$ hostname

namenode

 

2)修改当前机器名称

[b]        假定[/b]我们发现我们的机器的主机名不是我们想要的,通过对"/etc/hostname"文件修改其中"HOSTNAME"后面的值,改成我们规划的名称。

        在Ubuntu系统中永久修改主机名也比较简单。主机名存放在/etc/hostname文件中,修改主机名时,编辑hostname文件,在文件中输入新的主机名并保存该文件即可。重启系统后,参照上面介绍的快速查看主机名的办法来确认主机名有没有修改成功。

        值得指出的是,在其他Linux发行版中,并非都存在/etc/hostname文件。如Fedora发行版将主机名存放在/etc/sysconfig/network文件中。所以,修改主机名时应注意区分是哪种Linux发行版。

        图形界面下用gedit编辑,远程终端用vi编辑,然后保存。

        (vi的相关操作请参考网上的相关教程)。

hadoop@namenode:~$sudo gedit /etc/hostname

        或者

hadoop@namenode:~$sudo vi /etc/hostname


6、本机IP地址的设置

        假定我们的机器连IP在当时安装机器时都没有配置好,那此时我们需要对"eth0"文件进行配置,该文件位于" /etc/network/interfaces"文件夹下。使用gedit或者vi对该文件进行修改。
        或者可以直接通过图形界面进行IP的设置。
        具体操作不再赘述,与windows下的操作几乎一样。




7、hosts文件设置

        "/etc/hosts"这个文件是用来配置主机将用的DNS服务器信息,是记载LAN内接续的各主机的对应[HostName和IP]用的。当用户在进行网络连接时,首先查找该文件,寻找对应主机名(或域名)对应的IP地址。

        我们要测试两台机器之间知否连通,一般用"ping 机器的IP",如果想用"ping 机器的主机名"发现找不见该名称的机器,解决的办法就是修改"/etc/hosts"这个文件,通过把LAN内的各主机的IP地址和HostName的一一对应写入这个文件的时候,就可以解决问题。修改内容如下:

hadoop@namenode:~$ cat /etc/hosts

127.0.0.1 localhost

 

#127.0.1.1 namenode      #一定要注释掉,否则会出现各种坑爹的问题

 

10.196.80.90 namenode namenode                

#NameNode(Master)节点,通常应该是两个的                                                                        #namenode和jobtracker应该是分开的,这里就用一个了

10.196.80.91 datanode1 datanode1               
#节点群


10.196.80.92 datanode2 datanode2

10.196.80.93 datanode3 datanode3

 

# The following lines are desirable for IPv6 capable hosts

::1 ip6-localhost ip6-loopback

fe00::0 ip6-localnet

ff00::0 ip6-mcastprefix

ff02::1 ip6-allnodes

ff02::2 ip6-allrouters

hadoop@namenode:~$

        其它电脑的hosts文件就可以直接用此文件覆盖了。


8、文章下载地址

下载地址
      网站地址
        百度云     http://pan.baidu.com/share/link?shareid=156693402&uk=4010661479
        CSDN 
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息