Spark2.0 + Hadoop2.7.2 + Centos7 集群部署<一>

Centos7 集群部署

到官网下载 virtualbox安装文件 https://www.virtualbox.org/wiki/Downloads
到官网下载centos7镜像文件  http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-Everything-1511.iso
安装好virtualbox之后，把centos7镜像文件导入virtualbox中，内存和磁盘空间根据机器情况自行配置(注：本人搭建的是4 个node的集群，存储空间需根据各自需求配置)

安装centos7 的时候，在其中某一步选择 GNOME Desktop, 并在右侧选择相应的安装软件。这样安装好centos之后，就不用自己下载网卡、显卡等系统软件了。



安装centos7 之后， 然后进行 Network Configuration。

首先关闭centos7，在virtualbox中再加入一个Adapter，其中一个Adapter 的 Attached to方式为 NAT，这块网卡是用来连接网络的。另外一个Adapter 的 连接方式为 Internal Network, 这块网卡是为了集群内部各个节点之间的通信。
配置/etc/sysconfig/network
              <script src="https://code.csdn.net/snippets/1885762"> </script>
配置/etc/sysconfig/network-scripts/ifcfg-enp0s3,这个文件是系统默认创建有的，修改该文件即可。该配置对应于NAT连接方式，是为了访问外网。
             <script  src="https://code.csdn.net/snippets/1885794"></script>

            

配置/etc/sysconfig/network-scripts/ifcfg-enp0s4，这个文件需要自己手动创建，对应于Internal Network 连接方式，是为了节点之间相互通信。
             <script src="https://code.csdn.net/snippets/1885800"></script>

配置 /etc/selinux/config
    <script src="https://code.csdn.net/snippets/1885802"></script>

配置 /etc/hosts
    <script src="https://code.csdn.net/snippets/1885826"></script>

配置ssh
      <script src="https://code.csdn.net/snippets/1885833"></script>

/etc/ssh/ssh_config
        <script src="https://code.csdn.net/snippets/1885836"></script>

至此，所有配置基本完成。关闭node1节点，在virtualbox中，选择配置好的node1，右键选择clone。clone其余三个节点node2、node3、node4。在其他三个节点中，分别修改

/etc/sysconfig/network-scripts/ifcfg-enp0s4,把IPADDR="192.168.3.
"设置成相应的ip
/etc/sysconfig/network, 把HOSTNAME=node
.cdm.com设置成相应的name
在四个节点中运行 sudo service NetworkManager restart,以及 sudo service network restart。 运行完这两条命令之后，所有节点之间的都可以互相访问，所有节点都可以访问外网。