hadoop-3.0.0-beta1运维手册（003）：安装全分布式HDFS3.0.0-准备软件和配置CentOS网络

3.1 准备软件

HDFS是Hadoop的一个组件，它并没有单独发布，因此，我们需要下载Hadoop的安装包。
1. 下载Hadoop3.0.0-beta1，保存到d:\hdfs3\soft



3-1 Hadoop存储路径图
有关beta1版本的介绍：它是API稳定的版本，但不保证质量，并且不打算用于生产环境。因此，此版本可以用来提前学习，待stable版本出来后，可以直接替换上生产环境。
 

 2. 下载JDK
Hadoop是用java编写的，JDK提供了java程序的运行环境，因此，需要下载JDK。
Hadoop3.0版本要求JDK1.8以上，不兼容JDK1.7以及之前的版本。
JDK1.8有32bit和64bit两种，那么我们应该选哪一个版本呢？
Java程序本身不区分32bit和64bit，因为它面对的是一个统一的JVM；JDK则区分32bit和64bit，JDK
32bit表示它运行在32位机器上，JDK 64bit则表示它运行在64位的机器上。
我们安装的Centos7是64位的，因此，要选择64bit的JDK。
下载jdk-8u152-linux-x64.tar.gz
同样保存到d:\hdfs3\soft

3.2 配置Centos网络

我们下载的Hadoop3.0.0和JDK1.8保存在Host(Win7)上，需要通过网络上传到Guest（Centos7）。因此，需要配置Guest上的网络，使得Host和Guest能够联通。
Host和Guest之间的网络连接如下图所示：
 


 

3-2 Vmware workstation host-only虚拟网络连接图
1. Host和Guest之间是通过Host-only虚拟网络连接的。
注意：Host和Guest之间有3种类型的虚拟网络可以连接，分别是Bridged、NAT和Host-only。其中Bridge可以使得Guest能够被Host所连接的网络上的机器所访问，但它需要Host真正连接到了一个物理网络；NAT可以共享Host的外部IP上互联网；Host-only是Guest和Host之间的一个私有网络，它不要求Host真正连接到一个物理网络，因此，最方便。有关这三种网络的原理和使用，请参考艾叔的高清视频《VMware
Workstation虚拟机实战入门》，视频中有详细的说明。
2. Host连接到虚拟网络的网卡名字是VMNet1。这是如何知道的呢？我们可以打开VMware workstation的Virtual
Network Editor，如下图。


 
3-3 Vmware workstation 虚拟网络编辑器
然后，我们可以看到虚拟网络的信息，我们看到的VMnet0对应Bridged虚拟网络，VMnet1对应Host-only虚拟网络；VMnet8对应NAT虚拟网络。
选中VMnet1，向下红色的部分，我们可以看到“Host virtual adapter name: VMware Network Adapter VMnet1”，这个就是Host-only虚拟网络中，Host主机的虚拟网卡名。如果我们选中VMnet0，则可以看到Bridged虚拟网络中，Host主机的虚拟网卡名为VMnet0。



3-4 Vmware workstation host-only虚拟网络配置界面
3. VMnet1的IP地址是192.168.182.1。这个是如何知道的呢？
首先，我们看VMnet1虚拟网络子网地址是：192.168.182.0。VMnet1网卡具体的IP地址，要到Windows的网络连接里去看。
打开Windows的网络连接，找到网卡VMnet1，如下。



3-5 Vmware workstation host虚拟网卡
查看IP地址，可以看到是192.168.182.1。



3-6 Vmware workstation host-only虚拟网络连接图
验证，在CMD中ping 192.168.182.1。
注意：这一步非常重要！！！



3-7 Vmware workstation host ping自己
注意：如果Ping不通的话，Guest关机，然后尝试恢复虚拟机网络的默认值，如下，点击Restore
Default。
恢复需要等待一段时间，然后Host-only的子网地址会改变，VMnet1的IP同样会改变。因此，需要再次查看VMnet1的IP，然后ping这个新的IP。



3-8 Vmware workstation 恢复默认网络设置图
4. 我们要检查Guest是否选择了Host-only网络
首先，确认下面的Device status的复选框都选中；
其次，Network connection下面的单选框要选中：Host-only，如下红线所示。



3-9 Vmware workstation 网络设备状态图
5. 查看Guest上的网络的网卡和IP
Guest登录
输入命令：ip a
将显示Guest上的网卡和IP信息，我们可以看到Guest上有一块网卡，名字为ens33，它的Mac地址为：00:0C:29:77:B8:70，IP地址由于没有设置，因此，在mac地址下面没有显示。



3-10 CentOS网络设备查看图
6. 设置IP
使用文本编辑器vi（有关Linux命令，vi的使用，请参考高清视频《艾叔：Linux入门-零基础会用Linux》，精选了Linux下使用最频繁的命令进行讲解，用最短的时间掌握最有用的操作。）打开网卡的配置文件。



3-11 vi编辑网卡配置文件
内容如下



3-12 CentOS网卡配置图
按下i，应该可以看到左下角出现INSERT



3-13 vi插入状态图
编辑下面红色的部分



3-14 新的CentOS网卡配置图
按下ESC，应该可以看到左下角的INSERT消失
输入引号:，左下角应该出现一个引号



3-15 vi末行状态
输入wq



3-16 vi保存退出
回车，此时保存文件并退出
关闭网卡



3-17 CentOS关闭网络
启动网卡，将加载我们刚才的配置
 



3-18 CentOS开启网络
验证，可以看到网卡ens33的IP已经设置



3-19 CentOS查看网络
重启，看配置是否仍然生效


 
3-20 CentOS重启
重启登录，查看IP地址，可以看到192.168.182.11，说明配置已经生效


 
3-21 CentOS查看IP地址
验证Guest和Host是否联通
从Host去Ping Guest，看是否能够Ping通，如下所示，是可以Ping通的。



3-22 Host ping Guest

3.3 上传软件到Centos

1. 创建普通用户
在上传软件之前，我们要在Centos上创建一个普通用户，在Linux下，我们要尽可能地在普通用户下工作，这是一个好习惯。
使用下面的命令创建一个普通用户，用户名为user，并且为该用户���������建它的home目录。



3-23 创建普通用户及其home目录
设置user用户的密码，为简单起见，我们密码同样设置为123456。
注意，设置密码的命令为：passwd user
在下面的横线处，输入123456，注意123456不会有回显。



3-24 设置普通用户密码
如果我们可以看到sucessfully，则说明设置成功。
切换到user，切换过去后，我们可以看到#变成了$，$表示当前用户为普通用户。



3-25 切换到普通用户
打印当前工作路径，是/home/user，这个是user的home目录，后续我们将软件上传到此目录下。



3-26 显示当前工作路径
2. 确认sshd服务
通过sshd服务，我们可以软件从Host上传到Guest，下面的命令将确认Centos上是否开启了sshd服务，如果可以看到红圈内的22，则说明服务已经开启。


 
3-27 显示当前端口
3. 下载WinSCP
WinSCP是一个Windows（Host）下的软件，它与Guest上的sshd交互，可以完成文件的传输。
下载后，直接解压即可，无需安装。



3-28 解压目录
点击WinSCP
在右侧文件协议中选择SCP
主机名：192.168.182.11
端口号：22
用户名：user，密码：123456
点击登录


 
3-29 winscp连接配置界面
在弹出的对话框中选择Y


 
3-30 winscp连接对话框
登录，界面如下，左侧为Host主机的目录，右侧为Guest主机的目录



3-31 winscp传输界面
右侧Guest目录为/home/user
在左侧找到我们要上传的文件，然后将其拖拽到右侧，如下，注意红线所指的路径是/home/user。



 
3-32 winscp本地存储路径
上一篇：《hadoop-3.0.0-beta1运维手册（002）：安装Guest操作系统》
原创文章，转载请注明： 转载自大数据学习网，作者：艾叔
本文链接地址: http://www.bigdatastudy.net/show.aspx?id=435&cid=8