Hadoop单机学习环境配置

详细配置戳这里：hadoop学习通过虚拟机安装hadoop完全分布式集群

以下是简单命令摘要：

安装虚拟机VM ——> 安装centos ——>

1. 生成组用户

sudo groupadd hadoop

sudo useradd –s /bin/bash –d /home/ztf –m ztf –g hadoop –G admin

sudo passwd zhm

su zhm 

/etc/sudoers：

## Allow root to run any commands anywhere

root ALL=(ALL) ALL
ztf ALL=(ALL) ALL

2. 生成SSH

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

以上命令是产生公私密钥，产生目录在用户主目录下的.ssh目录中，如下：

cd .ssh/
id_dsa.pub为公钥，id_dsa为私钥，紧接着将公钥文件复制成authorized_keys文件，这个步骤是必须的，过程如下：

cat id_dsa.pub >> authorized_keys

单机回环免密码登陆测试：

ssh localhost

exit

3. ssh连接master与slave节点

scp ztf@master:~/.ssh/id_dsa.pub ./master_dsa.pub

cat master_dsa.pub >> authorized_keys

如果连接失败，则需要关闭master主机防火墙：systemctl stop firewalld.service

进入master主机.ssh目录测试连接：

ssh slave1 

exit

ssh slave1

exit

第一遍连接需要输入密码，第二次不需要输入密码。

4. 下载并解压hadoop安装包

我是下载到windows，设置了虚拟机与linux的共享文件，把安装包放在共享文件夹下，同步到三个虚拟机中。

设置方式：

前提条件：vmware workstation 软件+centos

1) 将虚拟机关机。

①将虚拟机关机。选中需要操作的虚拟机，右击鼠标，弹出对话框，选择settings。

②弹出的对话框中选择option标签页中的share folder，点add增加共享路径，别忘了勾选always enable。

2) 安装vmware-tools。

①运行虚拟机，启动后鼠标右键需要设置的虚拟机，在弹出的对话框中选择Install Vmware Tools，这时，vmware会自己去网上下载工具。（虚拟机非开机状态，安装vmware-tools选项为灰色）

 ②vmware工具下载完成后，显示提示框，告诉你怎么安装，见下图。它说vmware tools工具放在ISO镜像中，把镜像挂载上去，然后把里面的包解压，运行vmware-install.pl，就可以的。

3) 安装完成后就大功告成了，可以去cd /mnt/hgfs/，然后ls，就可以看到共享的文件夹了。

vmware下找不到hgfs

CentOS 6 安装VMWare tools，以及解决安装后/mnt中有hgfs但没共享文件的方法

----------------------------------------------------

配置过程中常用命令解析：

su - ：su命令和su -命令最大的本质区别就是，前者只是切换了root身份，但Shell环境仍然是普通用户的Shell；而后者连用户和Shell环境一起切换成root身份了。只有切换了Shell环境才不会出现PATH环境变量错误。

sudo su -：通过sudo，我们能把某些超级权限有针对性的下放，并且不需要普通用户知道root密码，所以sudo 相对于权限无限制性的su来说是比较安全的。sudo 也能被称为受限制的su，或授权许可的su。sudo 执行命令的流程是当前用户切换到root（或其它指定切换到的用户），然后以root（或其它指定的切换到的用户）身份执行命令，执行完成后，直接退回到当前用户；而这些的前提是要通过sudo的配置文件/etc/sudoers来进行授权；