搭建大数据平台主机环境准备

主机名配置

查看主机名：

hostname

临时修改：

hostname  maste1

永久修改

vim /etc/sysconfig/network
HOSTNAME=maste1

配置主机映射

修改/etc/host

vim /etc/hosts
134.32.73.3 maste1
134.32.73.4 maste2
134.32.73.5 slave1
134.32.73.6 slave2
134.32.73.7 slave3

防火墙配置

检查防火墙状态

service iptables stauts

关闭防火墙

service iptables stop

禁止开机启动

chkconfig iptables off

禁用IPV6

查看Ipv6是否开启

ifconfig

临时禁用

sh -c 'echo 1 > /proc/sys/net/ipv6/conf/all/disable_ipv6'

永久禁用

# echo "                   " >> /etc/modprobe.d/dist.conf
# echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
# echo "alias ipv6 off"      >> /etc/modprobe.d/dist.conf

关闭SELINUX

查看状态

/usr/sbin/sestatus -v

关闭

vim /etc/selinux/config

SELINUX=disabled

重启服务器

reboot

创建用户，并进行sudo权限配置

创建组及用户

groupadd hadoop

useradd -mg hadoop hadoop

修改sudoers权限

chmod u+w /etc/sudoers

vim /etc/sudoers

添加下面行：

hadoop  ALL=(ALL)       ALL

配置SSH免密登录

root用户验证设置

vim /etc/ssh/sshd_config

启用

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile      .ssh/authorized_keys

修改完成保存并重启服务

service sshd restart

转到用户的家目录的.ssh目录，并删除所有文件,没有的话自己创建(

mkdir .ssh

)

cd ~.ssh/

rm -r ./*

生成每台机器的秘钥 3次回车

ssh-keygen -t rsa

发送前需要给用户创建密码，此步使用，发送公钥给每台机器，也要发给自己

cd .ssh/

ssh-copy-id hostname

-》登录验证

ssh master2

exit

NTP时间同步（CentOS）

检查ntp服务是否启动

service ntpd status

修改server配置文件/etc/ntp.conf

》1、配置允许哪些网段的机器可以对我进行同步

# Hosts on local network are less restricted.

restrict 134.32.73.0 mask 255.255.255.0 nomodify notrap

》2、由于是内网环境，就不需要这些服务配置，注释

# Please consider joining the pool (http://www.pool.ntp.org/join.html).

#server 0.centos.pool.ntp.org

#server 1.centos.pool.ntp.org

#server 2.centos.pool.ntp.org

》3、如果server匹配不上，默认使用本地时间

server  127.127.1.0     # local clock

fudge   127.127.1.0 stratum 10

启动ntp服务

service ntpd start

开机启动

chkconfig ntpd on

查看端口

netstat -tunlp | grep ntp

查看状态

ntpstat

查看可同步的服务

ntpq -p

修改agent配置文件/etc/ntp.conf

》1-同步server的地址

server 134.32.73.3

》2-允许server修改时间的限制条件

restrict 134.32.73.3 nomodify notrap noquery

-》启动ntp服务

service ntpd start

-》手动的同步

ntpdate -u 134.32.73.3

可以进行crontab配置，定时同步

crontab -e

*/10 * * * * /usr/sbin/ntpdate 134.32.73.3