您的位置:首页 > 运维架构 > Linux

hadoop集群CentOS 6.5环境配置

2016-02-20 23:19 204 查看
一.关闭防火墙,设置静态IP、hostname

1.设置ip地址(建议,不设置为DHCP)

vi /etc/sysconfig/network-scripts/ifcfg-eth0


IPADDR="192.168.*.14"
NETMASK="255.255.255.0"
GATEWAY="192.168.8.1"
DNS1="8.8.8.8"
DNS2="8.8.4.4"


2.设置主机名

Hostname可以查看主机名称

vim  /etc/sysconfig/network


3.绑定主机名到ip上

(如:192.168.1.1 master)

Vim /etc/hosts


4.关闭防火墙以及自启动功能

执行命令

service iptables stop


验证:

service iptables status


关闭防火墙的自动运行

执行命令

chkconfig iptables off


验证:

chkconfig --list | grep iptables


5.关闭SELINUX

vi /etc/selinux/config
SELINUX=disabled


二.ntp同步集群时间

开机启动ntpd

sudo chkconfig ntpd on
vim /etc/ntp.conf


服务端:

Ntp服务端 加入

restrict 192.168.8.1/24 mask 255.255.255.0 nomodify


注释掉其他server同步服务器

新加入

server  202.120.2.101   133.100.11.8


以下是一些可用的NTP服务器地址:

Name    IP  Location
210.72.145.44   210.72.145.44   中国(国家授时中心)
133.100.11.8    133.100.11.8    日本(福冈大学)
time-a.nist.gov 129.6.15.28 NIST,Gaithersburg,Maryland
time-b.nist.gov 129.6.15.29 NIST,Gaithersburg,Maryland
time-a.timefreq.bldrdoc.gov 132.163.4.101   NIST,Boulder,Colorado
time-b.timefreq.bldrdoc.gov 132.163.4.102   NIST,Boulder,Colorado
time-c.timefreq.bldrdoc.gov 132.163.4.103   NIST,Boulder,Colorado
utcnist.colorado.edu    128.138.140.44  UniversityofColorado,Boulder
time.nist.gov   192.43.244.18   NCAR,Boulder,Colorado
time-nw.nist.gov    131.107.1.10    Microsoft,Redmond,Washington
nist1.symmetricom.com   69.25.96.13 Symmetricom,SanJose,California
nist1-dc.glassey.com    216.200.93.8    Abovenet,Virginia
nist1-ny.glassey.com    208.184.49.9    Abovenet,NewYorkCity
nist1-sj.glassey.com    207.126.98.204  Abovenet,SanJose,California
nist1.aol-ca.truetime.com   207.200.81.113  TrueTime,AOLfacility,Sunnyvale,California
nist1.aol-va.truetime.com   64.236.96.53    TrueTime,AOLfacility,Virginia


1 加入

server          127.127.1.0     #local clock
fudge   127.127.1.0 stratum 10    #服务器无法同步 同步自身


2 重启ntp服务

service ntpd restart


3 可以通过命令ntpstat查看同步情况



查看与上层NTP服务器的关系ntpq –p



客户端

1.注释掉其他server同步服务器

2.加入 server 主机服务器

3.保存并退出NTP配置文件,重新启动NTP服务。

ntpstat  synchronized

ntpq -p


三.设置SSH免密码登陆

cd  ~/.ssh


1.ssh-keygen –t rsa

cd  ~/.ssh


ssh-keygen –t rsa  ##一直回车


每台依次生成 公钥和私钥

2.ssh-copy-id -i node01

ssh-copy-id -i node01
##每台节点依次执行
ssh-copy-id –i  localhost
##(这里为要设置免密码登陆的机器,多个节点,localhost为本机)
scp authorized_keys  node02@root:~/.ssh
##将生成的 依次拷到其他节点


四.安装JDK

1.下载jdk

将jdk- jdk1.7.0_80.tar.gz解压放置linux的 /usr/local目录下

2.解压,

tar –zxvf jdk1.7.0_80.tar.gz


3.配置环境变量

vim /etc/profile
##增加两行内容:
export  JAVA_HOME=/usr/local/jdk1.7.0_80
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/jre/lib/dt.jar:$JAVA_HOME/jre/lib/tools.jar
export  HADOOP_HOME=/usr/local/hadoop-2.6.0
export  HIVE_HOME=/usr/local/hive-1.2.1
export  HBASE_HOME=/usr/local/hbase-0.98.15
export  ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.6
export  SCALA_HOME=/usr/local/scala-2.10.5
export  SPARK_HOME=/usr/local/spark-1.4.1
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH


source /etc/profile
##使环境变量生效


五、机器分配图:
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: