hadoop集群CentOS 6.5环境配置
2016-02-20 23:19
204 查看
一.关闭防火墙,设置静态IP、hostname
1.设置ip地址(建议,不设置为DHCP)
2.设置主机名
Hostname可以查看主机名称
3.绑定主机名到ip上
(如:192.168.1.1 master)
4.关闭防火墙以及自启动功能
执行命令
验证:
关闭防火墙的自动运行
执行命令
验证:
5.关闭SELINUX
二.ntp同步集群时间
开机启动ntpd
服务端:
Ntp服务端 加入
注释掉其他server同步服务器
新加入
以下是一些可用的NTP服务器地址:
1 加入
2 重启ntp服务
3 可以通过命令ntpstat查看同步情况
查看与上层NTP服务器的关系ntpq –p
客户端
1.注释掉其他server同步服务器
2.加入 server 主机服务器
3.保存并退出NTP配置文件,重新启动NTP服务。
三.设置SSH免密码登陆
1.ssh-keygen –t rsa
每台依次生成 公钥和私钥
2.ssh-copy-id -i node01
四.安装JDK
1.下载jdk
将jdk- jdk1.7.0_80.tar.gz解压放置linux的 /usr/local目录下
2.解压,
3.配置环境变量
五、机器分配图:
1.设置ip地址(建议,不设置为DHCP)
vi /etc/sysconfig/network-scripts/ifcfg-eth0
IPADDR="192.168.*.14" NETMASK="255.255.255.0" GATEWAY="192.168.8.1" DNS1="8.8.8.8" DNS2="8.8.4.4"
2.设置主机名
Hostname可以查看主机名称
vim /etc/sysconfig/network
3.绑定主机名到ip上
(如:192.168.1.1 master)
Vim /etc/hosts
4.关闭防火墙以及自启动功能
执行命令
service iptables stop
验证:
service iptables status
关闭防火墙的自动运行
执行命令
chkconfig iptables off
验证:
chkconfig --list | grep iptables
5.关闭SELINUX
vi /etc/selinux/config SELINUX=disabled
二.ntp同步集群时间
开机启动ntpd
sudo chkconfig ntpd on vim /etc/ntp.conf
服务端:
Ntp服务端 加入
restrict 192.168.8.1/24 mask 255.255.255.0 nomodify
注释掉其他server同步服务器
新加入
server 202.120.2.101 133.100.11.8
以下是一些可用的NTP服务器地址:
Name IP Location 210.72.145.44 210.72.145.44 中国(国家授时中心) 133.100.11.8 133.100.11.8 日本(福冈大学) time-a.nist.gov 129.6.15.28 NIST,Gaithersburg,Maryland time-b.nist.gov 129.6.15.29 NIST,Gaithersburg,Maryland time-a.timefreq.bldrdoc.gov 132.163.4.101 NIST,Boulder,Colorado time-b.timefreq.bldrdoc.gov 132.163.4.102 NIST,Boulder,Colorado time-c.timefreq.bldrdoc.gov 132.163.4.103 NIST,Boulder,Colorado utcnist.colorado.edu 128.138.140.44 UniversityofColorado,Boulder time.nist.gov 192.43.244.18 NCAR,Boulder,Colorado time-nw.nist.gov 131.107.1.10 Microsoft,Redmond,Washington nist1.symmetricom.com 69.25.96.13 Symmetricom,SanJose,California nist1-dc.glassey.com 216.200.93.8 Abovenet,Virginia nist1-ny.glassey.com 208.184.49.9 Abovenet,NewYorkCity nist1-sj.glassey.com 207.126.98.204 Abovenet,SanJose,California nist1.aol-ca.truetime.com 207.200.81.113 TrueTime,AOLfacility,Sunnyvale,California nist1.aol-va.truetime.com 64.236.96.53 TrueTime,AOLfacility,Virginia
1 加入
server 127.127.1.0 #local clock fudge 127.127.1.0 stratum 10 #服务器无法同步 同步自身
2 重启ntp服务
service ntpd restart
3 可以通过命令ntpstat查看同步情况
查看与上层NTP服务器的关系ntpq –p
客户端
1.注释掉其他server同步服务器
2.加入 server 主机服务器
3.保存并退出NTP配置文件,重新启动NTP服务。
ntpstat synchronized ntpq -p
三.设置SSH免密码登陆
cd ~/.ssh
1.ssh-keygen –t rsa
cd ~/.ssh
ssh-keygen –t rsa ##一直回车
每台依次生成 公钥和私钥
2.ssh-copy-id -i node01
ssh-copy-id -i node01 ##每台节点依次执行 ssh-copy-id –i localhost ##(这里为要设置免密码登陆的机器,多个节点,localhost为本机) scp authorized_keys node02@root:~/.ssh ##将生成的 依次拷到其他节点
四.安装JDK
1.下载jdk
将jdk- jdk1.7.0_80.tar.gz解压放置linux的 /usr/local目录下
2.解压,
tar –zxvf jdk1.7.0_80.tar.gz
3.配置环境变量
vim /etc/profile ##增加两行内容: export JAVA_HOME=/usr/local/jdk1.7.0_80 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/jre/lib/dt.jar:$JAVA_HOME/jre/lib/tools.jar export HADOOP_HOME=/usr/local/hadoop-2.6.0 export HIVE_HOME=/usr/local/hive-1.2.1 export HBASE_HOME=/usr/local/hbase-0.98.15 export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.6 export SCALA_HOME=/usr/local/scala-2.10.5 export SPARK_HOME=/usr/local/spark-1.4.1 export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
source /etc/profile ##使环境变量生效
五、机器分配图:
相关文章推荐
- 0220自学Linux_逻辑理解用户进程权限相关+理解文件内各字段(passwd,shadow,group)
- CCKiller:Linux轻量级CC攻击防御工具,秒级检查、自动拉黑和释放
- CentOS系统下安装 LNAM环境
- 老男孩Linux运维04-配置secureCRT远程连接Linux及功能配置
- Linux.BackDoor.Chikdos/Elknot Attack And Defense Analysis
- Linux下搭建maven 私服
- Linux Shell+Curl网站健康状态检查脚本,抓出中国博客联盟失联站点
- 从初识Linux到离不开系列(七)核心——传输
- linux 下SVN服务端创建版本库
- [linux]linux命令学习-netstat
- 在 centos 下建立 ftp 服务器
- Linux dd命令中dsync与fdatasync的区别
- linux 同步IO: sync、fsync与fdatasync
- Linux笔记(8)——关机与重启命令
- Linux CentOS系统设置文件夹打开方式
- 使用VS GDB扩充套件在VS上远端侦错Linux上的C/C++程序
- 【Linux 基础篇】之服务
- Linux命令
- Linux CentOS系统下菜单栏和任务消失的解决办法
- Linux笔记(7)——压缩命令