Hadoop+Hbase+Spark集群配置—前期准备(免密和jdk配置)


移除已有jdk（最小化安装没有自带jdk，可略过此步骤）

关闭防火墙（不同版本方法不一样）

所有机器同步时间

 

配置主机名hostname和hosts

 

 

配置密钥验证免密码登录[全部免密]

ssh-keygen -t rsa

cp id_rsa.pub authorized_keys

chmod 700 ~/.ssh/

chmod 600 ~/.ssh/authorized_keys

 

创建并分发备用目录

mkdir -pv /usr/hadoop/storage/zookeeper/{data,logs}

for ip in `seq 140 145`;do scp -r /usr/hadoop/storage slave$ip:/usr/hadoop/;done

配置hadoop环境变量

vi  /etc/profile

export JAVA_HOME=/usr/hadoop/jdk

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar

export PATH=$PATH:$JAVA_HOME/bin

##############java############################

export HADOOP_HOME=/usr/hadoop/hadoop

export HBASE_HOME=/usr/hadoop/hbase

export SPARK_HOME=/usr/hadoop/spark

##############hadoop-hbase-hive###############

export HADOOP_MAPRED_HOME=${HADOOP_HOME}

export HADOOP_COMMON_HOME=${HADOOP_HOME}

export HADOOP_HDFS_HOME=${HADOOP_HOME}

export YARN_HOME=${HADOOP_HOME}

export HADOOP_YARN_HOME=${HADOOP_HOME}

export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

分发配置文件

for ip in `seq 140 145`;do scp /etc/profile slave$ip:/etc/profile;done

启用配置文件

source  /etc/profile

安装并验证jdk