hadoop集群

• 一、准备工作
• 二、目录管理
• 三、安装
• 四、环境配置
• 五、hadoop 格式化 hdfs 并配置 hadoop-native库
• 六、配置从节点（虚拟机）
• 七、启动 hadoop

一、准备工作

1. 主节点和从节点虚拟机之间，已经配置免密登录
2. 主节点和从节点虚拟机之间，已经配置网络和jdk

二、目录管理

1. 将 hadoop的安装包挂在到虚拟机
   cd /opt/install/
   mkdir hadoop ls
   结果：hadoop-2.6.0-cdh5.14.2.tar.gz hadoop-native-64-2.6.0.tar
2. 配置文件安装目录
   cd /opt/bigdata
   mkdir hadoop ls

三、安装

1. 解压安装hadoop
   cd /opt/install/hadoop
   tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/bigdata/hadoop/
   cd /opt/bigdata/hadoop
2. 重命名hadoop安装文件
   mv hadoop-2.6.0-cdh5.14.2/ hadoop2.6.0
3. 修改hadoop文件权限
   chown -R root:root hadoop260/
   ls -la

四、环境配置

1. 配置JDK
   cd /opt/bigdata/hadoop/hadoop2.6.0
   vi etc/hadoop/hadoop-env.sh
   编辑输入：
   export JAVA_HOME=/opt/bigdata/java/jdk1.8.0

2. 配置hadoop fs 文件系统
   （集群配置时网络IP地址改为主机名）
   vi etc/hadoop/core-site.xml
   编辑输入：
   
   
   fs.defaultFS
   hdfs://主机名:9000
   
   
   hadoop.tmp.dir
   /opt/bigdata/hadoop/hadoop2.6.0
   
   
   hadoop.proxyuser.root.hosts
   
   
   
   hadoop.proxyuser.root.groups
   
   
   

3. 配置 hadoop replicas 备份
   （集群配置时 dfs.replicas 备份数量改为2；dfs.hosts 添加节点白名单）
   cd /opt/bigdata/hadoop
   pwd 结果：/opt/bigdata/hadoop
   mkdir hdfs
   ls 结果：hadoop2.6.0 hdfs
   cd /opt/bigdata/hadoop/hdfs
   mkdir namenode datanode
   ls 结果：datanode namenode
   cd /opt/bigdata/hadoop/hadoop2.6.0
   vi etc/hadoop/hdfs-site.xml
   编辑输入：
   
   
   dfs.replication
   2
   
   
   dfs.permissions
   false
   
   

4. 配置 hadoop mapreduce 计算框架
   （mapreduce.jobhistory.address 添加jobhistory访问端口
   mapreduce.jobhistory.webapp.address 添加jobhistory web访问端口 ）
   cd /opt/bigdata/hadoop/hadoop2.6.0
   cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
   vi etc/hadoop/mapred-site.xml
   编辑输入：
   
   
   mapreduce.framework.name
   yarn
   
   

5. hadoop yarn 管理调度
   （yarn.log-aggregation.retain-seconds 添加yarn日志保留时间为7天（单位秒）
   yarn.nodemanager.aux-services.mapreduce.shuffle.class 添加指定shuffle计算具体类型
   yarn.resourcemanager.hostname 添加yarn主机名）
   cd /opt/bigdata/hadoop/hadoop2.6.0
   vi etc/hadoop/yarn-site.xml
   编辑输入：
   
   
   yarn.nodemanager.aux-services
   mapreduce_shuffle
   
   
   yarn.resourcemanager.hostname
   vmmaster
   
   

6. 配置 hadoop slaves 主机名
   (注意：hadoop 3.0 以上版本 slaves 更名为 workers
   添加所有节点主机名 vwmaster:yarn.resourcemanager
   添加所有节点主机名 vwjob:mapreduce.jobhistory
   添加所有节点主机名 vwslave01/02:datanode)
   cd /opt/bigdata/hadoop/hadoop2.6.0
   vi etc/hadoop/slaves
   编辑输入：（虚拟机从机别名列表）
   vmslave1
   vmslave2
   vmslave3
   查看指令：hostname
   设置主机名：hostnamectl set-hostname 主机名

7. 配置 hadoop 环境变量
   cd /opt/bigdata/hadoop/hadoop2.6.0
   vi /etc/profile
   编辑输入：
   export JAVA_HOME=/opt/bigdata/java/jdk1.8.0
   export TOMCAT_HOME=/opt/bigdata/java/tomcat8.5
   export NODE_HOME=/opt/bigdata/elk/nodejs8.11

   export HADOOP_HOME=/opt/bigdata/hadoop/hadoop2.6.0
   export HADOOP_MAPRED_HOME=HADOOPHOMEexportHADOOPCOMMONHOME=HADOOP_HOME export HADOOP_COMMON_HOME=HADOOPH​OMEexportHADOOPC​OMMONH​OME=HADOOP_HOME
   export HADOOP_HDFS_HOME=HADOOPHOMEexportYARNHOME=HADOOP_HOME export YARN_HOME=HADOOPH​OMEexportYARNH​OME=HADOOP_HOME
   export HADOOP_COMMON_LIB_NATIVE_DIR=HADOOPHOME/lib/nativeexportHADOOPOPTS="−Djava.library.path=HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=HADOOPH​OME/lib/nativeexportHADOOPO​PTS="−Djava.library.path=HADOOP_HOME/lib"

   export PATH=HADOOPHOME/bin:HADOOP_HOME/bin:HADOOPH​OME/bin:HADOOP_HOME/sbin:NODEHOME/bin:NODE_HOME/bin:NODEH​OME/bin:JAVA_HOME/bin:TOMCATHOME/bin:TOMCAT_HOME/bin:TOMCATH​OME/bin:PATH
   export CLASSPATH=.:JAVAHOME/lib/dt.jar:JAVA_HOME/lib/dt.jar:JAVAH​OME/lib/dt.jar:JAVA_HOME/lib/tools.jar

8. 激活环境变量配置
   source /etc/profile

五、hadoop 格式化 hdfs 并配置 hadoop-native库

1. 格式化 hdfs
   cd /opt/bigdata/hadoop/hadoop2.6.0/bin
   hdfs namenode -format
   信息说明：格式化成功
   SHUTDOWN_MSG: Shutting down NameNode at vwmaster/IP地址
   注意：若格式化失败，检查前面的配置是否有误
   再次格式化，必须删除/opt/bigdata/hadoop/hdfs目录下的datanode和namenode和tmp。
2. 安装 hadoop-native库
   cd /opt/install/hadoop
   tar -xf hadoop-native-64-2.6.0.tar -C /opt/bigdata/hadoop/hadoop2.6.0/lib/native/
   cd /opt/bigdata/hadoop/hadoop2.6.0/lib/native

六、配置从节点（虚拟机）

1. 将主节点hadoop文件压缩 /opt/bigdata/hadoop
   tar -zcf /opt/bigdata/linux-hadoop260.tar.gz hadoop/
2. 将hadoop压缩文件，传输到各个从节点。
   scp /opt/bigdata/linux-hadoop260.tar.gz root@vmslave1:/opt/bigdata/。
3. 从节点，压缩文件解压
   tar -zxf linux-hadoop260.tar.gz
4. 检查相关环境变量配置，并激活
   source /etc/profile
5. 删除hadoop生成的压缩文件
   rm -rf linux-hadoop260.tar.gz

七、启动 hadoop

1. 进入 hadoop 的 bin目录
   cd /opt/bigdata/hadoop/hadoop2.6.0/bin
2. 启动 hadoop
   start-dfs.sh
   start-yarn.sh
3. 启动 jobhistory 查看 hadoop 服务状态
   cd /opt/bigdata/hadoop/hadoop2.6.0/sbin
   jps
   ./mr-jobhistory-daemon.sh start historyserver
4. 查看 hadoop 服务状态
   cd /opt/bigdata/hadoop/hadoop2.6.0/sbin
   jps
   结果展示：
   6800 NodeManager
   7329 Jps
   6387 DataNode
   6548 SecondaryNameNode
   6264 NameNode
   6697 ResourceManager
   7259 JobHistoryServer
   http://IP地址: 50070 8088 19888
5. 关闭 hadoop
   cd /opt/bigdata/hadoop/hadoop2.6.0/bin
   stop-all.sh
   注意：若启动或关闭 hadoop 需要输入密码的解决方法
   cd /root/.ssh
   ls 结果：authorized_keys id_rsa id_rsa.pub known_hosts
   cat id_rsa.pub >>authorized_keys
   ssh localhost