Hadoop-3.3.0 安装
*Hadoop 安装
1、下载 Hadoop
下载地址:http://hadoop.apache.org/
Hadoop 安装地址:/usr/local/hadoop/hadoop-3.3.0
2、 解压 Hadoop 到指定文件夹
tar -zxf hadoop-3.2.0.tar.gz -C /usr/local/hadoop
3、 查看 Hadoop 版本信息
cd /usr/hadoop/local/hadoop-3.2.0
./bin/hadoop version
4. Hadoop 配置
4.1 建立目录
在 /usr/hadoop/ 目录下,建立 tmp、hdfs/name、hdfs/data 目录
mkdir /usr/local/hadoop/tmp
mkdir /usr/local/hadoop/hdfs
mkdir /usr/local/hadoop/hdfs/data
mkdir /usr/local/hadoop/hdfs/name
4.2 设置环境变量
设置环境变量
vi /etc/profile
#set hadoop path export HADOOP_HOME=/usr/hadoop/hadoop-3.2.0 export PATH=$PATH:$HADOOP_HOME/bin
使环境变量生效
source /etc/profile
CentOS版本用
source ~/.bash_profile
4.3 修改 Hadoop 配置文件
配置以下 5 个文件:
hadoop-3.2.0/etc/hadoop/hadoop-env.sh
hadoop-3.2.0/etc/hadoop/core-site.xml
hadoop-3.2.0/etc/hadoop/hdfs-site.xml
hadoop-3.2.0/etc/hadoop/mapred-site.xml
hadoop-3.2.0/etc/hadoop/yarn-site.xml
4.3.1 hadoop-env.sh
#The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/java/jdk1.8.0_152
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
4.3.2 core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> ####注释 : HDFS的URI,文件系统://namenode标识:端口号 </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> ###注释: namenode上本地的hadoop临时文件夹 </property> </configuration>
4.3.3 hdfs-site.xml
dfs.replication 配置的是 HDFS存储时的备份数据(datanode的备份),因为我们刚开始测试,只有一个结点比较好,股设置为1.
<configuration> <property> <name>dfs.replication</name> <value>1</value> <description>副本个数,配置默认是3,应小于datanode机器数量</description> </property> </configuration>
4.3.4 mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
4.3.5 yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
5、HDFS 启动
(1)格式化 HDFS
Bin/hdfs namenode -format
格式化是对 HDFS这个分布式文件系统中的 DataNode 进行分块,统计所有分块后的初始元数据的存储在namenode中。(如果服务器再次启动,也需要进行这步,否则启动可能会失败)
(2)启动 NameNode
Sbin/hadoop-daemon.sh start namenode
(3)启动 DataNode
Sbin /hadoop-daemon.sh start datanode
(4)启动 SecondaryNameNode
Sbin/hadoop-daemon.sh start secondarynamenode
(5)使用 jps 命令查看是否启动成功,有结果就成功了。
(6) 然后就可以使用 bin/hdfs dfs —help 里面的命令了,比如 -ls -mkdir 等和 linux 类似的命令。
hdfs dfs -ls /
- 安装hadoop+hbase伪分布式
- 入门安装hadoop安装方法2---安装
- Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境)
- Mac OS X 10.10 运用 Homebrew安装Hadoop 2.7.1
- HADOOP2.5.0_64安装日志
- mac OS 10.11.6 安装 Hadoop 2.7.3
- 大数据——hadoop1.2.1+hbase0.94.11+nutch2.2.1+elasticsearch0.90.5安装配置攻略(中集)
- Hadoop集群监测工具——ganglia安装实例
- hadoop集群安装教程
- 1.如何在虚拟机ubuntu上安装hadoop多节点分布式集群
- 腾讯云安装Hadoop遇到的问题
- Hadoop+Spark+Scala+R+PostgreSQL+Zeppelin安装过程-Hadoop安装及测试
- lzo的安装及在hadoop中的配置
- ubuntu安装hadoop(伪分布)
- Haoop , Spark安装实例教程--Hadoop安装
- Linux下hadoop的安装
- hadoop学习笔记(二):安装hive
- Sqoop1.99.3安装(Hadoop 2.4.1版本)
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
- Spark3.0.0 on yarn (基于hadoop3.2 ) 分布式安装 - 避坑指南