centos 上hadoop2.7.3安装部署 单机版
2018-01-14 15:14
573 查看
前提 :centos 上1.8 jdk 环境
1 hadoop 2.7.3下载
下载链接
http://hadoop.apache.org/releases.html
2 解压
放进自己想要放的目录下 加压
我的目录 /usr/hadoop/hadoop-2.7.3/
3 hadoop 配置
1.修改/usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
文件,将java安装路径加进去:
4配置hadoop环境变量
命令 tar zxvf hadoop-2.7.3.tar.gz
回车 ;
点 i 增加下面的两项;
完后按Esc : wq 回车;
使用下面命令 保存配饰文件
source /etc/profile
5修改/usr/hadoop/hadoop2.7.3/etc/hadoop/core-site.xml 文件
fs.defaultFS直接用localhost就行
6修改/usr/hadoop/hadoop2.7.3/etc/hadoop/hdfs-site.xml
name 和data 目录需要自己创建
7 ssh 免密登录
8hdfs启动与停止
在安装期间启动hdfs需要格式化,之后启动就不需要的。
启动命令:
停止命令:
启动之后 输入命令
从图中看,会启动namenode,datanode,secondarynamenode
浏览器输入:http://192.168.1.184:50070 查看效果
9 接下来配置yarn文件. 配置/usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml
。这里注意一下,hadoop里面默认是mapred-site.xml.template 文件,如果配置yarn,把mapred-site.xml.template 重命名为mapred-site.xml 。如果不启动yarn,把重命名还原。
10 配置/usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml文件
启动 yarn
停止:
两个命令启动之后 利用jps命令 查看
如图 缺一不可(后面要搭建hbase ):
浏览器输入:http://192.168.1.184:8088
如果端口占用,先把占用的端口杀掉 查看用netstat -ano
搭建过程中遇到的问题先检查配置文件,
到此就OK了
1 hadoop 2.7.3下载
下载链接
http://hadoop.apache.org/releases.html
2 解压
放进自己想要放的目录下 加压
我的目录 /usr/hadoop/hadoop-2.7.3/
3 hadoop 配置
1.修改/usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
文件,将java安装路径加进去:
export JAVA_HOME=/mnt/jdk1.8.0_151
4配置hadoop环境变量
命令 tar zxvf hadoop-2.7.3.tar.gz
回车 ;
点 i 增加下面的两项;
完后按Esc : wq 回车;
使用下面命令 保存配饰文件
source /etc/profile
5修改/usr/hadoop/hadoop2.7.3/etc/hadoop/core-site.xml 文件
<configuration> <!-- 指定HDFS老大(namenode)的通信地址 node1要在hosts 的配置中映射 --> <property> <name>fs.defaultFS</name> <value>hdfs://node1:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储路径 --> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/hadoop/tmp</value> </property> </configuration>
fs.defaultFS直接用localhost就行
6修改/usr/hadoop/hadoop2.7.3/etc/hadoop/hdfs-site.xml
<configuration> <property> <name>dfs.name.dir</name> <value>file:/usr/hadoop/hdfs/name</value> <description>namenode上存储hdfs名字空间元数据 </description> </property> <property> <name>dfs.data.dir</name> <value>file:/usr/hadoop/hdfs/data</value> <description>datanode上数据块的物理存储位置</description> </property> <!-- 设置hdfs副本数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
name 和data 目录需要自己创建
7 ssh 免密登录
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys
8hdfs启动与停止
在安装期间启动hdfs需要格式化,之后启动就不需要的。
cd /usr/hadoop/hadoop-2.7.3 ./bin/hdfs namenode -format
启动命令:
./sbin/start-dfs.sh
停止命令:
./sbin/stop-dfs.sh
启动之后 输入命令
从图中看,会启动namenode,datanode,secondarynamenode
浏览器输入:http://192.168.1.184:50070 查看效果
9 接下来配置yarn文件. 配置/usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml
。这里注意一下,hadoop里面默认是mapred-site.xml.template 文件,如果配置yarn,把mapred-site.xml.template 重命名为mapred-site.xml 。如果不启动yarn,把重命名还原。
<configuration> <!-- 通知框架MR使用YARN --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
10 配置/usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml文件
<configuration> <!-- reducer取数据的方式是mapreduce_shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
启动 yarn
./start-yarn.sh
停止:
./stop-yarn.sh
两个命令启动之后 利用jps命令 查看
如图 缺一不可(后面要搭建hbase ):
浏览器输入:http://192.168.1.184:8088
如果端口占用,先把占用的端口杀掉 查看用netstat -ano
搭建过程中遇到的问题先检查配置文件,
到此就OK了
相关文章推荐
- hadoop2.7.3在centos7上部署安装(单机版)
- hadoop2.7.3在centos7上部署安装(单机版)
- hadoop2.7.3在centos7上部署安装(单机版)
- CentOS下SparkR安装部署:hadoop2.7.3+spark2.0.0+scale2.11.8+hive2.1.0
- hadoop2.7.3在centos7上部署安装(单机版)
- Hadoop集群安装配置教程_Hadoop2.7.3Ubuntu/CentOS
- [原创] Centos 安装部署 Hadoop 集群和 hive
- centos 6.6 hadoop 2.7.1 完全分布式安装部署
- centOS6.5安装hadoop2.7的分布式部署(三台主机)
- CentOS 7.4 安装部署 hadoop 2.6 文档 V1.3
- 腾讯云CentOS 安装 Hadoop 2.7.3
- centOS6.5安装hadoop2.7后,再安装hbase1.1.0.1,完全分布式部署
- centos6.8平台上安装hive(基于Mysql6.5 和hadoop2.7.3伪分布集群下)
- Centos 下 Hadoop2.6.4安装 多节点部署
- hadoop2.7.1单机版安装部署
- CentOS6.5 64位安装单机版hadoop2.6教程
- CentOS 7下安装集群Hadoop-2.7.3
- hadoop2.7.1单机版安装部署
- centos6.5下安装部署hadoop2.4(亲测)
- centos7 安装hadoop2.7.3遇到的各种问题