Hadoop 2.6.0版本安装与配置
2016-04-29 21:49
435 查看
在大概一年前左右,自己发过一篇关于Hadoop安装的博客,但是那时候的版本是1.2.1版本,技术更新的快,
最近公司使用的是hadoop 2.x版本,那么这里我以2.6.0版本为例介绍一下Hadoop的安装与配置。
1.x版本的链接:
http://blog.csdn.net/u012965373/article/details/45335801
准备工作是一样的,需要装好jdk, 我所安装的jdk是1.7.0_71版本。
安装链接:
http://blog.csdn.net/u012965373/article/details/42181377
【注】:此处的安装2.X版本与1.x版本很像,所以建议大家先看我的第一篇博客,然后再来看这个,
以便容易理解,这里的安装与配置写的比较简单,建议给有基础的看。
这是下载后的hadoop-2.6.0.tar.gz压缩包,
1、解压 tar -xzvf hadoop-2.6.0.tar.gz
2、move到指定目录下:# mv ./hadoop-2.6.0 /usr/hadoop/
3、进入hadoop目前 # cd /usr/hadoop/
# ls
bin dfs etc include input lib libexec LICENSE.txt logs NOTICE.txt README.txt sbin share tmp
配置之前,先在本地文件系统创建以下文件夹:./hadoop/tmp, ./dfs/data, ./dfs/name。
并且赋予权限。
主要涉及的配置文件有7个:都在./hadoop/etc/hadoop文件夹下,可以用vim命令对其进行编辑。
./hadoop/etc/hadoop/hadoop-env.sh
./hadoop/etc/hadoop/yarn-env.sh
./hadoop/etc/hadoop/slaves
./hadoop/etc/hadoop/core-site.xml
./hadoop/etc/hadoop/hdfs-site.xml
./hadoop/etc/hadoop/mapred-site.xml
./hadoop/etc/hadoop/yarn-site.xml
进去hadoop配置文件目录
# cd ./etc/hadoop/
# ls
capacity-scheduler.xml hadoop-env.sh httpfs-env.sh kms-env.sh mapred-env.sh ssl-client.xml.example
configuration.xsl hadoop-metrics2.properties httpfs-log4j.properties kms-log4j.properties mapred-queues.xml.template ssl-server.xml.example
Container-executor.cfg hadoop-metrics.properties httpfs-signature.secret kms-site.xml mapred-site.xml yarn-env.cmd
core-site.xml hadoop-policy.xml httpfs-site.xml log4j.properties mapred-site.xml.template yarn-env.sh
hadoop-env.cmd hdfs-site.xml kms-acls.xml mapred-env.cmd slaves yarn-site.xml
1、配置 hadoop-env.sh文件-->修改JAVA_HOME
# JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.7.0_71
2、配置 yarn-env.sh 文件-->>修改JAVA_HOME
#JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.7.0_71
3、配置slaves文件-->>增加slave节点
master(此处填你的namenode的hostname)
4、配置 core-site.xml文件-->>增加hadoop核心配置(hdfs文件端口是9000)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
</property>
</configuration>
5、配置 hdfs-site.xml 文件-->>增加hdfs配置信息(namenode、datanode端口和目录位置)
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
6、配置 mapred-site.xml 文件-->>增加mapreduce配置(使用yarn框架、jobhistory使用地址以及web地址)
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
7、配置 yarn-site.xml 文件-->>增加yarn功能
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>S1PA11:8035</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
8、将配置好的hadoop文件scp到另其他的datanode机器上
#scp -r /usr/hadoop/ master@ip:/usr/
9、格式化namenode:
#cd /usr/hadoop/
#./bin/hdfs namenode -format
10、启动hdfs:
# ./sbin/start-dfs.sh
然后输入jps查看是否出现了如下进程
#jps
30767 DataNode
30889 Jps
30498 NameNode
30733 SecondaryNameNode
19781 ResourceManager
11、查看集群状态:
# ./bin/hdfs dfsadmin -report
最后查看集群状态与日志
在浏览器中输入:
ip +:8088, ip+ 50070
最近公司使用的是hadoop 2.x版本,那么这里我以2.6.0版本为例介绍一下Hadoop的安装与配置。
1.x版本的链接:
http://blog.csdn.net/u012965373/article/details/45335801
准备工作是一样的,需要装好jdk, 我所安装的jdk是1.7.0_71版本。
安装链接:
http://blog.csdn.net/u012965373/article/details/42181377
【注】:此处的安装2.X版本与1.x版本很像,所以建议大家先看我的第一篇博客,然后再来看这个,
以便容易理解,这里的安装与配置写的比较简单,建议给有基础的看。
这是下载后的hadoop-2.6.0.tar.gz压缩包,
1、解压 tar -xzvf hadoop-2.6.0.tar.gz
2、move到指定目录下:# mv ./hadoop-2.6.0 /usr/hadoop/
3、进入hadoop目前 # cd /usr/hadoop/
# ls
bin dfs etc include input lib libexec LICENSE.txt logs NOTICE.txt README.txt sbin share tmp
配置之前,先在本地文件系统创建以下文件夹:./hadoop/tmp, ./dfs/data, ./dfs/name。
并且赋予权限。
主要涉及的配置文件有7个:都在./hadoop/etc/hadoop文件夹下,可以用vim命令对其进行编辑。
./hadoop/etc/hadoop/hadoop-env.sh
./hadoop/etc/hadoop/yarn-env.sh
./hadoop/etc/hadoop/slaves
./hadoop/etc/hadoop/core-site.xml
./hadoop/etc/hadoop/hdfs-site.xml
./hadoop/etc/hadoop/mapred-site.xml
./hadoop/etc/hadoop/yarn-site.xml
进去hadoop配置文件目录
# cd ./etc/hadoop/
# ls
capacity-scheduler.xml hadoop-env.sh httpfs-env.sh kms-env.sh mapred-env.sh ssl-client.xml.example
configuration.xsl hadoop-metrics2.properties httpfs-log4j.properties kms-log4j.properties mapred-queues.xml.template ssl-server.xml.example
Container-executor.cfg hadoop-metrics.properties httpfs-signature.secret kms-site.xml mapred-site.xml yarn-env.cmd
core-site.xml hadoop-policy.xml httpfs-site.xml log4j.properties mapred-site.xml.template yarn-env.sh
hadoop-env.cmd hdfs-site.xml kms-acls.xml mapred-env.cmd slaves yarn-site.xml
1、配置 hadoop-env.sh文件-->修改JAVA_HOME
# JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.7.0_71
2、配置 yarn-env.sh 文件-->>修改JAVA_HOME
#JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.7.0_71
3、配置slaves文件-->>增加slave节点
master(此处填你的namenode的hostname)
4、配置 core-site.xml文件-->>增加hadoop核心配置(hdfs文件端口是9000)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
</property>
</configuration>
5、配置 hdfs-site.xml 文件-->>增加hdfs配置信息(namenode、datanode端口和目录位置)
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
6、配置 mapred-site.xml 文件-->>增加mapreduce配置(使用yarn框架、jobhistory使用地址以及web地址)
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
7、配置 yarn-site.xml 文件-->>增加yarn功能
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>S1PA11:8035</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
8、将配置好的hadoop文件scp到另其他的datanode机器上
#scp -r /usr/hadoop/ master@ip:/usr/
9、格式化namenode:
#cd /usr/hadoop/
#./bin/hdfs namenode -format
10、启动hdfs:
# ./sbin/start-dfs.sh
然后输入jps查看是否出现了如下进程
#jps
30767 DataNode
30889 Jps
30498 NameNode
30733 SecondaryNameNode
19781 ResourceManager
11、查看集群状态:
# ./bin/hdfs dfsadmin -report
最后查看集群状态与日志
在浏览器中输入:
ip +:8088, ip+ 50070
相关文章推荐
- Corosync+Pacemaker+DRBD+Mysql高可用HA配置
- SGU 104 Little shop of flowers【DP】
- SGU 104 Little shop of flowers【DP】
- exit()与_exit()函数的区别(Linux系统中)
- CentOS系统:no space left on device错误
- 四旋翼动力学和仿真翻译(Quadcopter Dynamics and Simulation)
- IIS启动网站出错的几个解决方法
- linux内核分析 课程总结
- Linux下的软件安装和管理
- Linux下vi/vim常用命令
- Linux使用小技巧
- Linux内核分析期末总结
- Hadoop内置的数据输入\输出格式与RecordReader\RecordWriter(九)
- linux点滴
- 依赖注入框架dagger2的@Scope注解初探(根据生成的源码进行分析)
- OpenCV中LU分解实现矩阵求逆invert(DECOMP_LU)
- 网站集成QQ登录功能(转)
- Centos7安装mysql-5.7.11
- linux先进程通信 管道方式和消息队列
- Linux ssh密钥自动登录 专题