hadoop2.7.2安装部署教程
2016-05-04 15:51
501 查看
参考博客:http://jingyan.baidu.com/article/f00622283a76c0fbd3f0c839.html
http://www.it165.net/admin/html/201404/2728.html
http://blog.csdn.net/caizhongda/article/details/7947480
1.配置命名服务:hdfs-site.xml
<property>
<name>dfs.nameservices</name>
<value>hearain</value>
</property>
<property>
<name>dfs.ha.namenodes.hearain</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.hearain.nn1</name>
<value>namenode1的地址:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.hearain.nn2</name>
<value>namenode1的地址:8020</value>
</property>
<property>
<name>dfs.namenode.http-address.hearain.nn1</name>
<value>namenode1的地址:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.hearain.nn2</name>
<value>namenode1的地址:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://地址加端口,机器以分号相隔</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.hearain</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/hadoop/journal/data</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
2.配置core-site配置文件
<property>
<name>fs.defaultFS</name>
<value>hdfs://hearain(集群名字)</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>集群地址加端口号,机器之间以逗号分隔node1:2181</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/tmp/</value>
</property>
3.配置和安装zookeeper
然后在相应的机器上创建myid文件,里面写上server后面带的相应的数字
4.分别在journal机器上启动
启动journalnode:
5.启动后在任意一台namenode机器上执行格式化(bin目录下):
hostname node1
./hdfs namenode -format
6.启动刚格式化的namenode机器
7.在没有格式化的namenode上去执行
./hdfs namenode -bootstrapStandby
8.运行./dfs-stop.sh
9.运行./dfs-start.sh
10.运行jps发现ZKFC没有启动,原因有可能是没有格式化
11.在其中一个namenode上面格式化ZKFC,在bin目录下执行
12.重新执行8和9即可
13.配置mapreduce的配置文件
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
14.配置yarn的配置文件
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
15.开启resourcemanager和nodemanager命令:
namenode1:http://192.168.4.176:50070/dfshealth.html#tab-overview
namenode2:http://192.168.4.87:50070/dfshealth.html#tab-overview
集群:http://192.168.4.176:8088/cluster
jps查看是否都运行成功:如果其中一个进程运行失败,则去logs里面去查看详细日志
node1:
node2:
node3:
http://www.it165.net/admin/html/201404/2728.html
http://blog.csdn.net/caizhongda/article/details/7947480
1.配置命名服务:hdfs-site.xml
<property>
<name>dfs.nameservices</name>
<value>hearain</value>
</property>
<property>
<name>dfs.ha.namenodes.hearain</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.hearain.nn1</name>
<value>namenode1的地址:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.hearain.nn2</name>
<value>namenode1的地址:8020</value>
</property>
<property>
<name>dfs.namenode.http-address.hearain.nn1</name>
<value>namenode1的地址:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.hearain.nn2</name>
<value>namenode1的地址:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://地址加端口,机器以分号相隔</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.hearain</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/hadoop/journal/data</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
2.配置core-site配置文件
<property>
<name>fs.defaultFS</name>
<value>hdfs://hearain(集群名字)</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>集群地址加端口号,机器之间以逗号分隔node1:2181</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/tmp/</value>
</property>
3.配置和安装zookeeper
tickTime=2000 dataDir=/opt/zookeeper/tmp(若没有这个目录,则自己创建) clientPort=2181 initLimit=5 syncLimit=2 server.1=node1:2888:3888 server.2=node2:2888:3888 server.3=node3:2888:3888
然后在相应的机器上创建myid文件,里面写上server后面带的相应的数字
4.分别在journal机器上启动
启动journalnode:
./hadoop-daemon.sh start journalnode
5.启动后在任意一台namenode机器上执行格式化(bin目录下):
hostname node1
./hdfs namenode -format
6.启动刚格式化的namenode机器
./hadoop-daemon.sh start namenode
7.在没有格式化的namenode上去执行
./hdfs namenode -bootstrapStandby
8.运行./dfs-stop.sh
9.运行./dfs-start.sh
10.运行jps发现ZKFC没有启动,原因有可能是没有格式化
11.在其中一个namenode上面格式化ZKFC,在bin目录下执行
./hdfs zkfc -format
12.重新执行8和9即可
13.配置mapreduce的配置文件
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
14.配置yarn的配置文件
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
15.开启resourcemanager和nodemanager命令:
./start-yarn.sh
namenode1:http://192.168.4.176:50070/dfshealth.html#tab-overview
namenode2:http://192.168.4.87:50070/dfshealth.html#tab-overview
集群:http://192.168.4.176:8088/cluster
jps查看是否都运行成功:如果其中一个进程运行失败,则去logs里面去查看详细日志
node1:
node2:
node3:
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- 单机版搭建Hadoop环境图文教程详解
- hadoop常见错误以及处理方法详解
- javaweb之web入门基础
- hadoop 单机安装配置教程
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop实现grep示例分享
- javaweb实战之商城项目开发(二)
- JavaWeb工程中集成YMP框架快速上手(二)
- 解决javaWEB中前后台中文乱码问题的3种方法
- Apache Hadoop版本详解
- JavaWeb实现邮件发送接收功能实例解析
- javaweb中静态文件的常用处理方法汇总
- java web激活邮箱并找回密码
- javaWEB实现相册管理的简单功能
- javaweb中Filter(过滤器)的常见应用
- linux下搭建hadoop环境步骤分享
- JavaWeb实现文件上传与下载实例详解