hadoop的伪分布模式配置
2016-08-14 18:37
204 查看
主要配置5个配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves。
1:配置core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost</value> </property> </configuration>
2:配置hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> //其中“1”表示有多少个备份副本
3:配置mapred-site.xml,(注意:这个文件默认是没有的,项目提供一个样本mapred-queues.xml.template,可以将这个cp一份)
cp mapred-site.xml.template mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
4:配置yarn-site.xml
<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
5:配置slaves文件(指定datanode的主机)
只需要输入:localhost 即可,因为是伪分布模式,所以datanode也在本地系统 如果是完全分布模式,则需要配置对应datanode节点的ip或主机名称
总结:
1:配置文件一定要注意名称和值是否一定准确,否则会是的系统找不到这些信息的 2:hadoop采用的是cluster/slaves的模式,slaves文件就是指明 那几个数据节点在那台机上部署datanode。 3:可以很方便的将这个伪分布模式的文件转化为完全分布式模式, 只需要将需要部署相关守护进程的机器ip填入相应位置即可。
相关文章推荐
- hadoop学习笔记(2) 伪分布模式配置
- HBase入门笔记(三)-- 完全分布模式Hadoop集群安装配置
- win7使用伪分布模式配置Hadoop2.2
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop伪分布模式并运行Wordcount示例(1)
- Hadoop的完全分布模式配置——以普通用户'hadoop'启动
- Hadoop2.2.0伪分布模式配置
- hadoop安装与配置(完全分布模式)
- hadoop-1.2.1伪分布模式配置
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop-伪分布模式并运行Wordcount(2)
- hadoop伪分布模式配置知识点讲解
- Hadoop伪分布模式配置
- hadoop伪分布模式配置学习
- hadoop安装配置——伪分布模式
- hadoop学习笔记(2) 伪分布模式配置
- HBase入门笔记(三)-- 完全分布模式Hadoop集群安装配置
- Centos6.4 +Hadoop 1.2.1集群完全分布模式配置
- hadoop学习笔记(2) 伪分布模式配置
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop伪分布模式并运行Wordcount(2)
- 【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群-配置Hadoop伪分布模式并运行Wordcount示例(1)
- 完全分布模式hadoop集群安装配置之二 添加新节点组成分布式集群