YARN伪分布式安装
2017-12-15 21:45
106 查看
一 修改core-site.xml
etc/hadoop/core-site.xml
fs.defaultFS配置NameNode的URI
二 修改hdfs-site.xml
etc/hadoop/hdfs-site.xml
dfs.replication设置块的复制数量
三 修改mapred-site.xml
etc/hadoop/mapred-site.xml
mapreduce.framework.name配置MapReduce应用使用Yarn框架
四 修改yarn-site.xml文件
etc/hadoop/yarn-site.xml
yarn.nodemanager.aux-services:为NodeManager配置MapReduce应用的Shuffle服务
五 修改slaves文件
文件内容如下:
127.0.0.1
六 检查Yarn是否安装成功
启动资源管理器(ResouceManager)和节点管理器(NodeManager)守护进程
sbin/start-yarn.sh
访问资源管理器的web接口
http://192.168.0.105:8088/
七 参考
http://www.jikexueyuan.com/course/1588.html
etc/hadoop/core-site.xml
fs.defaultFS配置NameNode的URI
[root@master hadoop]# cat core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
二 修改hdfs-site.xml
etc/hadoop/hdfs-site.xml
dfs.replication设置块的复制数量
[root@master hadoop]# cat hdfs-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
三 修改mapred-site.xml
etc/hadoop/mapred-site.xml
mapreduce.framework.name配置MapReduce应用使用Yarn框架
[root@master hadoop]# cat mapred-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
四 修改yarn-site.xml文件
etc/hadoop/yarn-site.xml
yarn.nodemanager.aux-services:为NodeManager配置MapReduce应用的Shuffle服务
[root@master hadoop]# cat yarn-site.xml <?xml version="1.0"?> <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
五 修改slaves文件
文件内容如下:
127.0.0.1
六 检查Yarn是否安装成功
启动资源管理器(ResouceManager)和节点管理器(NodeManager)守护进程
sbin/start-yarn.sh
[root@master hadoop-2.7.4]# cd sbin [root@master sbin]# ./start-yarn.sh starting yarn daemons starting resourcemanager, logging to /opt/hadoop-2.7.4/logs/yarn-root-resourcemanager-master.out localhost: \S localhost: Kernel \r on an \m localhost: starting nodemanager, logging to /opt/hadoop-2.7.4/logs/yarn-root-nodemanager-master.out [root@master sbin]# jps 3392 NodeManager 3302 ResourceManager 3691 Jps
访问资源管理器的web接口
http://192.168.0.105:8088/
七 参考
http://www.jikexueyuan.com/course/1588.html
相关文章推荐
- Spark 1.1.0 安装测试 (分布式 Yarn-cluster模式)
- Hadoop伪分布式安装(MapReduce+Yarn)
- 分布式安全--YARN & HDFS2 安装和配置Kerberos
- Ubuntu16.04 安装hadoop伪分布式2 启动YARN
- Hadoop Yarn(一)—— 单机伪分布式环境安装
- Hadoop YARN的伪分布式安装
- 通过tarball形式安装HBASE Cluster(CDH5.0.2)——配置分布式集群中的YARN ResourceManager 的HA
- Spark On YARN 分布式集群安装
- Hadoop Yarn(一)—— 单机伪分布式环境安装
- Hadoop yarn完全分布式安装笔记
- Hadoop伪分布式-----Spark的安装和配置
- hadoop完全分布式手动安装(一主多从centos linux各版本均试验成功,文档完整无一遗漏)
- Hadoop 伪分布式上安装 Hive
- Hadoop 3.0.0-beta1 伪分布式安装
- C#分布式缓存一:Couchbase的安装与简单使用
- Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0
- 编译安装Tair(分布式K/V、缓存)
- 分布式-在win7上安装linux操作系统
- Alex 的 Hadoop 菜鸟教程: 第5课 YARN 安装以及helloworld (基于centos的CDH)
- 2.1hadoop伪分布式----eclipse的安装和配置