搭建Hadoop集群常用配置参数详解
2020-09-02 15:01
1101 查看
搭建Hadoop集群常用配置参数详解
1、core-site.xml
<configuration> <!-- 指定NameNode的位置 --> <property> <name>fs.defaultFS</name> <value>hdfs://IP:8020</value> </property> <!-- 指定NameNode、DataNode、2nn数据存储的位置--> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-3.1.3/data</value> </property> <!-- 代理配置--> <property> <name>hadoop.proxyuser.username.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.username.groups</name> <value>*</value> </property> <!-- 指定web端操作的用户 --> <property> <name>hadoop.http.staticuser.user</name> <value>username</value> </property> </configuration>
2、hdfs-site.xml
<configuration> <!-- 指定2nn的位置 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>IP:9868</value> </property> <!-- namenode数据存储目录的配置:dfs.namenode.name.dir datanode数据存储目录的配置:dfs.datanode.data.dir 2nn数据存储目录的配置:dfs.namenode.checkpoint.dir --> </configuration>
3、yarn-site.xml
<configuration> <!-- shuffle的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定Resourcemanager的地址--> <property> <name>yarn.resourcemanager.hostname</name> <value>IP</value> </property> <!-- 环境变量的继承 --> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> </property> <!-- 给每个container分配的最小资源 --> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>512</value> </property> <!-- 给每个container分配的最大资源--> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>4096</value> </property> <!-- nodemanager将多少内存交给resourcemanager进行分配 --> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>4096</value> </property> <!-- 开启日志聚集 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 日志访问路径 --> <property> <name>yarn.log.server.url</name> <value>http://IP:19888/jobhistory/logs</value> </property> <!-- 日志保存时间 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property> </configuration>
4、mapred-site.xml
<configuration> <!-- 指定mapreduce程序运行在yarn --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>IP:10020</value> </property> <!-- 历史服务器web端地址 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>IP:19888</value> </property> </configuration>
相关文章推荐
- Hadoop系列之十:Hadoop配置文件及常用配置参数详解(未完成)
- Hadoop系列之十:Hadoop配置文件及常用配置参数详解(未完成)
- hadoop集群搭建过程中几个配置参数
- hadoop集群的搭建启动与常用配置
- 大数据Spark “蘑菇云”行动Hadoop实战速成之路第29课:Hadoop架构详解及Hadoop集群搭建、配置和测试实战
- golang实战使用gin+xorm搭建go语言web框架restgo详解3 系统常用配置参数
- 在linux上搭建ftp服务器及其配置文件常用参数详解
- Hadoop系列之十:Hadoop配置文件及常用配置参数详解(未完成)
- Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误
- Hadoop系列之十:Hadoop配置文件及常用配置参数详解(未完成)
- Hadoop系列之十:Hadoop配置文件及常用配置参数详解(未完成)
- Hadoop虚拟机集群搭建及配置详解
- hadoop集群搭建(二)——集群环境配置
- hadoop集群搭建之SSH无密码登录配置
- Samba配置文件常用参数详解
- Samba配置文件常用参数详解
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)
- 基于CentOS与VmwareStation10搭建Oracle11G RAC 64集群环境:2.搭建环境-2.7. 配置资源与参数
- redis 3.0 集群__配置文件详解(常用配置)
- hadoop集群默认配置和常用配置