您的位置:首页 > 大数据 > Hadoop

搭建Hadoop集群常用配置参数详解

2020-09-02 15:01 1101 查看

搭建Hadoop集群常用配置参数详解

1、core-site.xml

<configuration>
<!-- 指定NameNode的位置 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://IP:8020</value>
</property>
<!-- 指定NameNode、DataNode、2nn数据存储的位置-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.3/data</value>
</property>
<!-- 代理配置-->
<property>
<name>hadoop.proxyuser.username.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.username.groups</name>
<value>*</value>
</property>
<!-- 指定web端操作的用户 -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>username</value>
</property>
</configuration>

2、hdfs-site.xml

<configuration>
<!-- 指定2nn的位置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>IP:9868</value>
</property>

<!--
namenode数据存储目录的配置:dfs.namenode.name.dir
datanode数据存储目录的配置:dfs.datanode.data.dir
2nn数据存储目录的配置:dfs.namenode.checkpoint.dir
-->

</configuration>

3、yarn-site.xml

<configuration>

<!-- shuffle的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定Resourcemanager的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>IP</value>
</property>
<!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

<!-- 给每个container分配的最小资源 -->
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>512</value>
</property>
<!-- 给每个container分配的最大资源-->
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>4096</value>
</property>
<!-- nodemanager将多少内存交给resourcemanager进行分配 -->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property>

<!-- 开启日志聚集 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志访问路径 -->
<property>
<name>yarn.log.server.url</name>
<value>http://IP:19888/jobhistory/logs</value>
</property>
<!-- 日志保存时间 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

</configuration>

4、mapred-site.xml

<configuration>
<!-- 指定mapreduce程序运行在yarn -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>IP:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>IP:19888</value>
</property>
</configuration>
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: