【hadoop】hadoop安装篇
2017-04-10 22:25
253 查看
下载hadoop
在hadoop下载界面选择适合的版本配置hadoop
hadoop有两种类型的配置文件:1.只读配置文件 - core-default.xml, hdfs-default.xml, yarn-default.xml 和 mapred-default.xml
2.可配置的配置文件 etc/hadoop/core-site.xml, etc/hadoop/hdfs-site.xml, etc/hadoop/yarn-site.xml and etc/hadoop/mapred-site.xml
也可以通过etc/hadoop/hadoop-env.sh and etc/hadoop/yarn-env.sh来修改hadoop和yarn的运行时环境
修改hadoop的配置之前需要先配置ssh免密登录。如果对ssh免密登录不了解的可以先行百度。
首先贴上core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/tmp</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> </configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>/home/hadoop/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoop/data/datanode</value> </property> </configuration>
yarn-site.xml
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop</value> </property> <property> <name>yarn.log-appregation-enable</name> <value>true</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PR EPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> </property> </configuration>
mapred-site.xml,需要修改mr的计算框架为yarn,修改的时候一定要修改yarn.nodemanager.env-whitelist配置项
<configuration> <!-- 默认的是用mr框架来计算 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
相关文章推荐
- Hadoopz安装与配置-单机(1)
- hadoop集群安装经常遇到的问题总结
- Hadoop开发环境的配置(安装eclipse)
- Hadoop2.2.0 + HBase0.96 伪分布式安装
- Ubuntu下Hadoop完全分布式安装
- 实现hadoop自动安装包
- Ubuntu16.04下伪分布式环境搭建之hadoop2.6.0、jdk1.7、Hbase0.98的安装与配置
- Hadoop+hive 集群安装部署 (一)
- hadoop2.7【单节点】单机、伪分布、分布式安装指导
- Hadoop分布式 之Zookeeper集群安装
- centos 安装hadoop 单节点配置
- Hadoop-2.4.0安装和wordcount运行验证
- 我的hadoop2.4安装过程
- 在hadoop-2.4.0环境下安装mahout最新版
- CentOS7安装配置hadoop2.7.2
- Ubuntu下安装Hadoophadoop-2.8.0(单机模式)
- Hadoop学习笔记(一)——编译安装和配置
- win7下搭建hadoop之cygwin安装
- hadoop2.0安装中遇到的错误:mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid
- hadoop-2.0.0-cdh4.2.1安装手册