Hadoop安装过程遇到的坑:
2015-12-17 19:27
330 查看
Hadoop安装过程遇到的坑:
http://www.powerxing.com/install-hadoop/
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
http://www.powerxing.com/hadoop-build-project-using-eclipse/
使用Eclipse编译运行MapReduce程序Hadoop2.6.0/Ubuntu
一、配置文件
core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abasefor other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
2.hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
3.mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
4.yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>127.0.0.1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>127.0.0.1:8031</value>
</property>
二、可能会遇到的问题
1.
在更改完配置文件之后,需要用hdfsnamenode -format
命令执行namenode格式化
然后、 用start-all.sh启动hadoop服务,一共会启动六个,如下图所示:
如果有些服务没打开,而且配置文件没出错的话,可以尝试删掉hadoop安装目录下的tmp和logs文件夹里的内容,重新启动服务。
2、伪分布的情况下,是直接可以再eclipse下运行自己写的hadoop程序的,但是需要在自己新建的工程src目录下拷进log4j.properties文件,其中log4j.properties可以在hadoop安装目录下的/etc/hadoop目录下找到,不然程序运行时,会提示找不到日志文件的错误。(声明:上面配置eclipse的网页中,要求把配置文件*.xml也要拷进去工程下,这个可能造成在程序运行时出现classNotFoundException的异常,所以只在src目录下拷进去log4j.properties文件即可)。
http://www.powerxing.com/install-hadoop/
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
http://www.powerxing.com/hadoop-build-project-using-eclipse/
使用Eclipse编译运行MapReduce程序Hadoop2.6.0/Ubuntu
一、配置文件
core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abasefor other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
2.hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
3.mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
4.yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>127.0.0.1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>127.0.0.1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>127.0.0.1:8031</value>
</property>
二、可能会遇到的问题
1.
在更改完配置文件之后,需要用hdfsnamenode -format
命令执行namenode格式化
然后、 用start-all.sh启动hadoop服务,一共会启动六个,如下图所示:
如果有些服务没打开,而且配置文件没出错的话,可以尝试删掉hadoop安装目录下的tmp和logs文件夹里的内容,重新启动服务。
2、伪分布的情况下,是直接可以再eclipse下运行自己写的hadoop程序的,但是需要在自己新建的工程src目录下拷进log4j.properties文件,其中log4j.properties可以在hadoop安装目录下的/etc/hadoop目录下找到,不然程序运行时,会提示找不到日志文件的错误。(声明:上面配置eclipse的网页中,要求把配置文件*.xml也要拷进去工程下,这个可能造成在程序运行时出现classNotFoundException的异常,所以只在src目录下拷进去log4j.properties文件即可)。
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- 单机版搭建Hadoop环境图文教程详解
- hadoop常见错误以及处理方法详解
- hadoop 单机安装配置教程
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop实现grep示例分享
- MongoDB中的MapReduce简介
- MongoDB学习笔记之MapReduce使用示例
- MongoDB中MapReduce编程模型使用实例
- Apache Hadoop版本详解
- MapReduce中ArrayWritable 使用指南
- Java函数式编程(七):MapReduce
- linux下搭建hadoop环境步骤分享
- java连接hdfs ha和调用mapreduce jar示例
- hadoop client与datanode的通信协议分析
- hadoop中一些常用的命令介绍
- Hadoop单机版和全分布式(集群)安装