Hadoop4Win + Eclipse 运行 WordCount 程序
2013-09-16 09:28
344 查看
1. 系统+软件
WinXP + Eclipse Version: 4.2.1
2. Hadoop4Win
http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win
注意:设置环境变量
path 添加:d:/hadoop4win/bin;
3. Eclipse
3.1 安装插件 需要下载hadoop-0.20.3-dev-eclipse-plugin.jar,否则Run on Hadoop没有反应! Google搜索下载即可!
3.2 设置Map/Reduce Location
主要是端口号,一般网上的说明都是对的!
高级设置没有改动!
4. 运行程序
4.1 建立 Map/Reduce工程
4.2 找到 WordCount.java程序,在安装example文件下就有
4.3 准备处理文档
在windows下编辑两个文本,file01.txt和file02.txt,里面随便写一些英文句子;放到E:\hadoop4win\home\你的登录名
然后在hadoop4win打开的Cygwin终端中:
cd /home/你的用户名
hadoop fs -mkdir input
hadoop fs -put file01 input
hadoop fs -put file02 input
4.4 设置运行参数
Run Config中设置
program arguments:
hdfs://localhost:9000/user/hezhixue/input
hdfs://localhost:9000/user/hezhixue/output
VM arguments:
-Xmx512m
5. 异常处理
5.1 在windows eclipse开发环境运行mapred报错“IOException: Cannot run program "chmod": CreateProcess error=2,”
问题原因:没有安装cygwin 或 没有配置环境变量;
解决办法:安装并配置环境变量 bin到 path下 重启 eclipse 问题解决;
5.2 java.lang.OutOfMemoryError: Java heap space
问题原因:客户端程序运行时java虚拟机内存分配不够
解决办法:修改run configuration,选择Arguments选项卡,在VM arguments栏中加入-Xmx1024m,保存即可解决问题。
WinXP + Eclipse Version: 4.2.1
2. Hadoop4Win
http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win
注意:设置环境变量
path 添加:d:/hadoop4win/bin;
3. Eclipse
3.1 安装插件 需要下载hadoop-0.20.3-dev-eclipse-plugin.jar,否则Run on Hadoop没有反应! Google搜索下载即可!
3.2 设置Map/Reduce Location
主要是端口号,一般网上的说明都是对的!
高级设置没有改动!
4. 运行程序
4.1 建立 Map/Reduce工程
4.2 找到 WordCount.java程序,在安装example文件下就有
4.3 准备处理文档
在windows下编辑两个文本,file01.txt和file02.txt,里面随便写一些英文句子;放到E:\hadoop4win\home\你的登录名
然后在hadoop4win打开的Cygwin终端中:
cd /home/你的用户名
hadoop fs -mkdir input
hadoop fs -put file01 input
hadoop fs -put file02 input
4.4 设置运行参数
Run Config中设置
program arguments:
hdfs://localhost:9000/user/hezhixue/input
hdfs://localhost:9000/user/hezhixue/output
VM arguments:
-Xmx512m
5. 异常处理
5.1 在windows eclipse开发环境运行mapred报错“IOException: Cannot run program "chmod": CreateProcess error=2,”
问题原因:没有安装cygwin 或 没有配置环境变量;
解决办法:安装并配置环境变量 bin到 path下 重启 eclipse 问题解决;
5.2 java.lang.OutOfMemoryError: Java heap space
问题原因:客户端程序运行时java虚拟机内存分配不够
解决办法:修改run configuration,选择Arguments选项卡,在VM arguments栏中加入-Xmx1024m,保存即可解决问题。
相关文章推荐
- Hadoop4Win + Eclipse 运行 WordCount 程序
- Hadoop4Win + Eclipse 运行 WordCount 程序
- Hadoop1.2.1单机模式运行Wordcount程序
- hadoop实例WordCount程序一步一步运行
- Hadoop MapReduce基于新API的WordCount程序运行过程分析
- Hadoop 2.6.3运行自带WordCount程序笔记
- 在Hadoop2.2.0上运行Wordcount小程序
- 配置Hadoop2.x的HDFS、MapReduce来运行WordCount程序
- 用hadoop运行一个简单程序WordCount
- 在windows上用eclipse远程运行hadoop上的wordcount程序出现的问题,求解决
- Hadoop 下 WordCount 程序运行方法及过程分析
- Hadoop的单机伪分布式搭建和运行第一个WordCount程序
- eclipse hadoop windows 运行wordcount程序,上传文件内容为空的原因及解决办法
- eclipse配置hadoop开发环境并运行WordCount小程序
- 运行第一个Hadoop程序,WordCount
- hadoop示例程序wordcount的运行
- hadoop-2.6.0如何编译,运行WordCount 程序
- windows下idea编写WordCount程序,并打jar包上传到hadoop集群运行
- CentOS6.8下Hadoop2.7.2怎么运行自带的wordcount程序
- 运行Hadoop的示例程序WordCount-Running Hadoop Example