win系统下的eclipse连接和使用linux上的hadoop集群
2015-07-16 09:07
579 查看
准备工作
先在win系统的hosts文件里添加以下内容
10.61.6.164master //hadoop集群的master节点
一、首先在eclipse上安装hadoop插件
下载hadoop-eclipse-plugin-1.1.2.jar,将其拷贝到eclipse 安装目录下的plugins,再启动eclispe,这时在eclipse的File/New/other下会看到一下的内容,证明插件安装成功
二、在Window/show view/other里打开Map/Reduce Locations
打开后会有下图所示的窗口,点击右侧的紫色小象
会弹出下图所示的窗口
然后配置你的连接信息:
Location name:自己可以定义为任何名字
Host:是你的hadoop集群的master节点的ip地址
Port:必需按上图配置,当然如果你配置hadoop集群时将默认端口换了,此处则为你自己修改的端口号
配置完以后会在左侧目录栏里看到
三、配置程序运行参数(你的项目必需是mapreduce项目,并且已经添加hadoop里的所有jar包)
先在你的项目下建立一个in目录,并将data数据文件拷贝到其中,再将你的项目导出问jar文件,然后在你的项目的main函数里添加以下代码
conf.set("mapred.jar", "E://FreqItemSet.jar");//mapred.jar不能更改
右击你的项目,选择Run as/Run Configurations
点击Arguments
在里面添加上图中的内容
Lee 文件在HDFS上的存储路径<dfs_path>
in/data 输入文件(本地路径)<input>
3 项集的大小k
1 支持度阈值<spt_dg>
out 输出文件<本地路径><output>
点击ok你的项目即可连接和使用你的hadoop集群了
先在win系统的hosts文件里添加以下内容
10.61.6.164master //hadoop集群的master节点
一、首先在eclipse上安装hadoop插件
下载hadoop-eclipse-plugin-1.1.2.jar,将其拷贝到eclipse 安装目录下的plugins,再启动eclispe,这时在eclipse的File/New/other下会看到一下的内容,证明插件安装成功
二、在Window/show view/other里打开Map/Reduce Locations
打开后会有下图所示的窗口,点击右侧的紫色小象
会弹出下图所示的窗口
然后配置你的连接信息:
Location name:自己可以定义为任何名字
Host:是你的hadoop集群的master节点的ip地址
Port:必需按上图配置,当然如果你配置hadoop集群时将默认端口换了,此处则为你自己修改的端口号
配置完以后会在左侧目录栏里看到
三、配置程序运行参数(你的项目必需是mapreduce项目,并且已经添加hadoop里的所有jar包)
先在你的项目下建立一个in目录,并将data数据文件拷贝到其中,再将你的项目导出问jar文件,然后在你的项目的main函数里添加以下代码
conf.set("mapred.jar", "E://FreqItemSet.jar");//mapred.jar不能更改
右击你的项目,选择Run as/Run Configurations
点击Arguments
在里面添加上图中的内容
Lee 文件在HDFS上的存储路径<dfs_path>
in/data 输入文件(本地路径)<input>
3 项集的大小k
1 支持度阈值<spt_dg>
out 输出文件<本地路径><output>
点击ok你的项目即可连接和使用你的hadoop集群了
相关文章推荐
- 每天进步一点点——linux——nl
- linux bus_device_driver随笔
- linux文件及目录权限(转自Linux公社)
- Linux生成动态库系统
- Getting into Linux Kernel Development 【Share】
- Linux 服务器故障排除的前五分钟 (First 5 Minutes Troubleshooting A Linux Server)
- Linux文件系统的实现
- Linux 学习篇之二 vi命令
- Linux_RHEL5时间管理命令
- centos 服务器操作
- qrencode二维码生成在linux下的编译
- Linux入门
- python的学习之路linux和windows双修第一步
- linux程序设计——使用FIFO的客户/服务器的应用程序(第十三章)
- Linux终端下命令行颜色的设置,三步解决
- linux(Centos 6.3)学习笔记
- linux系统时间同步,硬件时钟和系统时间同步,时区的设置
- 通过sysrq打印linux内核信息
- linux c中需要记住的东西
- linux c中需要记住的东西