win系统下的eclipse连接和使用linux上的hadoop集群
2017-06-17 10:30
507 查看
准备工作
先在win系统的hosts文件中加入下面内容
10.61.6.164master //hadoop集群的master节点
一、首先在eclipse上安装hadoop插件
下载hadoop-eclipse-plugin-1.1.2.jar。将其复制到eclipse 安装文件夹下的plugins,再启动eclispe。这时在eclipse的File/New/other下会看到一下的内容,证明插件成功安装
二、在Window/show view/other里打开Map/Reduce Locations
打开后会有下图所看到的的窗体。点击右側的紫色小象
会弹出下图所看到的的窗体
然后配置你的连接信息:
Location name:自己能够定义为不论什么名字
Host:是你的hadoop集群的master节点的ip地址
Port:必需按上图配置,当然假设你配置hadoop集群时将默认port换了,此处则为你自己改动的port号
配置完以后会在左側文件夹栏里看到
三、配置程序执行參数(你的项目必需是mapreduce项目,而且已经加入hadoop里的全部jar包)
先在你的项目下建立一个in文件夹,并将data数据文件复制到当中,再将你的项目导出问jar文件。然后在你的项目的main函数里加入下面代码
conf.set("mapred.jar", "E://FreqItemSet.jar");//mapred.jar不能更改
右击你的项目。选择Run as/Run Configurations
点击Arguments
在里面加入上图中的内容
Lee 文件在HDFS上的存储路径<dfs_path>
in/data 输入文件(本地路径)<input>
3 项集的大小k
1 支持度阈值<spt_dg>
out 输出文件<本地路径><output>
点击ok你的项目就可以连接和使用你的hadoop集群了
先在win系统的hosts文件中加入下面内容
10.61.6.164master //hadoop集群的master节点
一、首先在eclipse上安装hadoop插件
下载hadoop-eclipse-plugin-1.1.2.jar。将其复制到eclipse 安装文件夹下的plugins,再启动eclispe。这时在eclipse的File/New/other下会看到一下的内容,证明插件成功安装
二、在Window/show view/other里打开Map/Reduce Locations
打开后会有下图所看到的的窗体。点击右側的紫色小象
会弹出下图所看到的的窗体
然后配置你的连接信息:
Location name:自己能够定义为不论什么名字
Host:是你的hadoop集群的master节点的ip地址
Port:必需按上图配置,当然假设你配置hadoop集群时将默认port换了,此处则为你自己改动的port号
配置完以后会在左側文件夹栏里看到
三、配置程序执行參数(你的项目必需是mapreduce项目,而且已经加入hadoop里的全部jar包)
先在你的项目下建立一个in文件夹,并将data数据文件复制到当中,再将你的项目导出问jar文件。然后在你的项目的main函数里加入下面代码
conf.set("mapred.jar", "E://FreqItemSet.jar");//mapred.jar不能更改
右击你的项目。选择Run as/Run Configurations
点击Arguments
在里面加入上图中的内容
Lee 文件在HDFS上的存储路径<dfs_path>
in/data 输入文件(本地路径)<input>
3 项集的大小k
1 支持度阈值<spt_dg>
out 输出文件<本地路径><output>
点击ok你的项目就可以连接和使用你的hadoop集群了
相关文章推荐
- win系统下的eclipse连接和使用linux上的hadoop集群
- Ubuntu系统下的Hadoop集群(4)_使用Eclipse编译运行MapReduce程序
- linux 系统 eclipse提交job到hadoop集群上的一些坑
- Eclipse 运行WordCount实例 (连接Linux下的Hadoop集群)
- hadoop学习之HDFS(2.5):windows下eclipse远程连接linux下的hadoop集群并测试wordcount例子
- Window平台的eclipse连接linux的hadoop集群
- hadoop学习之HDFS(2.5):windows下eclipse远程连接linux下的hadoop集群并测试wordcount例子
- windows下eclipse远程连接linux上的hadoop集群
- windows下eclipse远程连接linux上的hadoop集群
- 解决win下eclipse连linux的hadoop集群连不上的问题
- win系统下启动linux上的kafka集群及使用
- win7基于maven和eclipse连接远程Linux服务器的hadoop2.0集群的入门程序
- win7-eclipse-hadoop-plugins连接Linux hadoop3.0单机伪集群
- win7使用eclipse连接hadoop集群,运行mapreduce报错之:org.apache.hadoop.security.AccessControlException
- win7使用eclipse连接hadoop集群,运行mapreduce报错之Failed to set permissions of path
- hadoop(05)、使用Eclipse连接远程Hadoop集群
- 在windows下使用eclipes连接linux下的Hadoop集群
- win7下eclipse插件连接linux下hdfs单机伪集群 hadoop 2.6
- eclipse远程连接hadoop集群配置(windows及linux下)
- 使用eclipse开发hadoop程序时,如何连接远程linux