您的位置:首页 > 运维架构 > Linux

Linux下用Eclipse开发调试Hadoop程序后打jar包后,到Hadoop集群上运行

2017-11-24 10:22 411 查看
Linux系统(Ubuntu14.10)下Hadoop开发环境搭建

下载Eclipse,解压安装,下载hadoop-eclipse-plugin-2.5.1.jar插件,放至/eclipse/plugins/目录下。创建hadoop连接。这样就可以用eclipse编写Hadoop程序,调试正确后,就可以打成jar包,提交到Hadoop分布式集群中运行。注意,在Eclipse中运行程序,并没有提交到Hadoop集群中去。
Eclipse中编写Hadoop程序

由于Hadoop插件装好了,Eclipse中会出现一个“Map/Reduce Project”选项,根据自己的需求,编写Hadoop程序代码。调试之后,就可以打包了。打包的方式基本有两类,一类用jar命令,另一类就是Eclipse自己Export打包。这里选择第一类,比较方便。
jar打包命令

在终端输入jar打包命令,并指定主类:jar -cvfe filename.jar package1.package2.MainClassName package1/package2/MainClassName.class。注意,这个命令执行时,要先切换用户(Eclipse拥有者用户),并进入Eclipse工程文件下的bin目录。
提交jar包到Hadoop分布式集群上运行

切换到Hadoop用户,将filename.jar复制到Hadoop目录下,通过命令运行jar包: bin/hadoop jar filename.jar
打包及运行的终端命令

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐