攻城狮在路上(陆)-- 提交运行MapReduce程序到hadoop集群运行
2016-01-05 12:35
218 查看
此种方式不能直接在eclipse中调试代码。
首先需要在src下放置服务器上的hadoop配置文件:core-site.xml\yarn-site.xml\hdfs-site.xml\mapred-site.xml
1、在本地直接调用,执行过程在服务器上(真正企业运行环境)
a、首先把MR程序打包(jar),直接放到本地,比如C:\\Users\\Administrator\\Desktop\\wc.jar
b、修改hadoop的源码 ,在新建的Java project中拷贝下面路径的Java代码。路径保持和原来一致。注意:确保项目的lib需要真实安装的jdk的lib
c、在java project的buildpath中设置,jdk不要使用eclipse自带的,修改为自己本地安装的Jdk。
d、增加一个属性:
config.set("mapred.jar", "C:\\Users\\Administrator\\Desktop\\wc.jar");
e、本地执行main方法,可以使用servlet在界面中调用MR。
2、直接在服务器上,使用命令的方式调用,执行过程也在服务器上
a、把MR程序打包(jar),传送到服务器上
b、在服务器上通过: hadoop jar jar路径 类的全限定名 来执行。
首先需要在src下放置服务器上的hadoop配置文件:core-site.xml\yarn-site.xml\hdfs-site.xml\mapred-site.xml
1、在本地直接调用,执行过程在服务器上(真正企业运行环境)
a、首先把MR程序打包(jar),直接放到本地,比如C:\\Users\\Administrator\\Desktop\\wc.jar
b、修改hadoop的源码 ,在新建的Java project中拷贝下面路径的Java代码。路径保持和原来一致。注意:确保项目的lib需要真实安装的jdk的lib
org/apache/hadoop/io/nativeio/NativeIO.java org/apache/hadoop/mapred/YARNRunner.java
c、在java project的buildpath中设置,jdk不要使用eclipse自带的,修改为自己本地安装的Jdk。
d、增加一个属性:
config.set("mapred.jar", "C:\\Users\\Administrator\\Desktop\\wc.jar");
e、本地执行main方法,可以使用servlet在界面中调用MR。
2、直接在服务器上,使用命令的方式调用,执行过程也在服务器上
a、把MR程序打包(jar),传送到服务器上
b、在服务器上通过: hadoop jar jar路径 类的全限定名 来执行。
相关文章推荐
- shell小记:crudini
- Android平台实现与Apache Tomcat服务器数据交互(MySql数据库)
- EditText中imeOptions属性使用及设置无效解决
- 官方翻译不当导致的PowerShell运行失败一例
- 使用Openssl验证证书链
- 利用OPENSSH自身记录密码
- LINUX 标注I/O
- 为docker私有registry配置nginx反向代理
- 攻城狮在路上(陆)-- 配置hadoop本地windows运行MapReduce程序环境
- Linux系统中安装使用Trickle来控制用户带宽
- 海尔电商架构
- 《这就是搜索引擎》— 搜索引擎及其技术架构
- shell中各种括号的作用()、(())、[]、[[]]、{}
- Linux_note shell中特殊符号
- shell脚本----if(数字条件,字符串条件,字符串为空)
- 安装Nginx+Tomcat
- Linux_note shell 特性、变量、系统和用户的环境变量配置文件。
- Linux系统下配置多个IP及检测IP冲突的方法
- linux-CentOS 7中rails for ruby 需要安装的一些东西(Curl、Nodejs)
- 在Linux上配置jdk的JAVA_HOME/PATH/CLASSPATH