hadoop MapReduce程序中解决第三方jar包问题
2016-09-08 20:31
351 查看
在项目中碰到了MapReduce任务中需要引入第三方jar包的问题;
一、现象
报一堆类似异常【Error: java.lang.ClassNotFoundException:***】。
二、解决方案
方案1:把所有的第三方jar和自己的class打成一个大的jar包,这种方案显然笨拙,而且更新升级比较繁琐。
方案2:
在你的project里面建立一个lib文件夹,然后把所有的第三方jar包放到里面去,hadoop会自动加载lib依赖里面的jar。 (针对第三方的jama.Matrix)
http://www.blowide.com/2010/04/including-external-jars-in-a-hadoop-job/
注意最后一段:
Luckily, I bumped into a solution suggested Doug
Cutting as an answer to someone who had a similar predicament. The
solution was to create a “lib” folder in your project and copy all the external jars into this folder. According to Doug, Hadoop will look
for third-party jars in this folder. It works great!
一、现象
报一堆类似异常【Error: java.lang.ClassNotFoundException:***】。
二、解决方案
方案1:把所有的第三方jar和自己的class打成一个大的jar包,这种方案显然笨拙,而且更新升级比较繁琐。
方案2:
在你的project里面建立一个lib文件夹,然后把所有的第三方jar包放到里面去,hadoop会自动加载lib依赖里面的jar。 (针对第三方的jama.Matrix)
http://www.blowide.com/2010/04/including-external-jars-in-a-hadoop-job/
注意最后一段:
Luckily, I bumped into a solution suggested Doug
Cutting as an answer to someone who had a similar predicament. The
solution was to create a “lib” folder in your project and copy all the external jars into this folder. According to Doug, Hadoop will look
for third-party jars in this folder. It works great!
相关文章推荐
- Hadoop MapReduce程序中解决第三方jar包问题方案
- Hadoop MapReduce程序中解决第三方jar包问题--终极解决方案
- Hadoop MapReduce程序中解决第三方jar包问题--终极解决方案
- Hadoop MapReduce程序中解决第三方jar包问题--终极解决方案
- Mapreduce从HBASE抽取数据,生成搜索下拉服务数据,hadoop jar 调用异常问题解决
- 解决Hadoop运行jar包时MapReduce任务启动前OutOfMemoryError:Java heap space问题
- 使用Python实现Hadoop MapReduce程序遇到的问题解决办法
- hadoop2.2.0 自带jar 包和 MR程序所使用的第三方包冲突 解决
- Android将Activity打成jar包供第三方调用(解决资源文件不能打包的问题)
- 用新版本的job打成jar包在终端运行mapreduce程序遇到的问题 -找不到Map class?
- hadoop mapreduce 解决 top K问题
- 在windows上用eclipse远程运行hadoop上的wordcount程序出现的问题,求解决
- 编写MapReduce程序访问HBase 遇到的问题与解决方法
- Android将Activity打成jar包供第三方调用(解决资源文件不能打包的问题)
- Android将Activity打成jar包供第三方调用(解决资源文件不能打包的问题)
- Android将Activity打成jar包供第三方调用(解决资源文件不能打包的问题)
- hadoop mapreduce 解决 top K问题
- Windows下用Eclipse开发Hadoop程序遇到的问题及解决方法
- Android将Activity打成jar包供第三方调用(解决资源文件不能打包的问题)
- Android将Activity打成jar包供第三方调用(解决资源文件不能打包的问题)