hadoop-1.0.0的hadoop-streaming-1.0.0.jar还是按照以前的api编写/如何将自定义InputFormat加入Streaming
2012-03-26 22:03
567 查看
hadoop-1.0.0的hadoop-streaming-1.0.0.jar还是按照以前的类编写的
mjiang@venus ~/hadoop-1.0.0 $ vi src/contrib/streaming/src/java/org/apache/hadoop/streaming/StreamJob.java
以至于我用1.0.0的api编写的输入类SdfTextInputFormat不能加入hadoop-streaming-1.0.0.jar
即通过:
想到可能是版本的问题,只好再用旧的api重新写了一下,OK
~~~~~~~~~~~~~~~
添加到原来的jar文件步骤:
class中的包与jar中的一样。
javac 编译 ,不用和原来的jar中的class一起
jar uf
mjiang@venus ~/hadoop-1.0.0 $ vi src/contrib/streaming/src/java/org/apache/hadoop/streaming/StreamJob.java
import org.apache.hadoop.mapred.FileAlreadyExistsException; import org.apache.hadoop.mapred.FileInputFormat; ...
以至于我用1.0.0的api编写的输入类SdfTextInputFormat不能加入hadoop-streaming-1.0.0.jar
即通过:
mjiang@venus ~/java/eclipse/target-hadoop/SdfInputFormat-old $ jar uf jar-streaming/hadoop-streaming-1.0.0.jar -C classes-streaming/ .运行出现错误如下:
mjiang@venus ~/java/eclipse/target-hadoop/SdfInputFormat-streaming $ hadoop jar jar-streaming/hadoop-streaming-1.0.0.jar -input "/Com*" -output "o2" -mapper 'babel -isdf -ofpt -xh -xf FP4' -inputformat SdfTextInputFormat -numReduceTasks 0 Exception in thread "main" java.lang.RuntimeException: class org.apache.hadoop.streaming.SdfTextInputFormat not org.apache.hadoop.mapred.InputFormat
想到可能是版本的问题,只好再用旧的api重新写了一下,OK
~~~~~~~~~~~~~~~
添加到原来的jar文件步骤:
class中的包与jar中的一样。
javac 编译 ,不用和原来的jar中的class一起
jar uf
相关文章推荐
- 在Hadoop的streaming中使用自定义的inputformat和outputformat
- 自定义实现InputFormat、OutputFormat、输出到多个文件目录中去、hadoop1.x api写单词计数的例子、运行时接收命令行参数,代码例子
- hadoop自定义SdfTextInputFormat用在streaming中
- 在Hadoop的streaming中使用自定义的inputformat和outputformat
- hadoop编程小技巧(5)---自定义输入文件格式类InputFormat
- Hadoop自定义 inputformat 和outputformat 实现图像的读写
- Hadoop源码解析之: TextInputFormat如何处理跨split的行
- Hadoop自定义InputFormat以实现多文件输入 MultiFileInputFormat
- 自定义hadoop的inputformat
- hadoop自定义InputFormat,OutputFormat输入输出类型
- hadoop 自定义inputformat和outputformat
- 自定义hadoop map/reduce输入文件切割InputFormat
- Hadoop Map/Reduce 新API中自己的FileInputFormat写法
- Hadoop 自定义InputFormat实现自定义Split
- spatialhadoop2.1源码阅读(三) 自定义InputFormat(SpatialInputFormat & ShapeInputFormat)
- 自定义 hadoop MapReduce InputFormat 切分输入文件
- 自定义 hadoop MapReduce InputFormat 切分输入文件
- 自定义hadoop map/reduce输入文件切割InputFormat
- 源码分析Hadoop FileInputFormat如何分片
- Hadoop InputFormat定制时必须知道的原理---如何划分split,split如何调度,如何读取