hadoop自定义序列化
2015-10-02 11:36
288 查看
hadoop的MR中的m和r阶段的kv键值对都需要实现序列化,hadoop自带的Text,LongWriable...等,有时候需要自定义java数据类型作为key value,下面实现一个最简单的序列化实现。
package Test;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import org.apache.hadoop.io.Writable;
public class TestWritable implements Writable{
long id = 0L;
public TestWritable(){
super();
}
public TestWritable(long id){
super();
this.id = id;
}
@Override
public void write(DataOutput out) throws IOException {
out.writeLong(id);
}
@Override
public void readFields(DataInput in) throws IOException {
this.id = in.readLong();
}
@Override
public String toString() {
return ""+id;
}
}
package Test;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import org.apache.hadoop.io.Writable;
public class TestWritable implements Writable{
long id = 0L;
public TestWritable(){
super();
}
public TestWritable(long id){
super();
this.id = id;
}
@Override
public void write(DataOutput out) throws IOException {
out.writeLong(id);
}
@Override
public void readFields(DataInput in) throws IOException {
this.id = in.readLong();
}
@Override
public String toString() {
return ""+id;
}
}
相关文章推荐
- 新装LINUX系统如何获得ROOT权限,图文教程
- linux at 无法使用的问题
- Linux 进程管理(一)
- centos 图形 命令行 界面切换
- 3-v4l2文档之——register and open注册,打开
- tomcat8配置全局数据源
- Linux 开发环境搭建与使用——SlickEdit 简单使用教程
- Linux 开发环境搭建与使用——SlickEdit 的安装与配置
- 博客14:CentOS的安装规划
- 在opencv3.0.0下关于“cannot open file 'opencv_ml300d.lib'”类似的错误
- 博客12:linux进程和相关进程查看管理命令以及作业管理
- properties
- linux常用命令(配置查看,定时任务)
- linux的操作
- Linux高性能server规划——处理池和线程池
- 前端学习网站
- Tomcat 多实例
- openssl
- 第一章 初识hadoop
- OpenGL模板 Mac Cmake OpenGL(Glut) Template