一个完整的Avro数据序列化例子

1.环境准备:
在Avro官网下载Avro的jar文件，以最新版本1.7.4为例，分别下载avro-1.7.4.jar和avro-tool-1.7.4.jar;并下载JSON的jar文件core-asl和mapper-asl。将以上四个文件放入${HADOOP_HOME}/lib目录下(当前为/usr/local/hadoop/lib，为了以后hadoop项目方便)。

2.定义模式(Schema):

编辑如下内容，生成文件user.avsc:

{
"namespace": "example.avro",
"type": "record",
"name": "User",
"fields": [
{"name": "name", "type": "string"},
{"name": "favorite_number", "type": ["int", "null"]},
{"name": "favorite_color", "type": ["string", "null"]}
]
}

3.编译模式：
在当前目录下执行如下命令：

java -jar ${HADOOP_HOME}/lib/avro-tools-1.7.4.jar compile schema user.avsc .

这时候当前目录下会生成example/avro/User.java目录和文件。

4 编写测试文件
编辑如下内容，生成文件Test.java:

/**
* @Author wzw
* @Date 2013.07.17
*/
import java.io.*;
import java.lang.*;
import org.apache.avro.io.DatumWriter;
import org.apache.avro.io.DatumReader;
import org.apache.avro.specific.SpecificDatumWriter;
import org.apache.avro.specific.SpecificDatumReader;
import org.apache.avro.file.DataFileWriter;
import org.apache.avro.file.DataFileReader;
import example.avro.User;
public class Test {
public static void main(String args[]) {
User user1 = new User();
user1.setName("Arway");
user1.setFavoriteNumber(3);
user1.setFavoriteColor("green");
User user2 = new User("Ben", 7, "red");
//construct with builder
User user3 = User.newBuilder().setName("Charlie").setFavoriteColor("blue").setFavoriteNumber(100).build();
//Serialize user1, user2 and user3 to disk
File file = new File("users.avro");
DatumWriter<User> userDatumWriter = new SpecificDatumWriter<User>(User.class);
DataFileWriter<User> dataFileWriter = new DataFileWriter<User>(userDatumWriter);
try {
dataFileWriter.create(user1.getSchema(), new File("users.avro"));
dataFileWriter.append(user1);
dataFileWriter.append(user2);
dataFileWriter.append(user3);
dataFileWriter.close();
} catch (IOException e) {
}
//Deserialize Users from dist
DatumReader<User> userDatumReader = new SpecificDatumReader<User>(User.class);
DataFileReader<User> dataFileReader = null;
try {
dataFileReader = new DataFileReader<User>(file, userDatumReader);
} catch (IOException e) {
}
User user = null;
try {
while (dataFileReader.hasNext()) {
// Reuse user object by passing it to next(). This saves
// us from allocating and garbage collecting many objects for
// files with many items.
user = dataFileReader.next(user);
System.out.println(user);
}
} catch (IOException e) {
}
}
}

5.编写编译文件：

编辑如下内容，生成文件compile.sh，注意其中的类路径:

#!/usr/bin/env bash
javac -classpath /usr/local/hadoop/lib/avro-1.7.4.jar:/usr/local/hadoop/lib/avro-tools-1.7.4.jar:/usr/local/hadoop/lib/jackson-core-asl-1.9.13.jar:/usr/local/hadoop/lib/jackson-mapper-asl-1.9.13.jar example/avro/User.java Test.java

6.编写运行文件：

编辑如下内容，生成文件run.sh，注意其中的类路径：

#!/usr/bin/env bash
java  -classpath /usr/local/hadoop/lib/avro-1.7.4.jar:/usr/local/hadoop/lib/avro-tools-1.7.4.jar:/usr/local/hadoop/lib/jackson-core-asl-1.9.13.jar:/usr/local/hadoop/lib/jackson-mapper-asl-1.9.13.jar:User.jar:. Test

7.测试：

(1).编译：

运行compile.sh脚本，编译example/avro/User.java和Test.java文件，生成对应的类文件。

(2).打包User类文件：

jar cvf ./example .

(2).运行：

运行run.sh脚本，查看程序输出结果。

(3).查看avro序列化效果：

在Test.java的写入部分添加一个for循环，多写一些user(如100次)到user.avro，然后把run.sh的输出结果存储到纯文本中user.plain中，观察user.avro和user.plain的大小：

-rw-r--r-- 1 hadoop hadoop   245 2013-07-17 17:18 user.avsc
-rw-r--r-- 1 hadoop hadoop  5486 2013-07-17 18:39 User.jar
-rw-r--r-- 1 hadoop hadoop  1737 2013-07-17 19:11 users.avro
-rw-r--r-- 1 hadoop hadoop  6892 2013-07-17 19:12 users.plain

由以上输出结果可以对avro的序列化功能有一个直观感受。

参考资料：
http://avro.apache.org/docs/1.7.4/gettingstartedjava.html

http://blog.csdn.net/zhumin726/article/details/8467805

wzw0114
2013.07.17