Avro基础 分类: C_OHTERS 2015-02-14 19:56 310人阅读 评论(0) 收藏
2015-02-14 19:56
405 查看
一、Avro的基本功能
1、定义了数据模式文件的语法,一般使用json文件。以及一些数据基本类型与复杂类型。
2、定义了数据序列化到文件后的数据格式,此格式可供各种语言进行读取。
3、为部分语言定义了序列化文件的读取API,如JAVA等。
4、扩展了hadoop的基本mapreduce,提供了用于使用Avro作为输出框架的mapreduce API。
二、Gora中的avro
在gora中使用avro其实只使用了avro基本功能中的第一个,这个gora官方示例中的说明:
Data beans are the main way to hold the data in memory and persist in Gora. Gora needs to explicitly keep track of the status of the data in memory, so we use Apache Avro for defining the beans. Using Avro gives us the possibility to explicitly keep track
of an object's persistent state and a way to serialize an object's data. Defining data beans is a very easy task, but for the exact syntax pleaseconsult the Avro Specification.
详见http://blog.csdn.net/jediael_lu/article/details/43272521
详见《hadoop权威指南》
1、定义了数据模式文件的语法,一般使用json文件。以及一些数据基本类型与复杂类型。
2、定义了数据序列化到文件后的数据格式,此格式可供各种语言进行读取。
3、为部分语言定义了序列化文件的读取API,如JAVA等。
4、扩展了hadoop的基本mapreduce,提供了用于使用Avro作为输出框架的mapreduce API。
二、Gora中的avro
在gora中使用avro其实只使用了avro基本功能中的第一个,这个gora官方示例中的说明:
Data beans are the main way to hold the data in memory and persist in Gora. Gora needs to explicitly keep track of the status of the data in memory, so we use Apache Avro for defining the beans. Using Avro gives us the possibility to explicitly keep track
of an object's persistent state and a way to serialize an object's data. Defining data beans is a very easy task, but for the exact syntax pleaseconsult the Avro Specification.
详见http://blog.csdn.net/jediael_lu/article/details/43272521
详见《hadoop权威指南》
相关文章推荐
- HttpClient基础教程 分类: C_OHTERS 2014-05-18 23:23 2600人阅读 评论(0) 收藏
- python中的生成器(generator) 分类: python Module python基础学习 2013-10-28 17:41 310人阅读 评论(0) 收藏
- Maven基础教程 分类: C_OHTERS 2015-04-10 22:53 232人阅读 评论(0) 收藏
- HtmlParser基础教程 分类: C_OHTERS 2014-05-22 11:33 1649人阅读 评论(1) 收藏
- python基础事项 分类: python基础学习 2013-06-20 11:05 229人阅读 评论(0) 收藏
- python基础知识-字符串的通用操作 分类: python 2012-11-29 19:57 252人阅读 评论(0) 收藏
- Python处理HTML转义字符 分类: python基础学习 2013-06-28 19:00 1719人阅读 评论(0) 收藏
- ucos在s3c2410上运行过程整体剖析之基础知识-与UCOS运行有关的ARM9芯片知识 分类: μc /os ii 系统有关知识 2012-03-08 21:23 606人阅读 评论(0) 收藏
- vim python自动补全方法 分类: ubuntu python基础学习 虚拟机 测试 2013-07-05 15:37 603人阅读 评论(0) 收藏
- 猜数字 分类: python 小练习 python基础学习 2013-06-20 15:16 160人阅读 评论(0) 收藏
- bisect模块 分类: python基础学习 python 2013-06-28 17:58 288人阅读 评论(0) 收藏
- Python文件夹与文件的操作 分类: python 2013-05-21 15:33 310人阅读 评论(0) 收藏
- file()创建文件方法 分类: python python基础学习 2012-12-24 18:17 239人阅读 评论(0) 收藏
- 包导入 分类: python基础学习 python 2013-06-30 11:22 247人阅读 评论(0) 收藏
- urllib.quote 分类: python python基础学习 2013-07-07 10:19 3436人阅读 评论(0) 收藏
- getopt模块 分类: python 2013-06-26 18:02 310人阅读 评论(0) 收藏
- 变量及地址 分类: python基础学习 2013-06-15 15:32 190人阅读 评论(0) 收藏
- 字典的fromkeys()方法 分类: python基础学习 2013-06-15 16:31 305人阅读 评论(0) 收藏
- 使用set()求出列表交集 分类: python基础学习 2013-06-16 17:00 241人阅读 评论(0) 收藏
- 解析XML文件总结 分类: python基础学习 python 2013-06-17 12:04 232人阅读 评论(0) 收藏