Hadoop 通用数据摄取框架:Gobblin
2015-11-23 08:32
806 查看
Gobblin 是 Hadoop 通用数据摄取框架,可以从各种数据源中提取,转换和加载海量数据。比如:数据库,rest APIs,filers,等等。Gobblin 处理日常规划任务需要所有数据摄取 ETLs,包括作业/任务规划,任务分配,错误处理,状态管理,数据质量检测,数据发布等等。
Gobblin 通过同样的执行框架从不同数据源摄取数据,在同一个地方管理所有不同数据源的元数据。同时结合了其他特性,比如自动伸缩,容错,数据质量保证,可扩展和处理数据模型改革等等。Gobblin 变得更容易使用,是个高效的数据摄取框架。
项目主页:https://github.com/linkedin/gobblin
Gobblin 通过同样的执行框架从不同数据源摄取数据,在同一个地方管理所有不同数据源的元数据。同时结合了其他特性,比如自动伸缩,容错,数据质量保证,可扩展和处理数据模型改革等等。Gobblin 变得更容易使用,是个高效的数据摄取框架。
项目主页:https://github.com/linkedin/gobblin
相关文章推荐
- Linux五种IO模型性能分析
- 讲讲自己亲身经历网站备案的前前后后
- ubuntu与centos下检查java是否安装及删除java方法
- linux下的视频音频播放器终极解决方案
- linux升级python
- Linux SSH远程登录快速配置
- shell awk
- 基于OpenCV的mex文件及其编译
- windows系统访问linux系统samba服务案例
- git bash SSH
- [转载]初识Hadoop
- PXE+kickstart实现批量部署linux系统
- Photoshop CS6 自学(二)图像知识
- CentOS ping: unknown host 解决方法
- Apache Maven 入门篇(下)
- Apache Maven 入门篇 ( 上 )
- 省钱宝~网购返利网站
- how to setup c develop environment for windows
- golang windows 交叉编译 Linux
- opencv学习笔记-直方图和均衡化