GitHub项目Storm-HBase介绍
2012-08-06 20:57
197 查看
最近完成了一个GitHub项目:Storm-HBase,该项目是Twitter Storm和Apache HBase的结合,它使用HBase cluster作为Storm的Spout数据源,目前只是初步实现,后续会进一步完善。
HBaseSpout根据时间戳范围[start_timestamp, stop_timestamp],持续不间断地从HBase cluster读取流数据:
如果start_timestamp = 0,HBaseSpout将默认从3分钟前的数据开始读取并发送到Storm cluster;否则从用户指定的start_timestamp开始读取数据。
如果stop_timestamp = 0, HBaseSpout将默认读取到当前时间的数据,并随着时间流动持续地读取新的数据并发送到Storm cluster;否则读取到用户指定的stop_timestamp后停止读取。
以上有关[start_timestamp, stop_timestamp]的设计,是为了适应不同的运行模式:
最典型情况下,start_timestamp = 0 and stop_timestamp = 0,则从3分钟前开始读取发送数据,然后会同步扫描HBase cluster中的新数据,并发送给Storm cluster,适合用户实时计算的情景。
出现问题的情况下,例如Storm cluster重启,计算任务状态被丢失,此时可能需要能够Spout进行数据的回传(data rewind),通过指定[start_timestamp, stop_timestamp]可以满足这一需求。
Storm-HBase力求尽可能做到通用化,因此提取了Storm和HBase的配置信息。有关Storm-HBase的配置选项,可以在GitHub工程的src/main/resources/storm.properties以及src/main/resources/hbase.properties文件中找到。如果你的HBase表的Schema结构与上述类似,那么只需要进行简单的配置即可使用Storm-HBase。
目前的HBaseSpout实现基于以下假设:
HBase表的rowkey形式为[shardingkey, timestamp, ...];
shardingkey占据第1个byte,表示表中数据的分区数,一般是100以内,所以这里使用了short类型存储;
timestamp占据第2~5个byte,表示数据中的时间戳信息,这里timestamp是秒级的UNIX时间戳值,使用了int型存储。
更多关于Storm-HBase的介绍及进展,请参加项目的GitHub链接:https://github.com/ypf412/storm-hbase
HBaseSpout根据时间戳范围[start_timestamp, stop_timestamp],持续不间断地从HBase cluster读取流数据:
如果start_timestamp = 0,HBaseSpout将默认从3分钟前的数据开始读取并发送到Storm cluster;否则从用户指定的start_timestamp开始读取数据。
如果stop_timestamp = 0, HBaseSpout将默认读取到当前时间的数据,并随着时间流动持续地读取新的数据并发送到Storm cluster;否则读取到用户指定的stop_timestamp后停止读取。
以上有关[start_timestamp, stop_timestamp]的设计,是为了适应不同的运行模式:
最典型情况下,start_timestamp = 0 and stop_timestamp = 0,则从3分钟前开始读取发送数据,然后会同步扫描HBase cluster中的新数据,并发送给Storm cluster,适合用户实时计算的情景。
出现问题的情况下,例如Storm cluster重启,计算任务状态被丢失,此时可能需要能够Spout进行数据的回传(data rewind),通过指定[start_timestamp, stop_timestamp]可以满足这一需求。
Storm-HBase力求尽可能做到通用化,因此提取了Storm和HBase的配置信息。有关Storm-HBase的配置选项,可以在GitHub工程的src/main/resources/storm.properties以及src/main/resources/hbase.properties文件中找到。如果你的HBase表的Schema结构与上述类似,那么只需要进行简单的配置即可使用Storm-HBase。
目前的HBaseSpout实现基于以下假设:
HBase表的rowkey形式为[shardingkey, timestamp, ...];
shardingkey占据第1个byte,表示表中数据的分区数,一般是100以内,所以这里使用了short类型存储;
timestamp占据第2~5个byte,表示数据中的时间戳信息,这里timestamp是秒级的UNIX时间戳值,使用了int型存储。
更多关于Storm-HBase的介绍及进展,请参加项目的GitHub链接:https://github.com/ypf412/storm-hbase
相关文章推荐
- GitHub项目Storm-HBase介绍
- GitHub项目Storm-HBase介绍
- GitHub上关于docker的项目排名前十个介绍,同时推荐下两本gitbook
- Kafka+Storm+HBase项目Demo(2)--Kafka环境搭建
- Github上多个iOS开源项目分类及介绍
- Github上600多个iOS开源项目分类及介绍
- Kafka+Storm+HBase项目Demo(7)--Trident使用
- storm项目之实时流式计算介绍
- Github上600多个iOS开源项目分类及介绍
- 18个最热深度学习Github项目逐一介绍
- Github上600多个iOS开源项目分类及介绍
- AS使用git将项目提交到github简单介绍
- 18个最热深度学习Github项目逐一介绍
- Kafka+Storm+HBase项目Demo(4)--Kafka使用
- Github开源Java项目(Disconf)上传到Maven Central Repository方法详细介绍
- Kafka+Storm+HBase项目Demo(5)--topology,spout,bolt使用
- 18个最热深度学习Github项目逐一介绍
- github上排名靠前的java项目之_storm
- Github上600多个iOS开源项目分类及介绍
- GitHub项目Storm-HBase介绍