流式数据、批式数据、实时数据、历史数据的区别
2018-01-05 23:27
302 查看
大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类。其中,批式大数据又被称为历史大数据,流式大数据又被称为实时大数据。
复杂的批量数据处理(batch data processing),通常的时间跨度在数十分钟到数小时之间。
基于历史数据的交互式查询(interactive query),通常的时间跨度在数十秒到数分钟之间。
基于实时数据流的数据处理(streaming data processing),通常的时间跨度在数百毫秒到数秒之间。
实时计算,强调的是实时。
比如小明要查看他去年一年的消费总额度,那么当小明点下统计按钮的时候,服务器集群就在噼里啪啦的赶紧计算了,必须在小明能够忍耐的时间范围内得出结果。这种计算的背后实现,一般都是冗余 + 各种高性能部件在做支撑,算法也对实时性做了优化,但实时计算并没有强调用那种算法,只要能保证高实时性的就行。实时计算与离线计算的最大区别,就是离线计算是人无法忍耐的时间进行计算,因此人不需要等待,把任务丢给计算机后,自己该干嘛就去干嘛。
流式计算,比实时计算要稍微迟钝些,但比离线计算又实时的多,而且主要强调的是计算方法。
比如,服务器端,有一个值,是记录小明订单数量。当小明每买一件东西后,服务端立即发出一个交易成功的事件,该值接收到这个事件后就立即加1。如果用离线计算的方式来做,估计是在查询时,才慢腾腾的从低速存储中,把小明的所有订单取出来,统计数量。流式计算有点像数据库领域的触发器,又有些像事件总线、中间件之类的计算模式。
1、什么是流式大数据,处理技术、平台及应用都是什么?
http://www.duozhishidai.com/article-905-1.html
2、Spark Streaming:大规模流式数据处理
http://blog.csdn.net/lskyne/article/details/37560609
3、什么是流式数据访问?
https://www.zhihu.com/question/30083497
4、流式计算和实时计算有什么区别?
https://www.zhihu.com/question/38996005
复杂的批量数据处理(batch data processing),通常的时间跨度在数十分钟到数小时之间。
基于历史数据的交互式查询(interactive query),通常的时间跨度在数十秒到数分钟之间。
基于实时数据流的数据处理(streaming data processing),通常的时间跨度在数百毫秒到数秒之间。
实时计算,强调的是实时。
比如小明要查看他去年一年的消费总额度,那么当小明点下统计按钮的时候,服务器集群就在噼里啪啦的赶紧计算了,必须在小明能够忍耐的时间范围内得出结果。这种计算的背后实现,一般都是冗余 + 各种高性能部件在做支撑,算法也对实时性做了优化,但实时计算并没有强调用那种算法,只要能保证高实时性的就行。实时计算与离线计算的最大区别,就是离线计算是人无法忍耐的时间进行计算,因此人不需要等待,把任务丢给计算机后,自己该干嘛就去干嘛。
流式计算,比实时计算要稍微迟钝些,但比离线计算又实时的多,而且主要强调的是计算方法。
比如,服务器端,有一个值,是记录小明订单数量。当小明每买一件东西后,服务端立即发出一个交易成功的事件,该值接收到这个事件后就立即加1。如果用离线计算的方式来做,估计是在查询时,才慢腾腾的从低速存储中,把小明的所有订单取出来,统计数量。流式计算有点像数据库领域的触发器,又有些像事件总线、中间件之类的计算模式。
1、什么是流式大数据,处理技术、平台及应用都是什么?
http://www.duozhishidai.com/article-905-1.html
2、Spark Streaming:大规模流式数据处理
http://blog.csdn.net/lskyne/article/details/37560609
3、什么是流式数据访问?
https://www.zhihu.com/question/30083497
4、流式计算和实时计算有什么区别?
https://www.zhihu.com/question/38996005
相关文章推荐
- 雅虎财经和新浪财经股票API,中国A股实时和历史数据API获取
- 实时/历史数据库和关系型数据库的区别
- 实时/历史数据库和关系型数据库的区别
- 实时流式数据处理和大规模离线数据处理
- (转载)媒体文件的顺序下载播放和实时流式传输播放的区别
- 实时流式数据处理和大规模离线数据处理
- 实时/历史数据库和关系型数据库的区别
- 获取历史和实时股票数据接口
- 基于spark的实时流数据需跟历史数据进行对比时所遇到的问题
- 实时/历史数据库和关系型数据库的区别
- 2017云栖大会·杭州峰会:《在线用户行为分析:基于流式计算的数据处理及应用》之《数据可视化:构建实时动态运营数据分析大屏》篇
- 实时数据流式分析改变商业游戏规则
- python量化分析系列之---使用python获取股票历史数据和实时分笔数据
- OSISoft实时/历史数据库PI的数据存储机制分析
- 实时/历史数据库和关系型数据库的区别
- 获取历史和实时股票数据接口
- 实时计算和流式计算的区别
- 获取历史和实时股票数据接口
- 流式处理、实时计算、Add-hoc、离线计算、实时查询等区别
- 流式大数据实时处理技术、平台及应用