您的位置:首页 > 大数据

Storm, Spark, Hadoop三个大数据处理工具谁将成为主流

2014-06-14 17:38 501 查看
原文:http://bbs.e-works.net.cn/thread-188422-1-1.html

大数据现在是业内炙手可热的话题,随着技术的发展,大数据存储技术已经不在是难点,但是对大数据如何做好存储后的下一步处理将是未来竞争的焦点,目前比较受欢迎的Storm, Spark, Hadoop三个大数据处理工具都是JVM上的语言写成的。

Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点。

Storm由java和clojure写成,storm的优点是全内存计算,因为内存寻址速度是硬盘的百万倍以上,所以storm的速度相比较hadoop非常快。

hadoop是实现了mapreduce的思想,将数据切片计算来处理大量的离线数据数据。hadoop处理的数据必须是已经存放在hdfs上或者类似hbase的数据库中,所以hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率。
本期我们将围绕以下几个话题讨论:

1、大数据核心是什么?

2、Storm, Spark, Hadoop三个大数据处理工具谁将成为主流?

3、你觉得今年大数据的发展趋势如何?
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐