Storm, Spark, Hadoop三个大数据处理工具谁将成为主流
2014-06-14 17:38
501 查看
原文:http://bbs.e-works.net.cn/thread-188422-1-1.html
大数据现在是业内炙手可热的话题,随着技术的发展,大数据存储技术已经不在是难点,但是对大数据如何做好存储后的下一步处理将是未来竞争的焦点,目前比较受欢迎的Storm, Spark, Hadoop三个大数据处理工具都是JVM上的语言写成的。
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点。
Storm由java和clojure写成,storm的优点是全内存计算,因为内存寻址速度是硬盘的百万倍以上,所以storm的速度相比较hadoop非常快。
hadoop是实现了mapreduce的思想,将数据切片计算来处理大量的离线数据数据。hadoop处理的数据必须是已经存放在hdfs上或者类似hbase的数据库中,所以hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率。
本期我们将围绕以下几个话题讨论:
1、大数据核心是什么?
2、Storm, Spark, Hadoop三个大数据处理工具谁将成为主流?
3、你觉得今年大数据的发展趋势如何?
大数据现在是业内炙手可热的话题,随着技术的发展,大数据存储技术已经不在是难点,但是对大数据如何做好存储后的下一步处理将是未来竞争的焦点,目前比较受欢迎的Storm, Spark, Hadoop三个大数据处理工具都是JVM上的语言写成的。
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点。
Storm由java和clojure写成,storm的优点是全内存计算,因为内存寻址速度是硬盘的百万倍以上,所以storm的速度相比较hadoop非常快。
hadoop是实现了mapreduce的思想,将数据切片计算来处理大量的离线数据数据。hadoop处理的数据必须是已经存放在hdfs上或者类似hbase的数据库中,所以hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率。
本期我们将围绕以下几个话题讨论:
1、大数据核心是什么?
2、Storm, Spark, Hadoop三个大数据处理工具谁将成为主流?
3、你觉得今年大数据的发展趋势如何?
相关文章推荐
- Storm, Spark, Hadoop三个大数据处理工具谁将成为主流
- Storm, Spark, Hadoop三个大数据处理工具谁将成为主流?
- Storm, Spark, Hadoop三个大数据处理工具谁将成为主流
- 大数据处理 Hadoop、HBase、ElasticSearch、Storm、Kafka、Spark
- 大数据处理 Hadoop、HBase、ElasticSearch、Storm、Kafka、Spark
- Hadoop、Storm、Spark这三个大数据平台有啥区别,各有啥应用场景?
- Hadoop、Storm、Spark这三个大数据平台有啥区别,各有啥应用场景?
- Hadoop、Storm、Spark这三个大数据平台的区别和不同的应用场景
- Hadoop、Storm、Spark这三个大数据平台有啥区别,各有啥应用场景?
- 三个大数据处理框架:Storm,Spark和Samza 介绍比较
- 分布式处理与大数据平台(RabbitMQ&Celery&Hadoop&Spark&Storm&Elasticsearch)
- 大数据框架对比:Hadoop、Storm、Samza、Spark和Flink--容错机制(ACK,RDD,基于log和状态快照),消息处理at least once,exactly once两个是关键
- 【专治不明觉厉】之“大数据” Hadoop,Spark和Storm
- 大数据技术大合集:Hadoop家族、Cloudera系列、spark、storm【转】
- Storm :twitter的实时数据处理工具
- 【专治不明觉厉】之“大数据” Hadoop,Spark和Storm
- 大数据处理的三种框架:Storm,Spark和Samza
- 大数据” Hadoop,Spark和Storm
- hadoop、spark/storm等大数据相关视频资料汇总下载
- 大数据技术大合集:Hadoop家族、Cloudera系列、spark、storm