storm,spark streaming and flink
2018-01-14 00:00
471 查看
Storm是由BackType和Twitter开发;
开发语言：java和clojure
实时性：ms级
处理方式：流式计算，实时处理每一条数据
吞吐量：低
健壮性、容错性：Zookeeper、Acker，非常强
动态调整并发度：支持
Spark Streaming是在加州大学伯克利分校开发的。
开发语言：scala
处理方式：微批次处理，收集一段时间内的数据，作为一个RDD(Resilient Distributed Datasets),弹性分布式数据集，再进行处理
吞吐量：高
健壮性、容错性：CheckPoint、WAL，一般强
动态调整并发度：不支持
开发语言：java和clojure
实时性：ms级
处理方式：流式计算，实时处理每一条数据
吞吐量：低
健壮性、容错性：Zookeeper、Acker，非常强
动态调整并发度：支持
Spark Streaming是在加州大学伯克利分校开发的。
开发语言：scala
处理方式：微批次处理，收集一段时间内的数据，作为一个RDD(Resilient Distributed Datasets),弹性分布式数据集，再进行处理
吞吐量：高
健壮性、容错性：CheckPoint、WAL，一般强
动态调整并发度：不支持
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 实时流处理Storm、Spark Streaming、Samza、Flink孰优孰劣
- between-flink-and-storm-Spark
- Streaming Big Data: Storm, Spark and Samza--转载
- Storm，Trident，Spark Streaming，Samza和Flink主流流处理框架比较
- 流式计算产品对比(Storm、Trident、Spark Streaming、Flink）
- 大数据框架对比：Hadoop、Storm、Samza、Spark和Flink
- Storm和Spark Streaming框架对比（转）
- 大数据框架对比：Hadoop、Storm、Samza、Spark和Flink
- 大数据分析处理框架——离线分析（hive，pig，spark）、近似实时分析（Impala）和实时分析（storm、spark streaming）
- SparkStreaming和Storm的对比
- Spark之SparkStreaming-Input DStreams and Receivers
- 实时流Streaming大数据：Storm,Spark和Samza
- Storm与Spark Streaming比较
- 大数据框架对比：Hadoop、Storm、Samza、Spark和Flink
- Storm与Spark Streaming比较
- Storm与Spark Streaming比较
- Spark Streaming与Storm的对比
- Real Time Credit Card Fraud Detection with Apache Spark and Event Streaming
- 大数据框架对比：Hadoop、Storm、Samza、Spark和Flink
- 大数据框架对比：Hadoop、Storm、Samza、Spark和Flink--容错机制（ACK，RDD，基于log和状态快照），消息处理at least once，exactly once两个是关键