Spark Streaming总结-----学习笔记

支持多种数据源：Kafka、Flume、HDFS、普通TCP套接字等；
基本原理：实时输入数据流以时间片（秒级）为单位进行拆分，然后经Spark引擎以类似批处理的方式处理每个时间片数据；




Spark Streaming最主要的抽象是DStream（Discretized Stream，离散化数据流），表示连续不断的数据流。在内部实现上，Spark Streaming的输入数据按照时间片（如1秒）分成一段一段的DStream，每一段数据转换为Spark中的RDD，并且对DStream的操作都最终转变为对相应的RDD的操作；



Spark Streaming和Storm最大的区别：

Spark Streaming：Storm
毫秒级 ---------------秒级
低延时引擎（100ms+）---xxx
RDD天生高容错-------xxxx
兼容批处理、实时处理------实时处理
方便历史数据和实时数据联合分析------实时分析