DStream----Spark Streaming操作
2018-03-19 12:16
274 查看
DStream 是随时间推移而收到的数据的序列。每个时间区间收到的数据都作为 RDD 存在,而 DStream 是由这些 RDD 所组成的序列(因此得名“离散化”)。 DStream 可以从各种输入源创建,比如 Flume、 Kafka 或者 HDFS。创建出来的 DStream 支持两种操作,一种是转化操作( transformation),会生成一个新的DStream,另一种是输出操作( output operation),可以把数据写入外部系统中。 DStream提供了许多与 RDD 所支持的操作相类似的操作支持,还增加了与时间相关的新操作,比如滑动窗口。
相关文章推荐
- Spark Streaming介绍,DStream,DStream相关操作(来自学习资料)
- Spark定制班第27课:Spark Streaming的为什么在DStream的Action操作之外也可能产生Job操作
- DStream操作实战:1.SparkStreaming接受socket数据,实现单词计数WordCount
- Spark Streaming操作笔记
- Spark Streaming中的操作函数分析
- SparkStreaming操作Kafka
- SparkStreaming updateStateByKey 基本操作
- <转>Spark Streaming中的操作函数分析
- Kakfka-Spark Streaming-Spark SQL操作笔记
- spark-streaming-[2]-累加器(更新器)操作(updateStateByKey)
- SparkException: org.apache.spark.streaming.dstream.MappedDStream has not been initialized
- Spark Streaming中的操作函数分析
- spark streaming源码分析4 DStream相关API
- Spark Streaming中的操作函数分析
- 第93课:SparkStreaming updateStateByKey 基本操作综合案例实战和内幕源码解密
- SparkStreaming之HDFS操作
- Spark-Streaming之transform操作,实时黑名单过滤案例
- 第95课:通过Spark Streaming的window操作实战模拟新浪微博、百度、京东等热点搜索词案例实战
- Spark Streaming中的操作函数分析
- spark streaming源码分析4 DStream相关API