Spark Streaming 监控HDFS目录
2017-12-19 12:12
274 查看
package org.lm.spark.streaming import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} object StreamingWordCountOnLine { def main(args: Array[String]): Unit = { val conf=new SparkConf().setAppName("Streaming Word Count OnLine").setMaster("spark://192.168.189.128:7077") val ssc=new StreamingContext(conf,Seconds(10)) val lines=ssc.textFileStream("hdfs://192.168.189.128:9000/user/StreamingText") val words=lines.flatMap(_.split(" ")) val pairs=words.map(word=>(word,1)) val wordcounts=pairs.reduceByKey(_+_) wordcounts.print() ssc.start() ssc.awaitTermination() } }
相关文章推荐
- spark streaming监控HDFS文件目录
- Spark Streaming监控HDFS输入流
- Spark Streaming之:Flume监控目录下文件内容变化,然后Spark Streaming实时监听Flume,然后从其上拉取数据,并计算出结果
- 大数据IMF传奇行动绝密课程第85课:基于HDFS的SparkStreaming案例实战和内幕源码解密
- How-to: make spark streaming collect data from Kafka topics and store data into hdfs
- Spark Streaming 实时监控一个HDFS的文件夹,当新的文件进来(名字不能重复),将对新文件进行处理。
- spark streaming 应用程序 监控 邮件提醒
- Spark Streaming---HDFSwordcount
- Spark Streaming + Elasticsearch构建App异常监控平台
- spark解决方案系列--------1.spark-streaming实时Join存储在HDFS大量数据的解决方案
- 第30课:集群运行模式下的Spark Streaming日志和Web监控台实战演示彻底解密
- spark streaming读取HDFS
- spark streaming 应用程序监控
- Spark来监控hdfs里的文件,并用wordcount计算
- Spark Streaming---HDFSwordcount
- 基于HDFS的SparkStreaming案例实战和内幕源码解析
- flume + kafka + sparkStreaming + HDFS 构建实时日志分析系统
- 基于HDFS的SparkStreaming案例实战和内幕源码解密
- Spark Streaming、HDFS结合Spark JDBC External DataSouces处理案例
- SparkStreaming实现HDFS的wordCount(java版)