您的位置:首页 > 编程语言 > Python开发

Spark的SparkStreaming实例(python版)

2020-02-02 17:13 323 查看

以下为基于python开发的SparkStreaming实例:

from pyspark import SparkContext
from pyspark.streaming import StreamingContext

sc = SparkContext("local[2]", "TestStraming")

ssc = StreamingContext(sc, 5)

#作为TCP客户端接收数据流,仅作为测试用,不可用于生产系统
lines = ssc.socketTextStream("localhost", 9984)

rfCount = lines.map(lambda line:(str((int(float(line.split(",")[0]))) / 10 * 10), 1)).reduceByKey(lambda x, y: x + y)

rfCount.pprint()

ssc.start()

ssc.awaitTermination()
  • 点赞
  • 收藏
  • 分享
  • 文章举报
常思大妹子 发布了11 篇原创文章 · 获赞 7 · 访问量 217 私信 关注
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: