您的位置:首页 > 运维架构 > Apache

Spark 概念学习系列之如果Apache Spark集群中没有分布式系统,则会?(六)

2016-07-29 11:42 344 查看
  不多说,直接上干货!

若当连接到Spark的master之后,若集群中没有分布式文件系统,Spark会在集群中每一台机器上加载数据,所以要确保Spark集群中每个节点上都有完整数据。

  通常可以选择把数据放到HDFS、S3或者类似的分布式文件系统去避免这个问题。

[b]欢迎大家,加入我的微信公众号:大数据躺过的坑 免费给分享[/b]

同时,大家可以关注我的个人博客

http://www.cnblogs.com/zlslch/ http://www.cnblogs.com/lchzls/

  人生苦短,我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神,汇聚于互联网和个人学习工作的精华干货知识,一切来于互联网,反馈回互联网。
  目前研究领域:大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及:Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里,每天必须有收获

以及对应本平台的QQ群:161156071(大数据躺过的坑)





内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: