Spark号称“内存计算框架” ， 它将所有数据写 到内存吗？
2017-04-04 14:45
363 查看
答案是否定的
Spark在处理 shuffle时，也会把中间结果写在磁盘上，shuffle阶段和Mapreduce的shuffle阶段类似
Spark在处理 shuffle时，也会把中间结果写在磁盘上，shuffle阶段和Mapreduce的shuffle阶段类似
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Spark 介绍（基于内存计算的大数据并行计算框架）
- Spark 介绍（基于内存计算的大数据并行计算框架）
- 04大数据内存计算spark系列贴-SHARK(SQL on spark 0.x)
- 如何在spark中读写cassandra数据 ---- 分布式计算框架spark学习之六
- 05大数据内存计算spark系列贴-spark straming 流式计算
- 07大数据内存计算spark系列贴-spark SQL
- Hive数据分析——Spark是一种基于rdd（弹性数据集）的内存分布式并行处理框架，比于Hadoop将大量的中间结果写入HDFS，Spark避免了中间结果的持久化
- 02-大数据内存计算spark系列贴-spark介绍、spark程序
- 大数据计算框架Hadoop, Spark和MPI
- 数据科学家如何优雅的运行R在spark内存计算引擎上
- 聊聊spark这个大数据计算框架
- 大数据计算框架Hadoop, Spark和MPI
- 06大数据内存计算spark系列贴-mllib 机器学习
- 03-大数据内存计算spark系列贴-spark整合hbase，优化BI平台
- 01-大数据内存计算spark系列贴-spark生态系统简介
- 大数据计算框架Hadoop, Spark和MPI
- 大数据开源框架之二：Berkeley Data Analytics Stack(tachyon, spark, shark， spark streaming)
- TGraphicControl（自绘就2步，直接自绘自己，不需要调用VCL框架提供的函数重绘所有子控件，也不需要自己来提供PaintWindow函数让管理框架来调用）与TControl关键属性方法速记（Repaint要求父控件执行详细代码来重绘自己，还是直接要求Invalidate无效后Update刷新父控件，就看透明不透明这个属性，因为计算显示的区域有所不同）
- SSH开发框架中，实现系统启动加载类，读取数据库常用数据进入内存，利用Spring托管，并完成reload功能
- Spark Streaming实时计算框架介绍