RDD的iterator中的缓存处理内幕 -- (视频笔记)
2015-12-30 11:15
148 查看
前提storageLevel != null
读源码查看
先看ietrator,
查看storageLevel
看sparkEnv.getMemoryManger,通过block manager来操作具体的storage,a list of partitions;RDD获取缓存实质上通过block manager 来获取,partition经过处理后的数据。缓存是block级别的。
读源码查看
先看ietrator,
查看storageLevel
看sparkEnv.getMemoryManger,通过block manager来操作具体的storage,a list of partitions;RDD获取缓存实质上通过block manager 来获取,partition经过处理后的数据。缓存是block级别的。
相关文章推荐
- 在ListView上修改内容后的界面刷新和数据保存
- 【FFmpeg】FFmpeg常用基本命令
- tmp_table_size and max_heap_table_size
- 深入JVM系列(一)之内存模型与内存分配
- 浅谈飞思卡尔最新调试方式OpenSDA
- C++开发人脸性别识别教程(1)——前瞻
- 自写jquery网页回到顶部效果,渐隐图标,引用js文件就可以
- 解决 “不支持尝试执行的操作”错误
- 跨域与跨域访问
- SVN自动同步资源库到某文件夹
- google离线地图实例,加载本地地图瓦片, 支持点线面及图文标注,坐标定位,卫星、电子地图切换
- 用JS获取地址栏参数的方法(超级简单)
- UIWindow简单介绍
- Linux解决Device eth0 does not seem to be present,delaying initialization错误
- 浅析 int main(int argc, char *argv[])
- web学习之jsp一
- 反编译apk出现的问题
- 常用工具总结
- bootstrap入门
- Android注解框架对比