通过wordCount实战详解Spark RDD创建 -- (视频笔记)
2015-12-29 15:11
381 查看
DAG图(RDD 依赖关系图,有向图,无环图)
shuffledRDD为宽依赖
在spark shell的页面上查看具体的job执行情况
我们实际操作save
》》》 val cache = sc.textFile("hdfs://hadoop-1:9000/data/test/test.dat").flatMap(_.split(" ")).map(word=>(word,1)).reduceByKey(_+_).cache
》》》cache.saveAsTextFile("/out/cache/wordcache.dat")
》》》cache.saveAsTextFile("/out/cache/wordcache1.dat")
第一次操作
第二次操作
通过两张图对比可以明显看到,第二次save是用缓存中执行的。
shuffledRDD为宽依赖
在spark shell的页面上查看具体的job执行情况
我们实际操作save
》》》 val cache = sc.textFile("hdfs://hadoop-1:9000/data/test/test.dat").flatMap(_.split(" ")).map(word=>(word,1)).reduceByKey(_+_).cache
》》》cache.saveAsTextFile("/out/cache/wordcache.dat")
》》》cache.saveAsTextFile("/out/cache/wordcache1.dat")
第一次操作
第二次操作
通过两张图对比可以明显看到,第二次save是用缓存中执行的。
相关文章推荐
- 用Fragment制作的Tab页面产生的UI重叠问题
- 旋转数组的最小数字
- redis——持久化篇
- gnuplot
- [友盟微博分享]does not contain bitcode. You must rebuild it with
- setValue和setObject的区别
- Android studio 无法启动安卓模拟器Cannot launch AVD in emulator. Output: emulator: WARNING: Increasing RAM siz
- 获取指定目录下所有csv文件的总行数
- 备份方法论--待续
- android中常见的内存溢出和解决办法
- android硬件加速(View.LAYER_TYPE_SOFTWARE)与GridView for ScrollView 显示问题
- PYTHON设计模式,创建型之工厂方法模式
- objective-C nil,Nil,NULL 和NSNull的小结
- Android_AnimationDrawable介绍及使用
- 使用Squish自动化测试Qt APP心得
- 使用Nodejs实现聊天服务器
- 微服务的鉴定与思考
- CentOS7的VmWare tool的安装
- 360/IE兼容模式下。append 失效,ajax返回json,传值为0问题
- linux 利用export 更新系统环境变量