http://airos.blog.51cto.com/10853324/1719870
2015-12-05 18:42
197 查看
初识Spark RDD
Spark 工作方式
1、从外部数据创建输入RDD
2、对RDD进行转化操作生成新的RDD
3、需要被重复利用的中间结果RDD进行持久化操作，如 persist()
4、使用行动操作触发一次并行计算，Spark对计算优化后再执行
创建RDD
两种办法：1、分发驱动器程序中的对象集合 2、读取外部数据集
以读取文件中的一个字符为例，分别给出Python代码
Python：
知识图谱如下
Spark 工作方式
1、从外部数据创建输入RDD
2、对RDD进行转化操作生成新的RDD
3、需要被重复利用的中间结果RDD进行持久化操作，如 persist()
4、使用行动操作触发一次并行计算，Spark对计算优化后再执行
创建RDD
两种办法：1、分发驱动器程序中的对象集合 2、读取外部数据集
以读取文件中的一个字符为例，分别给出Python代码
Python：
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Spark核心概念
- Spark RDD
- spark启动中遇到的问题
- Spark RDD
- Spark源码解读之RDD构建和转换过程
- RDD持久化原理与共享变量
- spark sortByKey
- Spark集群启动python shell错误： Could not resolve hostname localhost: Temporary failure
- Spark RDD算子【二】coalesce 和 repartition
- Spark Partitioner自定义分区
- Spark SQL基础学习【三】以json的方式存储
- Spark RDD算子【四】
- Spark HA高可用部署
- scala基础知识（二）
- Spark常用RDD操作汇总
- Spark RDD 常用算子
- Spark 中 RDD的运行机制
- 马尔可夫聚类算法（MCL）
- Timus Online Judge 1577 E-mail(字符串DP)
- SaltStack入门（二）Grains、NoteGroup和State