您的位置：首页 > 其它

Spark 简单实例（基本操作）

2015-07-12 21:34 639 查看

输出

?

输出

?

该命令表明：spark加载文件是按行加载，每行为一个字符串，这样一个RDD[String]字符串数组就可以将整个文件存到内存中。

（1）map

?

这里的命令行：将每行的字符串转换为相应的一个double数组，这样全部的数据将可以用一个二维的数组 RDD[Array[Double]]来表示了

（2）collecct

?

（3）filter

?

（4）flatMap

?

（5）union

?

（6） join

?

（7）lookup

?

（8）groupByKey

?

（9）sortByKey

?

升序的话，sortByKey(true)

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签：

相关文章推荐

新的分享

章节导航