【转载】spark读取HDFS文件和保存数据到HDFS
2017-11-24 00:00
127 查看
def main(args: Array[String]): Unit = {
val conf = new SparkConf()
conf.set("spark.master", "local")
conf.set("spark.app.name", "spark demo")
val sc = new SparkContext(conf);
// 读取hdfs数据
val textFileRdd = sc.textFile("hdfs://m2:9820/README.md")
val fRdd = textFileRdd.flatMap { _.split(" ") }
val mrdd = fRdd.map { (_, 1) }
val rbkrdd = mrdd.reduceByKey(_+_)
// 写入数据到hdfs系统
rbkrdd.saveAsTextFile("hdfs://m2:9820/wcresult")
}
转载:https://www.cnblogs.com/heml/p/6186109.html
val conf = new SparkConf()
conf.set("spark.master", "local")
conf.set("spark.app.name", "spark demo")
val sc = new SparkContext(conf);
// 读取hdfs数据
val textFileRdd = sc.textFile("hdfs://m2:9820/README.md")
val fRdd = textFileRdd.flatMap { _.split(" ") }
val mrdd = fRdd.map { (_, 1) }
val rbkrdd = mrdd.reduceByKey(_+_)
// 写入数据到hdfs系统
rbkrdd.saveAsTextFile("hdfs://m2:9820/wcresult")
}
转载:https://www.cnblogs.com/heml/p/6186109.html
相关文章推荐
- 在使用Spark Streaming向HDFS中保存数据时,文件内容会被覆盖掉的解决方案
- spark读取hdfs上的文件和写入数据到hdfs上面
- Spark中加载本地(或者hdfs)文件以及 spark使用SparkContext实例的textFile读取多个文件夹(嵌套)下的多个数据文件
- Spark1.4从HDFS读取文件运行Java语言WordCounts并将结果保存至HDFS
- Spark1.4从HDFS读取文件运行Java语言WordCounts并将结果保存至HDFS
- C编写以二进制读取文件(任意格式eg :图片),保存到C语言数据格式的TXT文档
- PHP Excel 读取xls,xlsx文件并出入数据然后保存
- C#(asp.net)保存数据到文件,读取文件数据
- spark读取hdfs数据本地性异常
- 读取hdfs文件之后repartition 避免数据倾斜
- 插入数据读取数据库写入到Text文件保存
- 读取HDFS文件中的数据写入到HBase的表中
- spark join shuffle 数据文件的读取
- HDFS如何读取文件以及写入文件-加米谷大数据
- asp.net怎么读取或保存xml文件里的数据范例
- 踩坑事件:windows操作系统下的eclipse中编写SparkSQL不能从本地读取或者保存parquet文件
- Spark1.6.2 java实现读取json数据文件插入MySql数据库
- Spark2 加载保存文件,数据文件转换成数据框dataframe
- Spark使用Java读取mysql数据和保存数据到mysql
- [matlab] 读取数据-保存数据-文件移动和复制