spark-shell开发wordcount程序
2019-01-10 18:00
459 查看
编辑要处理的文件
vim spark.txt
内容如下
hadoop fs -put /spark.txt /
查看
hadoop fs -ls /
进入spark的bin目录 执行 ./spark-shell
编写scala代码
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 分别用Java、Scala、spark-shell开发wordcount程序及测试代码
- Spark学习（二）：使用Spark开发wordcount程序
- 使用eclipse开发spark程序 wordcount 事例
- Spark实战----(1)使用Scala开发本地测试的Spark WordCount程序
- Spark第一个程序开发 wordcount
- spark学习12（Wordcount程序之spark-shell）
- 将java开发的wordcount程序部署到spark集群上运行
- 启动Spark Shell,在Spark Shell中编写WordCount程序，在IDEA中编写WordCount的Maven程序，spark-submit使用spark的jar来做单词统计
- 将java开发的wordcount程序提交到spark集群上运行
- JDK8+Scala2.11+spark-2.0.0+Intellij2017.3.4开发wordcount程序并在集群中运行
- spark shell中编写WordCount程序
- 将java开发的wordcount程序部署到spark集群上运行
- 用SBT编译Spark的WordCount程序
- spark-shell的wordcount的例子存档
- Spark基于排序机制的wordcount程序（Java版）
- Windows环境下eclipse提交到远程wordcount程序报错 at org.apache.hadoop.util.Shell.runCommand(Shell.java:545)
- spark pairRDD基本操作（三）——附带wordcount程序
- SparkStreaming快速入门程序----WordCount
- spark on yarn 出现的问题【测试wordcount程序遇到的错误，ipc.client连接到yarn的端口失败】
- idea搭建 spark mavne scala开发环境 wordcount例子