用Java、Scala编写Spark应用程序
一、官网下载安装Scala:scala-2.12.8.tgz
https://www.scala-lang.org/download/
tar -zxvf scala-2.12.8.tgz -C /opt/module
mv scala-2.12.8 scala
测试:scala -version
启动:scala
二、官网下载安装Spark:spark-2.4.2-bin-hadoop2.7.tgz
https://www.apache.org/dyn/closer.lua/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz
解压、重命名
启动spark
- 先启动hadoop 环境 start-all.sh
②启动spark环境
进入到SPARK_HOME/sbin下运行start-all.sh/opt/module/spark/sbin/start-all.sh
查看spark的web控制页面:http://bigdata128:8080/
③启动Spark Shell
此模式用于interactive programming,先进入bin文件夹后运行:spark-shell
SecureCRT 下 spark-shell 下scala>
④退出Spark Shell
scala> :quit
三、使用Spark Shell编写代码
读取本地文件(scala中运行)
Val textFile=sc.textFile(file:///opt/module/spark/bin/f1.txt)
显示第一行内容
textFilefirst()
读取HDFS文件
Val textFile=sc.textFile(“hdfs://192.168.43.87:9000/f1.txt”)
对上述hdfs根目录下f1.txt文件进行词频统计
查看结果
四、用Scala语言编写Spark独立应用程序
第一个Spark应用程序:WordCount
参照网址:
http://dblab.xmu.edu.cn/blog/1311-2/
- 使用Java编写并运行Spark应用程序
- 使用Intellij Idea编写Spark应用程序(Scala+SBT)
- [1.1]第一个Spark应用程序之Java & Scala版 Word Count
- 使用Java编写并运行Spark应用程序
- java编写WordCound的Spark程序,Scala编写wordCound程序
- 使用Java编写并运行Spark应用程序
- 使用Java编写并运行Spark应用程序
- 使用Java编写并运行Spark应用程序
- 详解Java编写并运行spark应用程序的方法
- Idea使用Scala启动并编写Spark应用程序
- 大数据篇:Spark-shell的测试及Scala独立应用程序的编写与sbt打包
- 使用Java编写并运行Spark应用程序
- 【Spark】开发Spark选择Java还是Scala?
- Spark:用Scala和Java实现WordCount
- Spark编写UDF自定义函数(JAVA)
- Spark编写UDAF自定义函数(JAVA)
- Spark线性代数,绘图工具入门;scala, java下的Breeze线性代数以及数据绘图工具breeze-viz入门
- 面向 Java 开发人员的 Ajax: 使用 Jetty 和 Direct Web Remoting 编写可扩展的 Comet 应用程序
- 编写多线程Java应用程序常见问题
- 编写第一个用scala写的spark任务,用sbt打包成jar,并单机模式下运行