用Scala语言编写Spark独立应用程序Pi

编程实现圆周率Pi的计算
在终端中执行如下命令创建一个文件夹sparkapp作为应用程序根目录

cd ~                    # 进入用户主文件夹
mkdir ./sparkapp        # 创建应用程序根目录
mkdir -p ./sparkapp/src/main/scala     # 创建所需的文件夹结构

为了能够使用sbt对Scala应用程序进行编译打包，需要把应用程序代码存放在应用程序根目录下的src/main/scala目录下。
使用vim编辑器在/sparkapp/src/main/scala目录下建立一个名为montecarloForPi.scala 的Scala代码文件。

vim ./sparkapp/src/main/scala/montecarloForPi.scala

import scala.collection.mutable.ArrayBuffer
import scala.util.Random

object montecarloForPi {
def fun(num:Int):Double={
val randomnum = new Random()
val loop = (1 to num)
var count = 0
loop.foreach(_ => {
val (x,y) =(randomnum.nextFloat(),randomnum.nextFloat())
val disToCenter = Math.sqrt(Math.pow(x,2)+Math.pow(y,2))
if (disToCenter <= 1.0) count +=1
})
(count*4) *1.0000/num
}
def main(args: Array[String]): Unit = {
val piArr = ArrayBuffer[Double]()
val loop = (1 to 100)
loop.foreach(_ =>
{
piArr += fun(1000000)
})
val pimean = piArr.sum/piArr.size
println(pimean)
}
}

用sbt打包Scala应用程序
应用程序依赖于Spark API，因此，需要通过sbt进行编译打包。使用vim编辑器在/sparkapp目录下新建文件pi.sbt

vim ./sparkapp/pi.sbt

pi.sbt文件用于声明该独立应用程序的信息以及与Spark的依赖关系，输入以下内容：

name := "Pi Project"
version := "1.0"
scalaVersion := "2.11.12"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.5"

Spark版本和Scala版本根据自己安装的版本来写，通过启动Spark Shell，可以查看到Spark版本和Scala版本。

为了保证sbt能正常运行，先执行如下命令检查整个应用程序的文件结构

cd ~/sparkapp
find

文件结构如下所示

通过如下代码将整个应用程序打包成JAR

/usr/local/sbt/sbt package

对于刚刚安装的Spark和sbt而言，第一次执行上面命令，系统会自动从网络上下载各种相关文件，因此上面执行过程需要等待几分钟。

生成的JAR包的位置为/home/hadoop/sparkapp/target/scala-2.11/pi-project_2.11-1.0.jar
通过spark-submit运行程序

/usr/local/spark/bin/spark-submit --class "montecarloForPi" ~/sparkapp/target/scala-2.11/pi-project_2.11-1.0.jar

成功运行，ok，以上就是本次操作的全部内容，有哪里不对的地方随时指出来哦