大数据IMF传奇行动 Spark pi 例子计算 解析 百万次的运算

圆周率pi的计算：

1、原理

r是圆的半径

圆的面积公式：C = π × r^2 圆面积=x^2+y^2

正方形面积公式：S = k^2

边长为1的1/4的圆面积 π*1^2 /4；

边长为1的正方形面积 1

那设想边长为1的1/4的圆中的某个点落到边长为1的正方形中的概率为p，则p=（π*1^2 /4）/1 ，即π=4p；p为概率，

也可设想边长为1的圆面积π × 1^2，边长为2的正方形面积2*2=4，圆中点落入正方形的概率p=π/4，即π=4p；p为概率，

2、这样，π就转化成了概率的计算，体现大数据并行计算的优势，计算更多的点落入到1/4圆中，计算量越大，π值越准确

3、源代码：

package org.apache.spark.examples

import scala.math.random

import org.apache.spark._

/** Computes an approximation to pi */

object SparkPi {

def main(args: Array[String]) {

val conf = new SparkConf().setAppName("Spark Pi")

val spark = new SparkContext(conf)

val slices = if (args.length > 0) args(0).toInt else 2 //分片数

val n = math.min(100000L * slices, Int.MaxValue).toInt //为避免溢出，n不超过int的最大值

val count = spark.parallelize(1 until n, slices).map { i =>

val x = random * 2 - 1 //小于1的随机数

val y = random * 2 - 1 //小于1的随机数

if (x*x + y*y < 1) 1 else 0 // 点落到圆的值，小于1计一次，大于1超出了圆面积就不算

}.reduce(_ + _) //汇总累加落入圆中的次数

println("Pi is roughly " + 4.0 * count / n) // count / n是概率，count落入圆中次的数，n是总次数；

spark.stop()

}

}

4、spark运行1万次pi，jvm可以复用的，时间耗时秒级；

如果hadoop mr 运行1万次，需要1万台设备，jvm不复用，耗时2天

spark运行1百万次，时间也很快，强大的计算优势！

本地的小测试

scala> :paste

// Entering paste mode (ctrl-D to finish)

val count = (1 until 10).map { i =>

val x = random * 2 - 1

val y = random * 2 - 1

if (x*x + y*y < 1) 1 else 0

}.reduce(_ + _)

// Exiting paste mode, now interpreting.

count: Int = 8

scala> count

res2: Int = 8

scala> (1 until 10).map(println)

1

2

3

4

5

6

7

8

9

res5: scala.collection.immutable.IndexedSeq[Unit] = Vector((), (), (), (), (), (

), (), (), ())