spark 2.2.0 accumulator使用方法 java版 python版
2018-01-14 14:53
603 查看
java版
python版
package cn.spark.study.core; import org.apache.spark.Accumulator; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.VoidFunction; import java.util.*; public class AccumulatorVairable { public static void main(String[] args) { SparkConf conf =new SparkConf().setAppName("persist").setMaster("local"); JavaSparkContext sc =new JavaSparkContext(conf); final Accumulator<Integer> accumulator = sc.accumulator(0); List<Integer> numberlist =Arrays.asList(1,2,3,4,5); JavaRDD<Integer> num =sc.parallelize(numberlist); num.foreach(new VoidFunction<Integer>() { @Override public void call(Integer arg0) throws Exception { accumulator.add(arg0); } }); System.out.println(accumulator.value()); sc.close(); } }
python版
import os import sys os.environ['SPARK_HOME'] = '/opt/spark' sys.path.append("/opt/spark/python") from pyspark import SparkContext from pyspark import SparkConf if __name__ == '__main__': sc = SparkContext("local", "reduce") sumact = sc.accumulator(0) list = [1, 2, 3, 4, 5] listRdd = sc.parallelize(list) def f(num): global sumact sumact +=num listRdd.foreach(f) print sumact
相关文章推荐
- spark 2.2.0 共享变量使用方法 java版
- spark 2.2.0 共享变量使用方法 python版
- spark 2.2.0 各个计算因子的使用方法 java版
- spark 2.2.0 各个计算因子的使用方法 python版
- spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解(java、python、r和scala)之Basic包下的JavaTC.java(图文详解)
- java调用python方法的库jython介绍及使用实例
- spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解(java、python、r和scala)之Basic包下的JavaPageRank.java(图文详解)
- spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解(java、python、r和scala)之Basic包下的SparkPi.scala(图文详解)
- 两种模型选择和超参数调整方法及Spark MLlib使用示例(Scala/Java/Python)
- 使用Pyjnius 从python调用自定义Java方法
- spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解(java、python、r和scala)之环境准备(图文详解)
- 使用Python+jieba和java+庖丁分词在Spark集群上进行中文分词统计
- Ruby Python Java C C++ 数组使用方法对比
- spark--二十种特征变换方法及Spark MLlib调用实例(Scala/Java/python)(一)
- spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解(java、python、r和scala)之Basic包下的SparkTC.scala(图文详解)
- 使用Python+jieba和java+庖丁分词在Spark集群上进行中文分词统计
- 使用Pyjnius 从python调用自定义Java方法
- spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解(java、python、r和scala)之Basic包下的JavaSparkPi.java(图文详解)
- 使用Java操作文本文件的方法详解
- Java Web Start使用log4j.properties文件的方法