java實現spark常用算子之Reduce

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function2;

import java.util.Arrays;
import java.util.List;

/**
 * reduce(fun) 算子：
 * 每次傳入兩個參數通過fun 的到一個返回值，該返回值繼續與后面的值進行調用fun，
 * 直到所有的數據計算完成，最后返回一個計算結果
 */
public class ReduceOperator {
 public static void main(String[] args) {
 SparkConf conf = new SparkConf().setMaster("local").setAppName("reduce");
 JavaSparkContext sc = new JavaSparkContext(conf);
 List<Integer> number = Arrays.asList(3,2,5,4,7);
 JavaRDD<Integer> numRDD = sc.parallelize(number);

 int reuslt = numRDD.reduce(new Function2<Integer, Integer, Integer>() {
 @Override
 public Integer call(Integer integer, Integer integer2) throws Exception {
 return integer+integer2;
 }
 });

 System.err.println(reuslt);
 }

}
微信掃描下圖二維碼加入博主知識星球,獲取更多大數據、人工智能、算法等免費學習資料哦！