初始化spark

初始化SparkContext

一.初始化spark
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.SparkConf;

1.利用javasparkcontext初始化
 SparkConf conf=new SparkConf().setMaster("local”).setAppName("MyApp");
//集群url:本例是運行在本地單機local；應用名，可以在集群管理器用戶界面中找到你的應用
 JavaSparkContext sc=new JavaSparkContext(conf);

2.利用sparksesssion初始化
 SparkConf conf=new SparkConf()
                .setMaster("local");
 SparkSession session = SparkSession
                .builder()
                .appName("MyApp")
                .config(conf)
                .getOrCreate();

關閉spark可以用SparkContext的stop()方法，或直接退出應用，如System.exit(0)或sys.exit()

 

 

 

參考《spark快速大數據分析》