2019-12-12 09:37:43
Spark Shell
Spark-shell是Spark自帶的交互式Shell程序,方便用戶進行交互式編程,可以在命令下編寫Scala程序執行Spark
Spark-shell多用於測試 Spark-Shell啟動有兩種模式 local模式和Cluster模式
Local模式：
ps: 必須進入到Spark安裝目錄中bin目錄下 spark-shell 啟動的就是本地模式,local模式僅在本機啟動一個SparkSubmit進程,沒有集群建立聯系,雖然進程中有SparkSubmit但是不會被提交到集群
Cluster模式：
必須進入到Spark安裝目錄中bin目錄下 spark-shell \ --master spark://hadoop01:7077 \ --executor-memory 512M \ --total-executor-cores 1 ps: --master必須有的一條命令 后面的兩條是可以沒有的
退出Shell：
1.使用 :quit 退出shell 2.使用 ctrl+c 退出shell ps:使用ctrl+c 退出shell 可能會出現 后台占用端口的情況 查看監聽端口 netstat -apn | grep 4040 只要有這個端口占用的進程就殺死
Spark2.2shell和Spark1.6shell的對比
1）Spark2.2
2）Spark1.6
說明：Spark2.X版本shell中有兩個內置對象
SparkContext ——> 變量名：sc
SparkSession ——>變量名：spark
SparkSession不能單獨拿出來解釋，2.x之后spark將SQLContext和HiveContext進行整合提供一種全新的創建方式SparkSession
Spark1.6版本shell中有兩個內置對象
SparkContext ——>變量名：sc
SQLContext ——>變量名：sqlcontext