之前對Broadcast有分析，但是不夠深入《Spark2.3（四十三）：Spark Broadcast總結》，本章對其實現過程以及原理進行分析。 帶着以下幾個問題去寫本篇文章： 1）driver端如何實現broadcast的裝備，是否會把broadcast數據發送給executor端 ...

Spark 框架有兩個核心組件:Driver和Executor Driver:驅動整個應用運行起來的程序,也叫Driver類 將用戶程序轉化為作業（job） 在 Executor 之間調度任務(task) 跟蹤 Executor 的執行情況 ...

Spark中的閉包 閉包的作用可以理解為：函數可以訪問函數外部定義的變量，但是函數內部對該變量進行的修改，在函數外是不可見的，即對函數外源變量不會產生影響。 其實，在學習Spark時，一個比較難理解的點就是，在集群模式下，定義的變量和方法作用域的范圍和生命周期。這在你操作RDD時，比如調用 ...

spark.serializer (default org.apache.spark.serializer.JavaSerializer ) 建議設置為 org.apache.spark.serializer.KryoSerializer，因為KryoSerializer ...

一．Spark2.0的新特性Spark讓我們引以為豪的一點就是所創建的API簡單、直觀、便於使用，Spark 2.0延續了這一傳統，並在兩個方面凸顯了優勢：　　1、標准的SQL支持；　　2、數據框（DataFrame）/Dataset （數據集）API的統一。　　在SQL方面，我們已經對Spark ...

准備 1、hadoop已部署（若沒有可以參考：Centos7安裝Hadoop2.7），集群情況如下（IP地址與之前文章有變動）： hostname IP地址 ...

Spark2.x 引入了很多優秀特性，性能上有較大提升，API 更易用。在“編程統一”方面非常驚艷，實現了離線計算和流計算 API 的統一，實現了 Spark sql 和 Hive Sql 操作 API 的統一。Spark 2.x 基本上是基於 Spark 1.x 進行了更多的功能和模塊的擴展 ...

本章節根據源代碼分析Spark Structured Streaming(Spark2.4)在進行DataSourceProvider查找的流程，首先，我們看下讀取流數據源kafka的代碼： sparkSession.readStream()返回的對象 ...