淺談spark的數據本地性（data locality）

spark的數據本地性（data locality） Spark其中一個特性就是數據本地性，簡單的說就是“移動數據不如移動計算”。 因為數據在網絡傳輸中會有不小的I/O消耗，並且傳輸距離越長消耗越大。 所以，數據本地性可以理解為數據傳輸距離，而我們的目的就是避免數據在網絡中傳輸或盡量減少傳輸 ...