Spark DataFrame寫入HBase的常用方式
Spark是目前最流行的分布式計算框架，而HBase則是在HDFS之上的列式分布式存儲引擎，基於Spark做離線或者實時計算，數據結果保存在HBase中是目前很流行的做法。例如用戶畫像、單品畫像 ...
花費 11 ms
rdd 寬依賴和窄依賴
Spark中RDD的高效與DAG圖有着莫大的關系， 在DAG調度中需要對計算過程划分Stage， 而划分的依據就是就是RDD之間的依賴關系。 針對不同的轉換函數，RDD之間的依賴關系分為窄 ...
Yarn和mesos區別
參考：https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ Yarn是Hadoop2的產物。提到這個問題就不得不說下 ...