【原創】大數據基礎之Spark（5）Shuffle實現原理及代碼解析
一 簡介 Shuffle，簡而言之，就是對數據進行重新分區，其中會涉及大量的網絡io和磁盤io，為什么需要shuffle，以詞頻統計reduceByKey過程為例， serverA：partition1: (hello, 1), (word, 1)serverB：partition2 ...
原文：【原創】大數據基礎之Spark（3）Spark Thrift實現原理及代碼實現
spark . . 一 啟動命令 啟動spark thrift命令 SPARK HOME sbin start thriftserver.sh 然后會執行 org.apache.spark.deploy.SparkSubmit class org.apache.spark.sql.hive.thriftserver.HiveThriftServer 二 啟動過程及代碼分析 hive thrift代 ...
2018-12-18 15:54 0 1372 推薦指數：
相關推薦
【原創】大數據基礎之Spark（8）Spark中Join實現原理
spark中join有兩種，一種是RDD的join，一種是sql中的join，分別來看： 1 RDD join org.apache.spark.rdd.PairRDDFunctions join操作會返回CoGroupedRDD，CoGroupedRDD構造參數為rdd ...
【原創】大數據基礎之SPARK（9）SPARK中COLLECT和TAKE實現原理
spark中要將計算結果取回driver，有兩種方式：collect和take，這兩種方式有什么差別？來看代碼： org.apache.spark.rdd.RDD 可見collect是直接計算所有結果，然后將每個partition的結果變成array，然后再合並成一個array ...
【原創】大數據基礎之Hadoop（1）HA實現原理
有些工作只能在一台server上進行，比如master，這時HA（High Availability）首先要求部署多個server，其次要求多個server自動選舉出一個active狀態server， ...
【原創】大數據基礎之Hive（5）hive on spark
hive 2.3.4 on spark 2.4.0 Hive on Spark provides Hive with the ability to utilize Apache Spark as its execution engine. set ...
【原創】大數據基礎之Kudu（4）spark讀寫kudu
spark2.4.3+kudu1.9 1 批量讀 2 批量寫 3 單個讀/條件讀 4 單個寫 其他：newInsert/newUpdate/newDelete/newUpsert 5 錯誤定位 如果apply之后發現修改 ...
大數據--Spark原理
Apache Spark是一個圍繞速度、易用性和復雜分析構建的大數據處理框架，最初在2009年由加州大學伯克利分校的AMPLab開發，並於2010年成為Apache的開源項目之一，與Hadoop和Storm等其他大數據和MapReduce技術相比，Spark有如下優勢： 1.運行 ...
【原創】大數據基礎之Spark（1）Spark Submit即Spark任務提交過程
Spark2.1.1 一 Spark Submit本地解析 1.1 現象 提交命令： spark-submit --master local[10] --driver-memory 30g --class app.package.AppClass app-1.0.jar 進程 ...