【原創】大數據基礎之Spark（7）spark讀取文件split過程（即RDD分區數量）
spark 2.1.1 spark初始化rdd的時候，需要讀取文件，通常是hdfs文件，在讀文件的時候可以指定最小partition數量，這里只是建議的數量，實際可能比這個要大（比如文件特別多或者特別大時），也可能比這個要小（比如文件只有一個而且很小時），如果沒有指定最小partition數量 ...
原文：【原創】大數據基礎之Spark（1）Spark Submit即Spark任務提交過程
Spark . . 一 Spark Submit本地解析 . 現象 提交命令： spark submit masterlocal driver memory g class app.package.AppClass app . .jar 進程： hadoop . . S Aug : bash spark dir bin spark classorg.apache.spark.deploy.Spar ...
2018-10-20 10:08 0 1155 推薦指數：
相關推薦
【原創】大數據基礎之Kudu（4）spark讀寫kudu
spark2.4.3+kudu1.9 1 批量讀 2 批量寫 3 單個讀/條件讀 4 單個寫 其他：newInsert/newUpdate/newDelete/newUpsert 5 錯誤定位 如果apply之后發現修改 ...
【原創】大數據基礎之Hive（5）hive on spark
hive 2.3.4 on spark 2.4.0 Hive on Spark provides Hive with the ability to utilize Apache Spark as its execution engine. set ...
spark submit 提交任務報錯
/opt/module/spark-2.1.1-bin-hadoop2.7/bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://s1:7077 --executor-memory 1G ...
【原創】大數據基礎之Spark（2）Spark on Yarn：container memory allocation容器內存分配
spark 2.1.1 最近spark任務（spark on yarn）有一個報錯 Diagnostics: Container [pid=5901,containerID=container_1542879939729_30802_01_000001] is running ...
【原創】大數據基礎之SPARK（9）SPARK中COLLECT和TAKE實現原理
spark中要將計算結果取回driver，有兩種方式：collect和take，這兩種方式有什么差別？來看代碼： org.apache.spark.rdd.RDD 可見collect是直接計算所有結果，然后將每個partition的結果變成array，然后再合並成一個array ...
【原創】大數據基礎之Spark（3）Spark Thrift實現原理及代碼實現
spark 2.1.1 一 啟動命令 啟動spark thrift命令 $SPARK_HOME/sbin/start-thriftserver.sh 然后會執行 org.apache.spark.deploy.SparkSubmit --class ...
【原創】大數據基礎之Spark（8）Spark中Join實現原理
spark中join有兩種，一種是RDD的join，一種是sql中的join，分別來看： 1 RDD join org.apache.spark.rdd.PairRDDFunctions join操作會返回CoGroupedRDD，CoGroupedRDD構造參數為rdd ...