Apache Spark源碼走讀之12 -- Hive on Spark運行環境搭建
歡迎轉載，轉載請注明出處，徽滬一郎。 楔子 Hive是基於Hadoop的開源數據倉庫工具，提供了類似於SQL的HiveQL語言，使得上層的數據分析人員不用知道太多MapReduce的知識就能對存 ...
原文：Apache Spark源碼走讀之2 -- Job的提交與運行
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本文以wordCount為例，詳細說明spark創建和運行job的過程，重點是在進程及線程的創建。 實驗環境搭建 在進行后續操作前，確保下列條件已滿足。 下載spark binary . . 安裝scala 安裝sbt 安裝java 啟動spark shell 單機模式運行，即local模式 local模式運行非常簡單，只要運行以下命令即可，假設當前目錄 ...
2014-04-21 17:33 1 14705 推薦指數：
相關推薦
Apache Spark源碼走讀之10 -- 在YARN上運行SparkPi
y歡迎轉載，轉載請注明出處，徽滬一郎。 概要 “spark已經比較頭痛了，還要將其運行在yarn上，yarn是什么，我一點概念都沒有哎，再怎么辦啊。不要跟我講什么原理了，能不能直接告訴我怎么將spark在yarn上面跑起來，I'm a dummy, just told me how to do ...
Apache Spark源碼走讀之9 -- Spark源碼編譯
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本來源碼編譯沒有什么可說的，對於java項目來說，只要會點maven或ant的簡單命令，依葫蘆畫瓢，一下子就ok了。但到了Spark上面，事情似乎不這么簡單，按照spark officical document上的來做，總會出現這樣或那樣的編譯 ...
Apache Spark源碼走讀之8 -- Spark on Yarn
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 Hadoop2中的Yarn是一個分布式計算資源的管理平台，由於其有極好的模型抽象，非常有可能成為分布式計算資源管理的事實標准。其主要職責將是分布式計算集群的管理，集群中計算資源的管理與分配。 Yarn為應用程序開發提供了比較好的實現標准，Spark ...
【Spark2.0源碼學習】-9.Job提交與Task的拆分
在前面的章節Client的加載中，Spark的DriverRunner已開始執行用戶任務類（比如：org.apache.spark.examples.SparkPi），下面我們開始針對於用戶任務類（或者任務代碼）進行分析 一、整體預覽 ...
Apache Spark源碼走讀之3 -- Task運行期之函數調用關系分析
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本篇主要闡述在TaskRunner中執行的task其業務邏輯是如何被調用到的，另外試圖講清楚運行着的task其輸入的數據從哪獲取，處理的結果返回到哪里，如何返回。 准備 spark已經安裝完畢 spark運行在local mode ...
Apache Spark源碼走讀之1 -- Spark論文閱讀筆記
歡迎轉載，轉載請注明出處，徽滬一郎。 楔子 源碼閱讀是一件非常容易的事，也是一件非常難的事。容易的是代碼就在那里，一打開就可以看到。難的是要通過代碼明白作者當初為什么要這樣設計，設計之初要解決的主要問題是什么。 在對Spark的源碼進行具體的走讀之前，如果想要快速對Spark的有一個整體性 ...
Apache Spark源碼走讀之13 -- hiveql on spark實現詳解
歡迎轉載，轉載請注明出處，徽滬一郎 概要 在新近發布的spark 1.0中新加了sql的模塊，更為引人注意的是對hive中的hiveql也提供了良好的支持，作為一個源碼分析控，了解一下spark是如何完成對hql的支持是一件非常有趣的事情。 Hive簡介 Hive的由來 以下部分摘自 ...