Apache Spark源碼走讀之9 -- Spark源碼編譯
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本來源碼編譯沒有什么可說的，對於java項目來說，只要會點maven或ant的簡單命令，依葫蘆畫瓢，一下子就ok了。但到了Spark上面，事情似乎不這么簡單，按照spark officical document上的來做，總會出現這樣或那樣的編譯 ...
原文：Apache Spark源碼走讀之11 -- sql的解析與執行
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 在即將發布的spark . 中有一個新增的功能，即對sql的支持，也就是說可以用sql來對數據進行查詢，這對於DBA來說無疑是一大福音，因為以前的知識繼續生效，而無須去學什么scala或其它script. 一般來說任意一個sql子系統都需要有parser,optimizer,execution三大功能模塊，在spark中這些又都是如何實現的呢，這些實現又 ...
2014-05-27 16:10 1 7641 推薦指數：
相關推薦
Apache Spark源碼走讀之8 -- Spark on Yarn
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 Hadoop2中的Yarn是一個分布式計算資源的管理平台，由於其有極好的模型抽象，非常有可能成為分布式計算資源管理的事實標准。其主要職責將是分布式計算集群的管理，集群中計算資源的管理與分配。 Yarn為應用程序開發提供了比較好的實現標准，Spark ...
Apache Spark源碼走讀之1 -- Spark論文閱讀筆記
歡迎轉載，轉載請注明出處，徽滬一郎。 楔子 源碼閱讀是一件非常容易的事，也是一件非常難的事。容易的是代碼就在那里，一打開就可以看到。難的是要通過代碼明白作者當初為什么要這樣設計，設計之初要解決的主要問題是什么。 在對Spark的源碼進行具體的走讀之前，如果想要快速對Spark的有一個整體性 ...
Apache Spark源碼走讀之13 -- hiveql on spark實現詳解
歡迎轉載，轉載請注明出處，徽滬一郎 概要 在新近發布的spark 1.0中新加了sql的模塊，更為引人注意的是對hive中的hiveql也提供了良好的支持，作為一個源碼分析控，了解一下spark是如何完成對hql的支持是一件非常有趣的事情。 Hive簡介 Hive的由來 以下部分摘自 ...
Apache Spark源碼走讀之12 -- Hive on Spark運行環境搭建
歡迎轉載，轉載請注明出處，徽滬一郎。 楔子 Hive是基於Hadoop的開源數據倉庫工具，提供了類似於SQL的HiveQL語言，使得上層的數據分析人員不用知道太多MapReduce的知識就能對存儲於Hdfs中的海量數據進行分析。由於這一特性而收到廣泛的歡迎。 Hive的整體框架中有一個重要 ...
Apache Spark源碼走讀之16 -- spark repl實現詳解
歡迎轉載，轉載請注明出處,徽滬一郎。 概要 之所以對spark shell的內部實現產生興趣全部緣於好奇代碼的編譯加載過程，scala是需要編譯才能執行的語言，但提供的scala repl可以實現代碼的實時交互式執行，這是為什么呢？ 既然scala已經提供了repl，為什么spark還要 ...
Apache Spark源碼走讀之4 -- DStream實時流數據處理
歡迎轉載，轉載請注明出處，徽滬一郎。 Spark Streaming能夠對流數據進行近乎實時的速度進行數據處理。采用了不同於一般的流式數據處理模型，該模型使得Spark Streaming有非常高的處理速度，與storm相比擁有更高的吞能力。 本篇簡要分析Spark Streaming的處理 ...
Apache Spark源碼走讀之5 -- DStream處理的容錯性分析
歡迎轉載，轉載請注明出處，徽滬一郎，謝謝。 在流數據的處理過程中，為了保證處理結果的可信度(不能多算，也不能漏算)，需要做到對所有的輸入數據有且僅有一次處理。在Spark Streaming的處理機制中，不能多算，比較容易理解。那么它又是如何作到即使數據處理結點被重啟，在重啟之后這些數據也會被 ...