Apache Spark源碼走讀之17 -- 如何進行代碼跟讀
歡迎轉載，轉載請注明出處，徽滬一郎 概要 今天不談Spark中什么復雜的技術實現，只稍為聊聊如何進行代碼跟讀。眾所周知，Spark使用scala進行開發，由於scala有眾多的語法糖，很多時候代碼跟着跟着就覺着線索跟丟掉了，另外Spark基於Akka來進行消息交互，那如何知道誰是接收 ...
原文：Spark 代碼走讀之 Cache
Spark是基於內存的計算模型，但是當compute chain非常長或者某個計算代價非常大時，能將某些計算的結果進行緩存就顯得很方便了。Spark提供了兩種緩存的方法 Cache 和 checkPoint。本章只關注 Cache 基於spark core . ，在后續的章節中會提到 checkPoint. 主要從以下三方面來看 persist時發生什么 執行action時如何去緩存及讀取緩存 如 ...
2016-07-07 17:28 0 5315 推薦指數：
相關推薦
UNIMRCP 代碼走讀
基於UNIMRCP1.5.0的代碼走讀 與 填坑記錄 1. server啟動配置加載 入口：unimrcp_server.c static apt_bool_t unimrcp_server_load(mrcp_server_t *mrcp_server ...
Apache Spark源碼走讀之8 -- Spark on Yarn
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 Hadoop2中的Yarn是一個分布式計算資源的管理平台，由於其有極好的模型抽象，非常有可能成為分布式計算資源管理的事實標准。其主要職責將是分布式計算集群的管理，集群中計算資源的管理與分配。 Yarn為應用程序開發提供了比較好的實現標准，Spark ...
Apache Spark源碼走讀之9 -- Spark源碼編譯
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 本來源碼編譯沒有什么可說的，對於java項目來說，只要會點maven或ant的簡單命令，依葫蘆畫瓢，一下子就ok了。但到了Spark上面，事情似乎不這么簡單，按照spark officical document上的來做，總會出現這樣或那樣的編譯 ...
WebRTC代碼走讀（八）：代碼目錄結構
轉載注明出處http://blog.csdn.net/wanghorse ├── ./base //基礎平台庫，包括線程、鎖、socket等 ├── ./build //編譯腳本， ...
spring-data-redis-cache 使用及源碼走讀
spring-data-redis-cache 使用及源碼走讀 2019-10-13 17:18:41 $9420 閱讀數 13更多 分類專欄： java 版權聲明：本文為博主原創文章，遵循 CC 4.0 BY-SA ...
Apache Spark源碼走讀之1 -- Spark論文閱讀筆記
歡迎轉載，轉載請注明出處，徽滬一郎。 楔子 源碼閱讀是一件非常容易的事，也是一件非常難的事。容易的是代碼就在那里，一打開就可以看到。難的是要通過代碼明白作者當初為什么要這樣設計，設計之初要解決的主要問題是什么。 在對Spark的源碼進行具體的走讀之前，如果想要快速對Spark的有一個整體性 ...
Apache Spark源碼走讀之13 -- hiveql on spark實現詳解
歡迎轉載，轉載請注明出處，徽滬一郎 概要 在新近發布的spark 1.0中新加了sql的模塊，更為引人注意的是對hive中的hiveql也提供了良好的支持，作為一個源碼分析控，了解一下spark是如何完成對hql的支持是一件非常有趣的事情。 Hive簡介 Hive的由來 以下部分摘自 ...