原文:Apache Storm源碼閱讀筆記

歡迎轉載,轉載請注明出處。 楔子 自從建了Spark交流的QQ群之后,熱情加入的同學不少,大家不僅對Spark很熱衷對於Storm也是充滿好奇。大家都提到一個問題就是有關storm內部實現機理的資料比較少,理解起來非常費勁。 盡管自己也陸續對storm的源碼走讀發表了一些博文,當時寫的時候比較匆忙,有時候銜接的不是太好,此番做了一些整理,主要是針對TridentTopology部分,修改過的內容采 ...

2014-05-28 13:12 4 6883 推薦指數:

查看詳情

Storm源碼閱讀之SpoutOutputCollector

不得不說storm是一個特別棒的實時計算框架。為了對后文理解的方便,先說幾個storm中的術語: Topology:拓撲圖或者拓撲結構。在storm中它通過消息分組的分式連接Spout和Bolt節點定義了運算處理的拓撲結構。如下圖: 那什么是Spout呢? 在計算任務需要的數據 ...

Fri Aug 19 17:18:00 CST 2016 0 2969
Storm/JStorm之TopologyBuilder源碼閱讀

在Strom/JStorm中有一個類是特別重要的,主要用來構建Topology的,這個類就是TopologyBuilder. 咱先看一下簡單的例子: 在上面的main方法里先創建Top ...

Mon Oct 17 00:28:00 CST 2016 0 2009
Apache Spark源碼走讀之1 -- Spark論文閱讀筆記

歡迎轉載,轉載請注明出處,徽滬一郎。 楔子 源碼閱讀是一件非常容易的事,也是一件非常難的事。容易的是代碼就在那里,一打開就可以看到。難的是要通過代碼明白作者當初為什么要這樣設計,設計之初要解決的主要問題是什么。 在對Spark的源碼進行具體的走讀之前,如果想要快速對Spark的有一個整體性 ...

Tue Apr 15 19:36:00 CST 2014 6 23402
[閱讀筆記]fsnotify源碼閱讀

fsnotify的github地址是 https://github.com/howeyc/fsnotify fsnotify是一個文件夾監控應用。可以使用創建一個w ...

Mon Dec 03 02:41:00 CST 2012 0 3235
Apollo源碼閱讀筆記(二)

Apollo源碼閱讀筆記(二) 前面 分析了apollo配置設置到Spring的environment的過程,此文繼續PropertySourcesProcessor.postProcessBeanFactory里面調用的第二個方法 ...

Mon Jan 07 22:01:00 CST 2019 0 1227
Spring源碼閱讀筆記

前言   作為一個Java開發者,工作了幾年后,越發覺力有點不從心了,技術的世界實在是太過於遼闊了,接觸的東西越多,越感到前所未有的恐慌。 每天搗鼓這個搗鼓那個,結果回過頭來,才發現這個也不通 ...

Tue Jan 24 17:56:00 CST 2017 9 17891
Behinder源碼閱讀筆記

這幾天把冰蠍V3.0 Beta11_t00ls的源碼閱讀了一遍,進行了特征相關的二次開發,繞過某些安全設備的檢測。例如:(關於冰蠍流量繞過全流量分析安全設備的建議 #138) 可以說得上是閱讀的比較細致了,包含功能的實現,主體實現思路及編程思想。抽時間整理到博客上,估計寫的會比較啰嗦 ...

Sun Sep 19 03:16:00 CST 2021 0 194
HSF源碼閱讀筆記(一)

HSF(highspeed service framework ) 是淘寶內部使用的一個rpc(remote procedure call) 框架,最近在看Apache Mina的應用層協議的編解碼器時,想到了看HSF的源碼。 1、HSF單元測試環境的啟動: HSF組開發同事提供了一個 ...

Wed Jan 23 05:10:00 CST 2013 1 9036
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM