Storm/JStorm之TopologyBuilder源碼閱讀
在Strom/JStorm中有一個類是特別重要的，主要用來構建Topology的，這個類就是TopologyBuilder. 咱先看一下簡單的例子: 在上面的main方法里先創建Top ...
原文：Storm源碼閱讀之SpoutOutputCollector
不得不說storm是一個特別棒的實時計算框架。為了對后文理解的方便，先說幾個storm中的術語: Topology：拓撲圖或者拓撲結構。在storm中它通過消息分組的分式連接Spout和Bolt節點定義了運算處理的拓撲結構。如下圖: 那什么是Spout呢 在計算任務需要的數據其實就是由Spout提供的，所以它可以說是Storm中的消息源，一般是從外部數據源 日志文件 數據庫 消息隊列等等 不間斷地 ...
2016-08-19 09:18 0 2969 推薦指數：
相關推薦
Apache Storm源碼閱讀筆記
歡迎轉載，轉載請注明出處。 楔子 自從建了Spark交流的QQ群之后，熱情加入的同學不少，大家不僅對Spark很熱衷對於Storm也是充滿好奇。大家都提到一個問題就是有關storm內部實現機理的資料比較少,理解起來非常費勁。 盡管自己也陸續對storm的源碼走讀發表了一些博文，當時寫 ...
【原】storm源碼之storm代碼結構【譯】
說明：本文翻譯自Storm在GitHub上的官方Wiki中提供的Storm代碼結構描述一節Structure of the codebase，希望對正在基於Storm進行源碼級學習和研究的朋友有所幫助。 Storm的源碼共分為三個不同的層次。 首先，Storm在設計之初就考慮到了兼容多語言開發 ...
Storm-源碼分析- metric
首先定義一系列metric相關的interface, IMetric, IReducer, ICombiner (backtype.storm.metric.api) 在task中, 創建一系列builtin-metrics ...
Storm TimeCacheMap RotatingMap源碼分析
TimeCacheMap是Twitter Storm里面一個類， Storm使用它來保存那些最近活躍的對象，並且可以自動刪除那些已經過期的對象。 不過在storm0.8之后TimeCacheMap被棄用了，取而代之的是RotatingMap。 RotatingMap ...
[閱讀筆記]fsnotify源碼閱讀
fsnotify的github地址是 https://github.com/howeyc/fsnotify fsnotify是一個文件夾監控應用。可以使用創建一個w ...
Storm-源碼分析- spout (backtype.storm.spout)
, 但是如果不指定或將message-id置空, storm就不會track這個message 必須要注意 ...
Storm-源碼分析-Stats (backtype.storm.stats)
會發現, 現在storm里面有兩套metrics系統, metrics framework和stats framework 並且在所有地方都是同時注冊兩套, 貌似准備用metrics來替代stats, 但當前版本UI仍然使用stats 這個模塊統計的數據怎么被使用, 1. ...