storm源碼分析之topology提交過程
storm集群上運行的是一個個topology，一個topology是spouts和bolts組成的圖。當我們開發完topology程序后將其打成jar包，然后在shell中執行storm jar xxxxxx.jar xxxxxxxClass就可以將jar包上傳到storm集群的nimbus ...
原文：twitter storm源碼走讀之3--topology提交過程分析
概要 storm cluster可以想像成為一個工廠，nimbus主要負責從外部接收訂單和任務分配。除了從外部接單，nimbus還要將這些外部訂單轉換成為內部工作分配，這個時候nimbus充當了調度室的角色。supervisor作為中層干部，職責就是生產車間的主任，他的日常工作就是時刻等待着調度到給他下達新的工作。作為車間主任，supervisor領到的活是不用自己親力親為去作的，他手下有着一班的 ...
2013-11-29 11:11 1 2861 推薦指數：
相關推薦
twitter storm源碼走讀之6 -- Trident Topology執行過程分析
歡迎轉載，轉載請注明出處，徽滬一郎。 TridentTopology是storm提供的高層使用接口，常見的一些SQL中的操作在tridenttopology提供的api中都有類似的影射。關於TridentTopology的使用及運行原理，當前進行詳細分析的文章不多 ...
twitter storm源碼走讀之2 -- tuple消息發送場景分析
歡迎轉載，轉載請注明出處源自徽滬一郎。本文嘗試分析tuple發送時的具體細節，本博的另一篇文章《bolt消息傳遞路徑之源碼解讀》主要從消息接收方面來闡述問題，兩篇文章互為補充。 worker進程內消息接收與處理全景圖 先上幅圖簡要勾勒出worker進程接收到tuple消息之后的處理全過程 ...
2 storm的topology提交執行
本博文的主要內容有 .storm單機模式，打包，放到storm集群 .Storm的並發機制圖 .Storm的相關概念 .附PPT 打包，放到storm集群去。我這里，是單機模式下的storm。 weekend110-storm -> ...
Storm-源碼分析-Topology Submit-Nimbus-mk-assignments
什么是executor, 參考Storm-源碼分析- Component ,Executor ,Tas ...
Storm-源碼分析-Topology Submit-Executor-mk-threads
對於executor thread是整個storm最為核心的代碼, 因為在這個thread里面真正完成了大部分工作, 而其他的如supervisor,worker都是封裝調用. 對於executor的mk-threads, 是通過mutilmethods對spout和bolt分別定義 ...
Storm-源碼分析-Topology Submit-Nimbus
Nimbus Server Nimbus server, 首先從啟動命令開始, 同樣是使用storm命令"storm nimbus”來啟動 看下源碼, 此處和上面client不同, jvmtype="-server", 最終調用"backtype.storm ...
Storm-源碼分析-Topology Submit-Client
1 Storm Client 最開始使用storm命令來啟動topology, 如下 storm jar storm-starter-0.0.1-SNAPSHOT-standalone.jar storm.starter.WordCountTopology 這個storm命令 ...