Storm常見模式——TimeCacheMap
Storm中使用一種叫做TimeCacheMap的數據結構，用於在內存中保存近期活躍的對象，它的實現非常地高效，而且可以自動刪除過期不再活躍的對象。 TimeCacheMap使用多個桶buckets來縮小鎖的粒度，以此換取高並發讀寫性能。下面我們來看看TimeCacheMap內部是如何實現 ...
原文：Storm常見模式——流聚合
流聚合 stream join 是指將具有共同元組 tuple 字段的數據流 兩個或者多個 聚合形成一個新的數據流的過程。 從定義上看，流聚合和SQL中表的聚合 table join 很像，但是二者有明顯的區別：table join的輸入是有限的，並且join的語義是非常明確的 而流聚合的語義是不明確的並且輸入流是無限的。 數據流的聚合類型跟具體的應用有關。一些應用把兩個流發出的所有的tuple都 ...
2012-06-04 19:26 2 21683 推薦指數：
相關推薦
Storm常見模式——BasicBolt
Storm中的很多Bolt都有一個最常見的處理步驟： 讀入一個tuple； 根據這個輸入tuple，提取后發射0個，1個或多個tuple； 最后，通過ack操作確認這個tuple被成功處理。 按照上述處理步驟，依次處理發向這個Bolt的各個tuple元組。 這種模式可以實現 ...
Storm常見模式——批處理
Storm對流數據進行實時處理時，一種常見場景是批量一起處理一定數量的tuple元組，而不是每接收一個tuple就立刻處理一個tuple，這樣可能是性能的考慮，或者是具體業務的需要。 例如，批量查詢或者更新數據庫，如果每一條tuple生成一條sql執行一次數據庫操作，數據量大的時候，效率會比批量 ...
Storm常見模式——分布式RPC
本文翻譯自：https://github.com/nathanmarz/storm/wiki/Distributed-RPC，作為學習Storm DRPC的資料，轉載必須以超鏈接形式標明文章原始出處及本文翻譯鏈接。 分布式RPC（distributed RPC，DRPC）用於對Storm上大量 ...
Storm常見模式——求TOP N
Normal 0 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE ...
Storm實戰常見的問題
該文檔為實實在在的原創文檔，轉載請注明: http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html ...
Storm（流計算）技術原理
流計算概述什么是流數據：數據有靜態數據和流數據。 靜態數據： 很多企業為了支持決策分析而構建的數據倉庫系統，其中存放的大量歷史數據就是靜態數據。技術人員可以利用數據挖掘和OLAP（On-Line Analytical Processing）分析工具從靜態數據中找到對企業有價值的信息 ...
Storm集群的DRPC模式
storm的DRPC模式的作用是實現從遠程調用storm集群的計算資源，而不需要連接到集群的某一個節點。OK。那么storm實現DRPC主要是使用LinearDRPCTopologyBuilder這個類。下面就先來看看一個簡單的例子，它的源碼的github上。 import ...