探索c#之storm的TimeCacheMap
閱讀目錄： 概述 算法介紹 清理線程 獲取、插入、刪除 總結 概述 最近在看storm，發現其中的TimeCacheMap算法設計頗為高效，就簡單分享介紹下。 思考一下如果需要一個帶過期淘汰的緩存容器，我們通常會使用定時器或線程去掃描容器，以便判斷是否過期從而刪除 ...
原文：Storm常見模式——TimeCacheMap
Storm中使用一種叫做TimeCacheMap的數據結構，用於在內存中保存近期活躍的對象，它的實現非常地高效，而且可以自動刪除過期不再活躍的對象。 TimeCacheMap使用多個桶buckets來縮小鎖的粒度，以此換取高並發讀寫性能。下面我們來看看TimeCacheMap內部是如何實現的。 . 實現原理 桶鏈表：鏈表中每個元素是一個HashMap，用於保存key,value格式的數據。 鎖對象 ...
2012-06-26 12:32 2 8065 推薦指數：
相關推薦
Storm常見模式——BasicBolt
Storm中的很多Bolt都有一個最常見的處理步驟： 讀入一個tuple； 根據這個輸入tuple，提取后發射0個，1個或多個tuple； 最后，通過ack操作確認這個tuple被成功處理。 按照上述處理步驟，依次處理發向這個Bolt的各個tuple元組。 這種模式可以實現 ...
Storm TimeCacheMap RotatingMap源碼分析
TimeCacheMap是Twitter Storm里面一個類， Storm使用它來保存那些最近活躍的對象，並且可以自動刪除那些已經過期的對象。 不過在storm0.8之后TimeCacheMap被棄用了，取而代之的是RotatingMap。 RotatingMap ...
Storm常見模式——批處理
Storm對流數據進行實時處理時，一種常見場景是批量一起處理一定數量的tuple元組，而不是每接收一個tuple就立刻處理一個tuple，這樣可能是性能的考慮，或者是具體業務的需要。 例如，批量查詢或者更新數據庫，如果每一條tuple生成一條sql執行一次數據庫操作，數據量大的時候，效率會比批量 ...
Storm常見模式——流聚合
流聚合（stream join）是指將具有共同元組（tuple）字段的數據流（兩個或者多個）聚合形成一個新的數據流的過程。 從定義上看，流聚合和SQL中表的聚合（table join）很像，但是二者 ...
Storm常見模式——分布式RPC
本文翻譯自：https://github.com/nathanmarz/storm/wiki/Distributed-RPC，作為學習Storm DRPC的資料，轉載必須以超鏈接形式標明文章原始出處及本文翻譯鏈接。 分布式RPC（distributed RPC，DRPC）用於對Storm上大量 ...
Storm常見模式——求TOP N
Normal 0 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE ...
Storm實戰常見的問題
該文檔為實實在在的原創文檔，轉載請注明: http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html ...