Storm常見模式——TimeCacheMap
Storm中使用一種叫做TimeCacheMap的數據結構，用於在內存中保存近期活躍的對象，它的實現非常地高效，而且可以自動刪除過期不再活躍的對象。 TimeCacheMap使用多個桶buckets來縮小鎖的粒度，以此換取高並發讀寫性能。下面我們來看看TimeCacheMap內部是如何實現 ...
原文：Storm常見模式——BasicBolt
Storm中的很多Bolt都有一個最常見的處理步驟： 讀入一個tuple 根據這個輸入tuple，提取后發射 個， 個或多個tuple 最后，通過ack操作確認這個tuple被成功處理。 按照上述處理步驟，依次處理發向這個Bolt的各個tuple元組。 這種模式可以實現像ETL這類的簡單函數或過濾器功能，Storm中專門為這種模式封裝了相應接口：IBasicBolt。BaseBasicBolt等類 ...
2012-06-19 19:56 2 6144 推薦指數：
相關推薦
Storm常見模式——批處理
Storm對流數據進行實時處理時，一種常見場景是批量一起處理一定數量的tuple元組，而不是每接收一個tuple就立刻處理一個tuple，這樣可能是性能的考慮，或者是具體業務的需要。 例如，批量查詢或者更新數據庫，如果每一條tuple生成一條sql執行一次數據庫操作，數據量大的時候，效率會比批量 ...
Storm常見模式——流聚合
流聚合（stream join）是指將具有共同元組（tuple）字段的數據流（兩個或者多個）聚合形成一個新的數據流的過程。 從定義上看，流聚合和SQL中表的聚合（table join）很像，但是二者 ...
Storm常見模式——分布式RPC
本文翻譯自：https://github.com/nathanmarz/storm/wiki/Distributed-RPC，作為學習Storm DRPC的資料，轉載必須以超鏈接形式標明文章原始出處及本文翻譯鏈接。 分布式RPC（distributed RPC，DRPC）用於對Storm上大量 ...
Storm常見模式——求TOP N
Normal 0 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE ...
Storm實戰常見的問題
該文檔為實實在在的原創文檔，轉載請注明: http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html ...
Storm集群的DRPC模式
storm的DRPC模式的作用是實現從遠程調用storm集群的計算資源，而不需要連接到集群的某一個節點。OK。那么storm實現DRPC主要是使用LinearDRPCTopologyBuilder這個類。下面就先來看看一個簡單的例子，它的源碼的github上。 import ...
storm入門——本地模式helloworld
創建maven項目，在pom.xml中加入以下配置： 創建SimpleSpout類用於獲取數據流： 創建SimpleBolt類，用於處理數據： 創建main方法配置storm的topology並啟動本地模式運行： 以上為storm ...