Storm中使用一種叫做TimeCacheMap的數據結構，用於在內存中保存近期活躍的對象，它的實現非常地高效，而且可以自動刪除過期不再活躍的對象。 TimeCacheMap使用多個桶buckets來縮小鎖的粒度，以此換取高並發讀寫性能。下面我們來看看TimeCacheMap內部是如何實現 ...

1.概述 　　在《Kafka實戰－Flume到Kafka》一文中給大家分享了Kafka的數據源生產，今天為大家介紹如何去實時消費Kafka中的數據。這里使用實時計算的模型——Storm。下面是今天分享的主要內容，如下所示： 數據消費 Storm計算 預覽截圖 　　接下 ...

Charles常見問題匯總 　　Charles是一款很好用的抓包修改工具，但是如果你不是很熟悉這個工具的話，肯定會遇到各種感覺很莫名其妙的狀況，這里就來幫你一一解答下面再說說charles的一些其他常用的功能。 　　選擇請求后，右鍵可以看到一些常用的功能，這里說說Repeat ...

Storm中的很多Bolt都有一個最常見的處理步驟： 讀入一個tuple； 根據這個輸入tuple，提取后發射0個，1個或多個tuple； 最后，通過ack操作確認這個tuple被成功處理。 按照上述處理步驟，依次處理發向這個Bolt的各個tuple元組。 這種模式可以實現 ...

1.概述 　　在《Kafka實戰－實時日志統計流程》一文中，談到了Storm的相關問題，在完成實時日志統計時，我們需要用到Storm去消費Kafka Cluster中的數據，所以，這里我單獨給大家分享一篇Storm Cluster的搭建部署。以下是今天的分享目錄： Storm簡述 ...

本節探討一下storm具體怎么使用，明白怎么在windows下開發storm程序。 功能描述：實時隨機輸出一字符串。 在開發前記得導入storm需要的jar包。1、SimpleSpout類繼承BaseRichSpout類，用來產生數據並且向topology里面發出消息：tuple ...

Storm對流數據進行實時處理時，一種常見場景是批量一起處理一定數量的tuple元組，而不是每接收一個tuple就立刻處理一個tuple，這樣可能是性能的考慮，或者是具體業務的需要。 例如，批量查詢或者更新數據庫，如果每一條tuple生成一條sql執行一次數據庫操作，數據量大的時候，效率會比批量 ...

流聚合（stream join）是指將具有共同元組（tuple）字段的數據流（兩個或者多個）聚合形成一個新的數據流的過程。 從定義上看，流聚合和SQL中表的聚合（table join）很像，但是二者 ...