最近公司業務數據量越來越大，以前的基於消息隊列的日志系統越來越難以滿足目前的業務量，表現為消息積壓，日志延遲，日志存儲日期過短，所以，我們開始着手要重新設計這塊，業界已經有了比較成熟的流程，即基 ...

　　JStorm是一個類似Hadoop MapReduce的系統，不同的是JStorm是一套基於流水線的消息處理機制，是阿里基於Storm優化的版本，和Storm一樣是一個分布式實時計算的系統，從開發角度來說，JStorm所有的概念和Storm都相同，所有的編程代碼一行不用改也可以直接放到 ...

安裝部署 zeromq 簡單快速的傳輸層框架，安裝如下： wget http://download.zeromq.org/zeromq-2.1.7.tar.gztar zxf zeromq-2.1.7.tar.gzcd zeromq-2.1.7./configuremakesudo make ...

zookeeper的配置： zookeeper有三種配置方式：單機式/偽分布式/集群式 其中偽分布式是在一台電腦上通過不同的端口來模擬分布式情形，需要N份配置文件和啟動程序，而集群式是多個zookeeper程序。 首先通過sftp等方式獲取tar包，解壓 ...

總結： what：分布式應用的協調服務。用於對分布式系統進行節點管理、leader選舉、配置管理等。zookeeper自身也是個分布式系統，有多個節點，具備一致性（借助Paxos算法）、容錯性、高可 ...

（有點像流水賬，好記性不如爛筆頭，權記於此以備忘） 總結： 概念：Broker、Producer、Consumer、Consumer Group、Topic、Partition、Replicati ...

最近在研究jstorm，看了很多資料，所以也想分享出來一些。 安裝部署 zeromq 簡單快速的傳輸層框架，安裝如下： wget http://download.zeromq.org/zeromq-2.1.7.tar.gztar zxf zeromq-2.1.7.tar.gzcd ...

業余菜鳥第一次使用雲服務器搭建大數據集群，下面是所有步驟 微信掃碼關注公眾號，有意想不到的驚喜哦！！！ ...