一、 簡介 Kafka是用scala語言編寫，由Linkedin公司於2010年貢獻給Apache成為一個開源的消息系統，它主要用於處理活躍的流式數據。遵從一般的MQ結構。Kafka對消息保存時根據Topic進行歸類，此外kafka集群有多個kafka實例組成，每個實例 ...

　　之前寫過Kafka集群的部署，不過那是基於宿主機的，地址：Kafka基礎教程（二）：Kafka安裝 　　和Zookeeper一樣，有時想簡單的連接Kafka用一下，那就需要開好幾台虛擬機，如果Zookeeper部署在其他地方，那還得多開幾台，用完還得關掉，否則太占內存，而且這樣操作甚是繁瑣 ...

一.kafka介紹 kafka是一個分布式、多副本、多訂閱者、分區的，基於zoopkeeper協調的分布式日志系統。其主要特點為： 1.以時間復雜度為O(1)的方式提供消息持久化能力，即使對TB級以上的數據也能保證常數時間的訪問性能。 2.高吞吐率。即使在非常廉價的商用機器上也能做到單機支持每秒 ...

創建一個三個broker的集群 修改副本默認值，KAFKA_DEFAULT_REPLICATION_FACTOR=3，默認是1，沒有副本。設置為和broker數量一樣 docker run -d --name kafka01 -p 9092:9092 -p 9999:9999 -e ...

Kafka介紹 官網：http://kafka.apache.org Kafka是一款性能非常好的並且支持分布式的消息隊列中間件。由於它的高吞吐特性，Kafka通常使用在大數據領域，如日志收集平台。其實Kafka是一個流處理平台，這個概念不太好理解，之所以叫做流，是因為它在 ...

一. 關於kafka 　　Kafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者規模的網站中的所有動作流數據。 這種動作（網頁瀏覽，搜索和其他用戶的行動）是在現代網絡上的許多社會功能的一個關鍵因素。 這些數據通常是由於吞吐量的要求而通過處理日志和日志聚合來解決。 對於像Hadoop ...

Kafka集群部署 部署Kafka之前必須先部署好zookeeper 1. zookeeper分布式安裝部署 1.1 集群規划 在master、slave01和slave02三個節點上部署Zookeeper。 1.2 解壓安裝 （1）進入存放zookeeper安裝包目錄，解壓 ...

利用docker可以很方便的在一台機子上搭建kafka集群並進行測試。為了簡化配置流程，采用docker-compose進行進行搭建。 kafka搭建過程如下： 編寫docker-compose.yml文件,內容如下: 創建子網 docker ...