1.概述 　　在開發工作當中，消費 Kafka 集群中的消息時，數據的變動是我們所關心的，當業務並不復雜的前提下，我們可以使用 Kafka 提供的命令工具，配合 Zookeeper 客戶端工具，可以很方便的完成我們的工作。隨着業務的復雜化，Group 和 Topic 的增加，此時我們使用 ...

一、Kafka Eagle 1.1、Eagle安裝 1）修改 kafka 啟動命令 修改 kafka-server-start.sh 命令： [hadoop@hadoop102 kafka]$ vim bin/kafka-server-start.sh ... if [ "x ...

第23講：Namenode、Datanode、Nodemanager 等服務狀態監控策略 高俊峰（南非螞蟻） Centreon 介紹與安裝 Centreon 是一款功能強大的分布式 IT 監控系統，通過第三方組件可以實現對網絡、操作系統和應用程序的監控 ...

數據如今已經成了大數據。傳統的監控工具在這種場景下，對於數據的提取分析，已經力不從心，反而成為了運維的 ...

今天聊聊kafka版本號的問題，這個問題實在是太重要了，我覺得甚至是日后能否用好kafka的關鍵。上一節我們介紹了kafka的幾種發行版，其實不論是哪種kafka，本質上都內嵌了最核心的Apache kafka，也就是社區版kafka，那今天我們就說說Apache kafka版本號的問題 ...

kafka對於消息體的大小默認為單條最大值是1M. 但是在我們應用場景中, 常常會出現一條消息大於1M, 如果不對kafka進行配置. 則會出現生產者無法將消息推送到kafka或消費者無法去消費kafka里面的數據, 這是我們就要對kafka進行以下配置: 1. ...

大數據篇：Kafka kafka.apache.org Kafka 是什么? Kafka是一種高吞吐量的分布式發布、訂閱消息系統，它可以處理消費者在網站中的所有動作流數據。 這種動作（網頁瀏覽，搜索和其他用戶的行動）是在現代網絡上的許多社會功能的一個關鍵因素。 這些數據 ...

Kafka設計的初衷是迅速處理短小的消息，一般10K大小的消息吞吐性能最好（可參見LinkedIn的kafka性能測試）。但有時候，我們需要處理更大的消息，比如XML文檔或JSON內容，一個消息差不多有10-100M，這種情況下，Kakfa應該如何處理？ 針對這個問題，有以下幾個建議 ...