1.概述 　　在开发工作当中，消费 Kafka 集群中的消息时，数据的变动是我们所关心的，当业务并不复杂的前提下，我们可以使用 Kafka 提供的命令工具，配合 Zookeeper 客户端工具，可以很方便的完成我们的工作。随着业务的复杂化，Group 和 Topic 的增加，此时我们使用 ...

一、Kafka Eagle 1.1、Eagle安装 1）修改 kafka 启动命令 修改 kafka-server-start.sh 命令： [hadoop@hadoop102 kafka]$ vim bin/kafka-server-start.sh ... if [ "x ...

第23讲：Namenode、Datanode、Nodemanager 等服务状态监控策略 高俊峰（南非蚂蚁） Centreon 介绍与安装 Centreon 是一款功能强大的分布式 IT 监控系统，通过第三方组件可以实现对网络、操作系统和应用程序的监控 ...

数据如今已经成了大数据。传统的监控工具在这种场景下，对于数据的提取分析，已经力不从心，反而成为了运维的 ...

今天聊聊kafka版本号的问题，这个问题实在是太重要了，我觉得甚至是日后能否用好kafka的关键。上一节我们介绍了kafka的几种发行版，其实不论是哪种kafka，本质上都内嵌了最核心的Apache kafka，也就是社区版kafka，那今天我们就说说Apache kafka版本号的问题 ...

kafka对于消息体的大小默认为单条最大值是1M. 但是在我们应用场景中, 常常会出现一条消息大于1M, 如果不对kafka进行配置. 则会出现生产者无法将消息推送到kafka或消费者无法去消费kafka里面的数据, 这是我们就要对kafka进行以下配置: 1. ...

大数据篇：Kafka kafka.apache.org Kafka 是什么? Kafka是一种高吞吐量的分布式发布、订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据 ...

Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？ 针对这个问题，有以下几个建议 ...