1.为什么分区 kafka有主题（Topic）的概念，它是承载真实数据的逻辑容器，而在主题之下还分为若干个分区，也就是说kafka的消息组织方式实际上是三级结构： 主题---分区---消息。主题下的每条消息只会保存在某一个分区中，而不会在多个分区中保存多份。官网上的这张图非常清晰地展示 ...

上一篇JavaMail入门第三篇 发送邮件中，我们学会了如何用JavaMail API提供的Transport类发送邮件，同样，JavaMail API中也提供了一些专门的类来对邮件的接收进行相关的操作，在介绍这些类之前，我们先来了解下邮件接收API的体系结构，JavaMail API中定义了一个 ...

kafka是如何压缩消息的？要弄清楚这个问题，就要从kafka的消息格式说起。kafka的消息层次分为两层：消息集合(message set)以及消息(message)。一个消息集合包含若干条日志项(record item)，而日志项才是真正封装消息的地方。kafka底层的消息日志由一系列消息集合 ...

Apache Kafka 2.1.0正式支持ZStandard —— ZStandard是Facebook开源的压缩算法，旨在提供超高的压缩比(compression ratio)，具体细节参见https://facebook.github.io/zstd/。本文对Kafka支持的这几种压缩算法 ...

1 RLE RLE 又叫 Run Length Encoding ，是一个针对无损压缩的非常简单的算法。它用重复字节和重复的次数来简单描述来代替重复的字节。尽管简单并且对于通常的压缩非常低效，但它有的时候却非常有用（例如， JPEG 就使用它）。 1.1 原理 图 2.1 显示了一个如何使用 ...

目录： kafka启动脚本以及关闭脚本 1. 同一个生产者同一个Topic，两个相同的消费者相同的Group 2. 同一个生产者同一个Topic，两个消费者不同Group 3. 两个生产者同一个Topic，生产不同的消息，一个消费者 运行的前提是有kafka，并启动kafka ...

摘要 在这一篇的文章中，我将从Sarama的同步生产者和异步生产者怎么创建开始讲起，然后我将向你介绍生产者中的各个参数是什么，怎么使用。 然后我将从创建生产者的代码开始，按照代码的调用流程慢慢深入，直到发送消息并接收到响应。 这个过程跟上面的文章说到的kafka各个层次其实是有对应关系 ...

一、Kafka安装与使用 （ kafka介绍 ） 1. 下载Kafka 官网 http://kafka.apache.org/ 以及各个版本的下载地址 http://archive.apache.org/dist/kafka/ 2. 安装 Kafka是使用scala编写 ...