kafka备份机制——zk选举leader，leader在broker里负责备份
Kafka架构 如上图所示，一个典型的kafka集群中包含若干producer（可以是web前端产生的page view，或者是服务器日志，系统CPU、memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率 ...
原文：图解 Kafka 水印备份机制
高可用是很多分布式系统中必备的特征之一，Kafka 日志的高可用是通过基于 leader follower 的多副本同步实现的，每个分区下有多个副本，其中只有一个是 leader 副本，提供发送和消费消息，其余都是 follower 副本，不断地发送 fetch 请求给 leader 副本以同步消息，如果 leader 在整个集群运行过程中不发生故障，follower 副本不会起到任何作用，问题就 ...
2019-12-27 11:11 0 266 推荐指数：
相关推荐
深度剖析 Kafka Producer 的缓冲池机制【图解 + 源码分析】
上次跟大家分享的文章「Kafka Producer 异步发送消息居然也会阻塞？」中提到了缓冲池，后面再经过一番阅读源码后，发现了这个缓冲池设计的很棒，被它的设计思想优雅到了，所以忍不住跟大家继续分享一波。 在新版的 Kafka Producer 中，设计了一个消息缓冲池，在创建 Producer ...
Flink水印机制（watermark）
Flink流处理时间方式 EventTime 时间发生的时间，例如：点击网站上的某个链接的时间 IngestionTime 某个Flink节点的source operator接收到数据的时间，例如：某个source消费到kafka中的数据 ...
图解VMware内存机制
在写《VMware内存机制初探》之后，原本是计划写一篇《VMware内存机制再探》的，讲一讲VMware内存机制中的另外几个重要内容，比如透明内存共享(TPS, Transparent Page Sharing), Relaim Memory, Ballooning, swapping等等。但有 ...
Kafka 分区备份实战
1.概述 在 Kafka 集群中，我们可以对每个 Topic 进行一个或是多个分区，并为该 Topic 指定备份数。这部分元数据信息都是存放在 Zookeeper 上，我们可以使用 zkCli 客户端，通过 ls 和 get 命令来查看元数据信息。通过 log.dirs 属性控制消息存放路径 ...
redis的备份机制
1 RDB和AOF两种持久化机制的介绍 RDB持久化就是对redis中的数据执行周期性的数据快照备份，这个周期可以自己配置。 AOF持久化机制对每条写入命令都以append-only的模式写入一个日志文件中，在redis重启的时候，可以通过回放AOF日志中的写入指令来重新构建整个 ...
kafka入门之broker-水印和leader epoch
每个kafka副本对象都持有2个重要的属性：日志末端位移LEO，高水印HW Kafka对leader副本和follower副本的LEO更新机制是不同的，后面我们会详细讨论。 Kafka对leader副本和follower副本的hw值更新机制也是不同的。 消费者无法消费分区leader副本 ...
图解 synchronized 的锁升级机制
Synchronized关键字可以用来修饰方法或者代码块。对于同步方法，JVM 采用 ACC_SYNCHRONIZED 标记符来实现同步。 对于同步代码块。JVM 采用 monitorenter、 ...