系统运维的过程中，每一个细节都值得我们关注 下图为我们的基本日志处理架构 所有日志由Rsyslog或者Filebeat收集，然后传输给Kafka，Logstash作为Consumer消费Kafka里边的数据，分别写入Elasticsearch和Hadoop，最后使用Kibana ...

ELK架构下利用Kafka Group实现Logstash的高可用 原创： 37丫37 运维咖啡吧 3天前 系统运维的过程中，每一个细节都值得我们关注 下图为我们的基本日志处理架构 所有日志由Rsyslog或者Filebeat收集，然后传 ...

数据存储格式 Kafka的高可靠性的保障来源于其健壮的副本（replication）策略。一个Topic可以分成多个Partition，而一个Partition物理上由多个Segment组成。 Segment分2部分：索引文件和数据文件。索引文件保存元数据，记录了消息在数据文件中的偏移 ...

kafka高可用探究 众所周知 kafka 的 topic 可以使用 --replication-factor 数和 partitions 数来保证服务的高可用性 问题发现 但在最近的运维过程中，3台集群的kafka，副本与分区都为3，有其中一台 broker 挂了导致整个集群成了 ...

一、术语 1.1 Broker Kafka 集群包含一个或多个服务器，服务器节点称为broker。 broker存储topic的数据。 如果某topic有N个partition，集群有N个broker，那么每个broker存储该topic的一个partition。 如果某topic有N ...

Apache Kafka是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区 ...

在Kubernetes中，通常kube-schduler和kube-controller-manager都是多副本进行部署的来保证高可用，而真正在工作的实例其实只有一个。这里就利用到 leaderelection 的选主机制，保证leader是处于工作状态，并且在leader挂掉之后，从其他节点 ...

一、高可用的由来 1.1　为何需要Replication 　　在Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与Kafka数据持久性及Delivery Guarantee的设计目标相悖 ...