Kafka文件的存储机制 ...

点评一下先：kafka的存储主要有几个特点： 1. 多级索引（名义上是1级索引，但是这级索引依赖了文件列表，相当于文件列表是第一级索引，所以是二级索引），二级索引文件和数据文件一一对应。 相比只有1级索引，这样可以支持更大的数据量，也可以更好的支持删除。如果我来设计这个存储系统，我会这样设计 ...

（1） 适用场景 Kafka适合日志处理； RocketMQ适合业务处理。 结论：平手，根据具体业务定夺。 （2） 性能 Kafka单机写入 TPS 号称在百万条/秒； RocketMQ 大约在10万条/秒。 结论：追求性能的话，Kafka单机性能更高。 （3） 可靠性 ...

Broker差异 主从差异: kafka的master/slave是基于partition维度的，而rocketmq是基于broker维度的；kafka的master/slave是可以切换的，而rocketmq不行，当rocketmq的master宕机时，读能被路由到slave上，但写会被路由 ...

转自：https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用MySQL作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初 ...

，而RocketMQ存储消息只有commitLog文件。所以Kafka可以并发写，快于RocketMQ。但同样的，当To ...

这里。 为什么Kafka不能支持更多分区 每个分区都存储整个消息数据。尽管每个分区都按顺 ...

转载自: https://yq.aliyun.com/ziliao/65771 参考: Kafka集群partition replication默认自动分配分析 　　 如何为kafka选择合适的partitions 1.前言 一个商业化消息队列的性能好坏，其文件存储机制设计 ...