KAFKA的最佳实践
背景 一个Python项目中要使用kafka去deliver log，1个producer，5个consumer。单条消息的大小是100KB ～ 500KB，producer要在1秒钟之内能够发送30个这样的message。然后每个consumer也要在1秒钟之内消费30个这样的message ...
原文：Kafka最佳实践
一 硬件考量 . 内存 不建议为kafka分配超过 g的heap，因为会消耗 g的文件系统缓存，而是考虑为kafka的读写预留充足的buffer。Buffer大小的快速计算方法是平均磁盘写入数量的 倍。推荐使用 GB及以上内存的服务器，低于 GB内存的机器可能会适得其反，导致不断依赖堆积机器来应付需求增长。 我们在生产环境使用的机器是 G内存的，但也看到LinkedIn用了大量 G内存的服务器。 ...
2017-01-23 13:35 0 3159 推荐指数：
相关推荐
window下Kafka最佳实践
Kafka的介绍和入门请看这里kafka入门：简介、使用场景、设计原理、主要配置及集群搭建（转） 当前文章从实践的角度为大家规避window下使用的坑。 1.要求： java 6+ 2.下载kafka【注意，只用下载kafka】 http://mirrors.cnnic.cn ...
【译】Kafka最佳实践 / Kafka Best Practices
本文来自于DataWorks Summit/Hadoop Summit上的《Apache Kafka最佳实践》分享，里面给出了很多关于Kafka的使用心得，非常值得一看，今推荐给大家。 硬件配置 JBOD: Just bunch of disks，就是普通的一堆磁盘组成的集群 OS ...
kafka最佳实践：Kafka Best Practices
Kafka Broker: Java Version We recommend latest java 1.8 with G1 collector ( which is default in new version). If you are using Java 1.7 and G1 ...
springboot+kafka+邮件发送（最佳实践）
菜谱微信小程序，操作简单，教程详细，欢迎大家使用 导读 集成spring-kafka，生产者生产邮件message，消费者负责发送 引入线程池，多线程发送消息 多邮件服务器配置 定时任务生产消息；计划邮件发送 实现过程 ...
Apache Kafka: 优化部署的10个最佳实践
原文作者：Ben Bromhead 译者：江玮 原文地址：https://www.infoq.com/articles/apache-kafka-best-practices-to-optimize-your-deployment 关键点： Kafka的低开销和易于水平伸缩 ...
Kafka在大型应用中的 20 项最佳实践
原标题：Kafka如何做到1秒处理1500万条消息？ Apache Kafka 是一款流行的分布式数据流平台，它已经广泛地被诸如 New Relic（数据智能平台）、Uber、Square（移动支付公司）等大型公司用来构建可扩展的、高吞吐量的、且高可靠的实时数据流系统。 例如，在 New ...
Spring Boot 自定义kafka 消费者配置 ContainerFactory最佳实践
Spring Boot 自定义kafka 消费者配置 ContainerFactory最佳实践 本篇博文主要提供一个在 SpringBoot 中自定义 kafka配置的实践，想象这样一个场景：你的系统需要监听多个不同集群的消息，在不同的集群中topic冲突了，所以你需要分别定义kafka ...