Kafka万亿级消息实战
一、Kafka应用 本文主要总结当Kafka集群流量达到 万亿级记录/天或者十万亿级记录/天 甚至更高后，我们需要具备哪些能力才能保障集群高可用、高可靠、高性能、高吞吐、安全的运行。 这里总结内容主要针对Kafka2.1.1版本，包括集群版本升级、数据迁移、流量限制、监控告警、负载均衡、集群 ...
原文：Kafka实战：如何把Kafka消息时延秒降10倍
背景 国内某大型税务系统，业务应用分布式上云改造。 业务难题 如上图所示是模拟客户的业务网页构建的一个并发访问模型。用户在页面点击从而产生一个HTTP请求，这个请求发送到业务生产进程，就会启动一个投递线程 Deliver Thread 调用Kafka的SDK接口，并发送 条消息到DMS 分布式消息服务 ，每条消息大小 k，需要等待 条消息都被处理完成后才会返回请求响应 。当消息达到DMS后，业务 ...
2018-05-10 16:49 0 1138 推荐指数：
相关推荐
Knative 实战：基于 Kafka 实现消息推送
作者 | 元毅 阿里云智能事业群高级开发工程师 导读：当前在 Knative 中已经提供了对 Kafka 事件源的支持，那么如何基于 Kafka 实现消息推送呢？本文作者将以阿里云 Kafka 产品为例，给大家解锁这一新的姿势。 背景 消息队列 for Apache Kafka ...
Kafka实战－Kafka到Storm
1.概述 在《Kafka实战－Flume到Kafka》一文中给大家分享了Kafka的数据源生产，今天为大家介绍如何去实时消费Kafka中的数据。这里使用实时计算的模型——Storm。下面是今天分享的主要内容，如下所示： 数据消费 Storm计算 预览截图 接下 ...
Kafka实战－Flume到Kafka
1.概述 前面给大家介绍了整个Kafka项目的开发流程，今天给大家分享Kafka如何获取数据源，即Kafka生产数据。下面是今天要分享的目录： 数据来源 Flume到Kafka 数据源加载 预览 下面开始今天的分享内容。 2.数据来源 Kafka生产 ...
Kafka实战－Kafka Cluster
1.概述 在《Kafka实战－入门》一篇中，为大家介绍了Kafka的相关背景、原理架构以及一些关键知识点，本篇博客为大家来赘述一下Kafka Cluster的相关内容，下面是今天为大家分享的目录： 基础软件的准备 Kafka Cluster的部署 Send Messages ...
kafka实战
和订阅消息流，这个功能类似于消息队列，这也是kafka归类为消息队列框架的原因 2：It lets ...
大数据技术之_10_Kafka学习_Kafka概述+Kafka集群部署+Kafka工作流程分析+Kafka API实战+Kafka Producer拦截器+Kafka Streams
第1章 Kafka概述1.1 消息队列1.2 为什么需要消息队列1.3 什么是Kafka1.4 Kafka架构第2章 Kafka集群部署2.1 环境准备2.1.1 集群规划2.1.2 jar包下载2.2 Kafka集群部署2.3 Kafka命令行操作第3章 Kafka工作流程分析3.1 ...
Kafka 消息监控 - Kafka Eagle
1.概述 在开发工作当中，消费 Kafka 集群中的消息时，数据的变动是我们所关心的，当业务并不复杂的前提下，我们可以使用 Kafka 提供的命令工具，配合 Zookeeper 客户端工具，可以很方便的完成我们的工作。随着业务的复杂化，Group 和 Topic 的增加，此时我们使用 ...