Kafka学习笔记（六、Kafka Connect）
目录： 什么是Kafka Connect Kafka Connect能干什么 Kafka Connect使用示例 什么是Kafka Connect 它是一种用于Kafka和其它系统之间（其它数据源）流式数据传输的工具，如Mysql >> Oracle，Json ...
原文：kafka学习笔记
kafka学习笔记 参考文档 Kafka背景及架构介绍 Kafka背景 对网站使用情况做报表，如活动数据 page view 查看内容 搜索内容等 和运营数据 CPU IO使用率 请求时间 服务器日志等 要用到的数据的收集和分析。 Kafka简介 Kafka是一个分布式的，基于发布 订阅的消息系统： 消息处理时间不受数据量的影响，即使TB级别的消息也可以保证访问的性能。 高吞吐量 支持Kafka ...
2017-07-18 19:07 0 1252 推荐指数：
相关推荐
kafka学习笔记（二）kafka的基本使用
概述 第一篇随笔从消息队列的定义和各种应用，以及kafka的分类定义和基本知识，第二篇就写一篇关于kafka的基本实际配置和使用的随笔，包括kafka的集群参数的配置，生产者使用机制，消费者使用机制。总之我会使用由浅到深，由概括到具体的介绍kafka的每个功能。 kafka集群的配置 ...
Kafka 学习笔记
的分布式事务的保障，也能保障业务执行之后的最终⼀致性 Kafka 概述 1. 介绍 Ka ...
Kafka 学习笔记之 架构
Kafka的概念： 1、 AMQP协议 Advanced Message Queuing Protocol （高级消息队列协议） The Advanced Message Queuing Protocol (AMQP)： 是一个标准开放的应用层 ...
Kafka学习笔记之Kafka日志删出策略
0x00 概述 kafka将topic分成不同的partitions，每个partition的日志分成不同的segments，最后以segment为单位将陈旧的日志从文件系统删除。 假设kafka的在server.properity文件中设置的日志目录为tmp/kafka-logs，对于名为 ...
kafka学习笔记（三）kafka的使用技巧
概述 上一篇随笔主要介绍了kafka的基本使用包括集群参数，生产者基本使用，consumer基本使用，现在来介绍一下kafka的使用技巧。 分区机制 我们在使用 Apache Kafka 生产和消费消息的时候，肯定是希望能够将数据均匀地分配到所有服务器上。比如很多公司使用 Kafka 收集 ...
Kafka学习笔记（五、Kafka偏移量）
目录： MetaData信息 Kafka偏移量 客户端负载均衡 MetaData信息 客户端如何知道该往哪个节点发送请求来获取数据：通过元数据。 元数据（MetaData）是什么：topic、topic的分区、每个分区有哪些副本、哪个副本是leader等信息。 一般 ...
Kafka学习笔记（二、Kafka中的角色）
目录： Kafka Broker和集群 Kafka主题和分区 Kafka Producer和Consumer Kafka Broker和集群： 1、Broker：一个独立的Kafka服务器被称为broker，它用于接收生产者的消息，并设置消息的偏移量，还会把消息保存到磁盘中 ...