kafka学习笔记（二）kafka的基本使用
概述 第一篇随笔从消息队列的定义和各种应用，以及kafka的分类定义和基本知识，第二篇就写一篇关于kafka的基本实际配置和使用的随笔，包括kafka的集群参数的配置，生产者使用机制，消费者使用机制。总之我会使用由浅到深，由概括到具体的介绍kafka的每个功能。 kafka集群的配置 ...
原文：Kafka学习笔记（六、Kafka Connect）
目录： 什么是Kafka Connect Kafka Connect能干什么 Kafka Connect使用示例 什么是Kafka Connect 它是一种用于Kafka和其它系统之间 其它数据源 流式数据传输的工具，如Mysql gt gt Oracle，Json gt gt Mysql，MongoDB gt gt Elastic等。 常用于报表等，因为他们都需要从多个数据源中抽取需要的数据，然 ...
2020-01-31 19:46 0 1028 推荐指数：
相关推荐
Kafka: Connect
转自：http://www.cnblogs.com/f1194361820/p/6108025.html Kafka Connect 简介 Kafka Connect 是一个可以在Kafka与其他系统之间提供可靠的、易于扩展的数据流处理工具。使用它能够使得数据进出Kafka变得 ...
Kafka 学习笔记
的分布式事务的保障，也能保障业务执行之后的最终⼀致性 Kafka 概述 1. 介绍 Ka ...
Kafka 学习笔记之 架构
Kafka的概念： 1、 AMQP协议 Advanced Message Queuing Protocol （高级消息队列协议） The Advanced Message Queuing Protocol (AMQP)： 是一个标准开放的应用层 ...
kafka学习笔记
kafka学习笔记 参考文档 Kafka背景及架构介绍 Kafka背景 对网站使用情况做报表，如活动数据（page view、查看内容、搜索内容等）和运营数据（CPU、IO使用率、请求时间、服务器日志等）要用到的数据的收集和分析。 Kafka简介 Kafka是一个分布式的，基于发布 ...
Kafka学习笔记之Kafka日志删出策略
0x00 概述 kafka将topic分成不同的partitions，每个partition的日志分成不同的segments，最后以segment为单位将陈旧的日志从文件系统删除。 假设kafka的在server.properity文件中设置的日志目录为tmp/kafka-logs，对于名为 ...
kafka学习笔记（三）kafka的使用技巧
概述 上一篇随笔主要介绍了kafka的基本使用包括集群参数，生产者基本使用，consumer基本使用，现在来介绍一下kafka的使用技巧。 分区机制 我们在使用 Apache Kafka 生产和消费消息的时候，肯定是希望能够将数据均匀地分配到所有服务器上。比如很多公司使用 Kafka 收集 ...
Kafka学习笔记（五、Kafka偏移量）
目录： MetaData信息 Kafka偏移量 客户端负载均衡 MetaData信息 客户端如何知道该往哪个节点发送请求来获取数据：通过元数据。 元数据（MetaData）是什么：topic、topic的分区、每个分区有哪些副本、哪个副本是leader等信息。 一般 ...