环境说明 centos7（运行于vbox虚拟机） flume1.9.0（自定义了flume连接mongodb的source插件） jdk1.8 kafka（2.11） zookeeper（3.57） mongoDB4.0.0（无密码） xshell 7 自定义 ...

当我们在测试阶段时难免会出现一些程序写错，导致数据重复，本人因为这个问题，倒腾了几天，刚开始的思路是写脚本，因为自己语言学的太菜，导致连一个定义的公式都没想出来，后来是利用MongoDB里面的聚合解决的。　　下面我以一个小实例来讲把： 不难看出，姓名有出现重复的现象，少的情况 ...

2.flume与kafka,mysql集成 agent.sources = sql-source agen ...

Flume和Kafka完成实时数据的采集 写在前面 Flume和Kafka在生产环境中，一般都是结合起来使用的。可以使用它们两者结合起来收集实时产生日志信息，这一点是很重要的。如果，你不了解flume和kafka，你可以先查看我写的关于那两部分的知识。再来学习，这部分的操作，也是可以的。 实时数据 ...

Kafka是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的Kafka集群甚至可以做到每秒几十万、上百万的超高并发写入。 那么Kafka到底是如何做到这么高的吞吐量和性能的呢？这篇文章我们来一点一点说一下。 1、页缓存技术 + 磁盘顺序写 首先Kafka ...

1.步骤 　　kafka作为消息队列通常用来收集各个服务产生的数据，而下游各种数据服务订阅消费数据，本文通过使用clickhouse 自带的kafka 引擎，来同步消费数据。 　　同步步骤： 　　kafka中创建topic，创建消费者并消费该topic（查看消费情况）　　建立目标表(通常是 ...

目录 概述 1. 分区 2. 日志分段存储 3. 消息顺序追加 4. 页缓存 5. 零拷贝 参考文献 概述   简单回顾下Kafka消息，Kafka中的消息以主题（Topic）为单位进行分类，主题是一个逻辑上的概念，主题还可以细分为一个 ...

一.概述 消息队列模式： 点对点： 1：1。就是一个队列只能由一个消费者进行消费，这个消费者消费完毕就把消息进行删除，不会再给别的消费者。只能消费者拉消息。 发布/订阅： 1：多 ...