kafka-报错问题整理
1、broker挂了 关键字LogDirFailureChannel NoSuchFileException Shutdown broker because all log dirs in /tmp/kafka-logs have failed 装的是单机单节点的kafka，运行 ...
原文：KAFKA-使用问题
本篇文档使用kafka版本为： . . . 问题 在现场项目中，kafka连接正常一直无数据 通常是确认配置是否正确，包含任务配置，ip端口号 查看topic offset：是否有新数据进来，数据是否被消费掉了， 然后检查kafka服务是否正常，查看服务是否有节点挂掉，topic配置是否做了副本， 如果kafka是集群，而topic没有设置副本，那么挂掉一个节点就会导致无法拉取数据 其次是网络是否 ...
2021-05-11 16:31 0 1008 推荐指数：
相关推荐
kafka-重复消费-2
场景： kafka先批量拉取消息，完了将拉下来的消息逐条消费，假如此次共拉取40条消息，但在处理第31条时，线程被停掉，就会导致已消费消息offet不会被提交，接下来已经被消费的30条记录还会被重复消费，这就是kafka重复消费的另一场景； 解决思路： 解决此类重复消费的方式：将能够唯一标识 ...
kafka-常用脚本
Kafka常用脚本 在Kafka安装目录下（$KAFKA_HOME/bin），提供了很多内置的脚本供我们使用。使用脚本可以测试Kafka的大多数功能，下面我们就脚本的使用作出说明。 启动broker bin/kafka-server-start.sh脚本提供了启动broker的功能 ...
Kafka-生产者发消息流程、使用及常用配置
Kafka-生产者 生产者发送消息流程 1.新建ProducerRecord对象，包含目标主题和要发送的内容。也可以指定键或分区 2.发送ProducerRecord对象时，生产者要把键和值对象序列化成字节数组，这样它们才能在网络上传输 3.数据被传给分区器 ...
spring boot项目12：Kafka-基础使用
JAVA 8 Spring Boot 2.5.3 kafka_2.13-2.8.0 apache-zookeeper-3.7.0 --- 授人以渔： 1、Spring Boot Reference Documentation This document is also ...
Kafka-硬件的选择
Kafka-硬件的选择 磁盘吞吐量（重要，影响生产者） 生产者客户端的性能直接受到服务器端磁盘吞吐量的影响。 生产者生成的消息必须被提交到服务器保存，大多数客户端在发送消息后会一直等待，直到至少一个服务器确认消息已经成功提交为止。 磁盘写入速度越快，生成消息的延迟就越低。 磁盘容量（制约 ...
Kafka-消息系统
目录 1、Kafka概念 2、kafka架构 3、Kafka消费模型 4、实现Kafka的生产端 5、实现Kafka的消费端 6、Flume整合Kafka 1、调整flume的配置文件，监控namenode的日志文件 2、启动 ...
kafka-工作原理
/article/details/48142677 再过半小时，你就能明白kafka ...