Kafka kafka.common.OffsetOutOfRangeException 問題處理
最近公司的zk的down掉了, storm job 重啟的時候報出 kafka.common.OffsetOutOfRangeException 異常 網上查詢了一些朋友的做法, 自己也看了一下代碼, 最終還是解決了 原因: zk掛掉的這幾天, kafka中之前的數據已經被清掉 ...
原文：關於kafka定期清理日志后再消費報錯kafka.common.OffsetOutOfRangeException的解決
環境： kafka . spark . . zookeeper . . cdh . . 公司阿里雲測試機，十月一放假前，沒有在繼續消費，假期過后回來再使用spark streaming消費某個消費組下的kafka時報錯如下： 出現問題的原因： kafka會定時清理日志 當我們的任務開始的時候，如果之前消費過某個topic，那么這個topic會在zk上設置offset,我們一般會去獲取這個offs ...
2019-10-11 15:48 0 817 推薦指數：
相關推薦
Kafka日志清理
前言 Kafka將消息存儲在磁盤中，為了控制磁盤占用空間。kafka中每個分區副本都對應一個Log，而Log對應多個日志分段，這樣有利日志清理操作。Kafka提供兩種日志清理策略： 日志刪除（Log retention）：按一定的保留的策略直接刪除不符條件的日志分段； 日志壓縮 ...
kafka清理數據日志
背景問題： 使用kafka的路上踩過不少坑，其中一個就是在測試環境使用kafka一陣子以后，發現其日志目錄變的很大，占了磁盤很大空間，定位到指定目錄下發現其中一個系統自動創建的 topic，__consumer_offsets-45（kafka一共創建了50個分別從0~49標識）文件夾很大，上網 ...
【轉】Kafka某topic無法消費解決方案&Kafka某Topic數據清理
由於項目原因，最近經常碰到Kafka消息隊列某topic在集群宕機重啟后無法消費的情況。碰到這種情況，有三步去判斷原因所在： step A：如果用kafka串口（即console-consumer）是可以正常消費該topic，則排除kafka集群出現故障 step B：若平台業務能正常消費 ...
Kafka日志及Topic數據清理
由於項目原因，最近經常碰到Kafka消息隊列擁堵的情況。碰到這種情況為了不影響在線系統的正常使用，需要大家手動的清理Kafka Log。但是清理Kafka Log又不能單純的去刪除中間環節產生的日志，中間關聯的很多東西需要手動同時去清理，否則可能會導致刪除后客戶端無法消費的情況。 在介紹 ...
Kafka日志及Topic數據清理
由於項目原因，最近經常碰到Kafka消息隊列擁堵的情況。碰到這種情況為了不影響在線系統的正常使用，需要大家手動的清理Kafka Log。但是清理Kafka Log又不能單純的去刪除中間環節產生的日志，中間關聯的很多東西需要手動同時去清理，否則可能會導致刪除后客戶端無法消費的情況。 在介紹手動 ...
Kafka消費者組再均衡問題
在Kafka中，當有新消費者加入或者訂閱的topic數發生變化時，會觸發Rebalance(再均衡：在同一個消費者組當中，分區的所有權從一個消費者轉移到另外一個消費者)機制，Rebalance顧名思義就是重新均衡消費者消費。Rebalance的過程如下： 第一步：所有成員都向 ...
kafka消費者啟動報錯
報錯信息： WARN Fetching topic metadata with correlation id 14 for topics [Set(test)] from broker [BrokerEndPoint(2,ubuntu,9092)] failed ...