大數據開發問題記錄


1、org.apache.kafka.common.kafkaException:Unexpected error from SyncGroup:The server experienced an unexpected error when processing the request

kafka集群IP未寫全(可能的原因)

2、org.apache.kafka.clients.consumer.offsetOutofRangeException:Offsets out of range with no configured reset policy for partition:{xxx}

當我們的任務開始的時候,如果之前消費過某個topic,那么這個topic會在zk上設置offset,我們一般會去獲取這個offset來繼續從上次結束的地方繼續消費,但是kafka定時清理日志的功能,比如定時一天一清理,那么如果你的offset是前天消費的offset,那么這個時候你再去消費,自然而然的你的offset肯定已經不在有效范圍內,所以就報OffsetOutOfRangeException

解決方法就是判斷一下zk中的offset是否小於topic最小的offset,如果小於的話,就把最小的offset設置到zk中

3、

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM