Kafka消費程序間歇性報同一個錯:
上網沒查到相關資料,只好自己分析。通過進一步分析日志發現,只有在拉取某一個特定的topic的數據時報錯,如果拉取其他topic的數據則不會報錯。而從這個異常信息來看是拉取數據時進行類似CRC校驗時,校驗結果不正確。所以,感覺可能是數據損壞。於是聯系了OP(我們單位開發人員不去現場操作),把疑似出錯的那個topic、partition和offset信息發給他,他檢查了一下Kafka,果然是數據損壞了(出於保護機密考慮,把分區名字那里模糊處理一下):
由於Kafka也做了副本,只有一個副本中的數據有損壞,於是用另一個副本把這個損壞的副本恢復一下,問題解決。