原文:https://www.marscheng.cn/articles/2020/02/17/1581951053291.html
問題背景
測試大哥反饋,測試環境好多訂單還是 processing 狀態,沒有進入終態。由於該項目是通過 dubbo 請求 業務接口,然后異步處理,最終結果通過 kafka 通知回來。初步判斷是消息發送或者消費出了問題。
問題定位
查看日志,定位到問題所在。
Fetching topic metadata with correlation id 10 for topics from broker failed
初步定位是 kafka 生產者發送消息出現問題,而且看日志像是無法從 brocker 獲取到 topic 信息,初步猜測是否是網絡問題,ping 一下 brocker 地址,果然不通。
趕緊找到 kafka 的配置文件,果然有問題,其它 topic 的 brocker 配置都被改成了域名,只有這個還是原來的 ip 配置,趕緊把生產者和消費者的配置都改成了域名,然后重啟,補發一遍所有的消息,狀態終於正常了。
總結
kafka producer 報 fetching topic metadata with correlation id 10 for topics,優先考慮是 producer 到 brocker 的網絡問題,然后以此類推排查。