在使用spark連接kafka消費topic時,發現無論怎么設置,也無法從頭開始消費。
查看配置得出auto.offset.reset的以下3種設置及含義:
earliest
當各分區下有已提交的offset時,從提交的offset開始消費;無提交的offset時,從頭開始消費
latest
當各分區下有已提交的offset時,從提交的offset開始消費;無提交的offset時,消費新產生的該分區下的數據
none
topic各分區都存在已提交的offset時,從offset后開始消費;只要有一個分區不存在已提交的offset,則拋出異常
也就是說無論哪種設置,只要kafka中相同group、partition中已經有提交的offset,則都無法從開始消費。
kafka API:
http://kafka.apache.org/10/javadoc/index.html