kafka_2.11-0.10.2.1中的auto.offset.reset


在使用spark連接kafka消費topic時,發現無論怎么設置,也無法從頭開始消費。

查看配置得出auto.offset.reset的以下3種設置及含義:

earliest 
當各分區下有已提交的offset時,從提交的offset開始消費;無提交的offset時,從頭開始消費 
latest 
當各分區下有已提交的offset時,從提交的offset開始消費;無提交的offset時,消費新產生的該分區下的數據 
none 
topic各分區都存在已提交的offset時,從offset后開始消費;只要有一個分區不存在已提交的offset,則拋出異常

也就是說無論哪種設置,只要kafka中相同group、partition中已經有提交的offset,則都無法從開始消費。

 

 

kafka API:

http://kafka.apache.org/10/javadoc/index.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM