spark.streaming.kafka.maxRatePerPartition的理解

spark.streaming.kafka.maxRatePerPartition設定對目標topic每個partition每秒鍾拉取的數據條數。

假設此項設為1，批次間隔為10s，目標topic只有一個partition，則一次拉取的數據量為1*10*1=10。

 

若有不對的地方，請指正。

 

轉載於：https://www.cnblogs.com/144823836yj/p/11176962.html