spark streaming kafka消費多個topic時不執行的問題

通過斷點跟進，發現每個topic的數據都是可以去到的，但最后會阻塞在DataFrame的落地操作執行上；

如：

df.write.format("parquet").mode("append").save(path)

 

仔細觀察日志能夠發現類型：INFO scheduler.JobScheduler: Added jobs for time ×××××  的日志；

 

原因：Receiver運行線程不夠用

 

解決：增加可用線程

loca模式，考慮提高local[n]，增加n大小；

 

 

 

 

參考：

https://stackoverflow.com/questions/36281665/continuously-info-jobscheduler59-added-jobs-for-time-ms-in-my-spark-stand，

https://www.iteye.com/blog/bit1129-2174751