spark streaming kafka消费多个topic时不执行的问题

通过断点跟进，发现每个topic的数据都是可以去到的，但最后会阻塞在DataFrame的落地操作执行上；

如：

df.write.format("parquet").mode("append").save(path)

 

仔细观察日志能够发现类型：INFO scheduler.JobScheduler: Added jobs for time ×××××  的日志；

 

原因：Receiver运行线程不够用

 

解决：增加可用线程

loca模式，考虑提高local[n]，增加n大小；

 

 

 

 

参考：

https://stackoverflow.com/questions/36281665/continuously-info-jobscheduler59-added-jobs-for-time-ms-in-my-spark-stand，

https://www.iteye.com/blog/bit1129-2174751