1 增加参数 来控制消费次数 ，根据情况选择合适的参数即可，我这里修改为了10000.
不设置的话，默认是拉取全部的数据，有可能引起内存溢出或者任务失败等问题。
.config("spark.streaming.kafka.maxRatePerPartition", 10000)
免责声明！
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。
1 增加参数 来控制消费次数 ，根据情况选择合适的参数即可，我这里修改为了10000.
不设置的话，默认是拉取全部的数据，有可能引起内存溢出或者任务失败等问题。
.config("spark.streaming.kafka.maxRatePerPartition", 10000)
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。