1 增加參數 來控制消費次數 ，根據情況選擇合適的參數即可，我這里修改為了10000.
不設置的話，默認是拉取全部的數據，有可能引起內存溢出或者任務失敗等問題。
.config("spark.streaming.kafka.maxRatePerPartition", 10000)
免責聲明！
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。
猜您在找
Spark消費Kafka如何實現精准一次性消費？
公司內部一次關於kafka消息隊列消費積壓故障復盤分享
kafka 保證消息被消費和消息只消費一次
微信一次性訂閱消息
spark streaming 接收kafka消息之五 -- spark streaming 和 kafka 的對接總結
Spark——Structured Streaming 監控Kafka消費進度
記一次生產kafka消息消費的事故
Kafka在高並發的情況下，如何避免消息丟失和消息重復？kafka消費怎么保證數據消費一次？數據的一致性和統一性？數據的完整性？
一次消息消費服務的內存泄漏排查小記
論一次性通過高項的經歷