碼上歡樂
相關內容    簡體    繁體

spark streaming消費kafka: Java .lang.IllegalStateException: No current assignment for partition

本文轉載自   查看原文   2019-10-20 20:31   1884    Spark

1 原因是：

　　多個相同的Spark Streaming同時消費同一個topic，導致的offset問題。關掉多余的任務，就ok了。


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 spark streaming連接kafka引發"partition.assignment.strategy"異常處理 Spark streaming消費Kafka的正確姿勢 Spark——Structured Streaming 監控Kafka消費進度 spark streaming消費kafka數據寫入hdfs避免文件覆蓋方案(java版) Spark Streaming消費Kafka Direct方式數據零丟失實現 spark streaming 消費 kafka入門采坑解決過程 spark streaming kafka消費多個topic時不執行的問題 Spark Streaming消費Kafka Direct方式數據零丟失實現 Spark Streaming + Kafka java.lang.IllegalArgumentException: requirement failed: numRecords must not be negative spark streaming從指定offset處消費Kafka數據
 
粵ICP備18138465號   © 2018-2026 CODEPRJ.COM