kafka 與spark集成 序列化問題 ...
. object not serializable class: org.apache.kafka.clients.consumer.ConsumerRecord ...
2017-08-21 17:05 0 1483 推薦指數:
kafka 與spark集成 序列化問題 ...
來源 https://blog.csdn.net/charry_a/article/details/79892107 一、背景 kafka使用版本為0.10.1.0,今天在測試kafkaConsumer的時候,代碼如下 public static void main(String ...
錯誤內容如下 解決辦法:--jars 添加kafka-clients-0.10.0.1.jar(版本根據需要修改) ...
在使用 CDH 提交 Kafka-SparkStreaming 作業的時候遇上了一個版本問題,特此記錄: 主要報錯信息: 產生這個錯誤的原因是運行時使用的 Kafka-Client 版本高於 CDS 默認的 Kafka-Client 版本 原因分析: 通過官網介紹:https ...
錯誤如下: 11:57:24 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] WARN o.apache.kafka.clients.NetworkClient - [Consumer clientId ...
需要在代碼中假如序列化配置,或者提交的時候假如序列化配置。 比如: spark-shell --master local[2] --conf spark.serializer=org.apache.spark.serializer.KryoSerializer 或則: val ...
錯誤信息 原因分析 其實這個在官方文檔中有介紹。地址如下:https://www.cloudera.com/documentation/spark2/latest/topics/spark2_kafka.html#running_jobs 方案一:錯誤信息中可以看出kafka ...
報錯背景: 新安裝的單機版kafka啟動消費者的時候報錯! 報錯現象: 報錯原因: 端口號的問題,以前啟動消費者的時候監聽的端口是 2181,但是新版本的kafka對zookeeper的依賴沒有那么強烈了,所以改成了自己的 9092。 報錯解決: 修改 ...