序列化問題多事rdd遍歷過程中使用了沒有序列化的對象。
1.將未序列化的變量定義到rdd遍歷內部。如定義入數據庫連接池。
2.常量定義里包含了未序列化對象 ，提出去吧
如下常量要放到main里，不能放到rdd的遍歷中。
val HBASE_TABLE = sparkModel.getUserParamsVal("hbbase_table", "default_table_name")
spark error Caused by: java.io.NotSerializableException: org.apache.hadoop.hdfs.DistributedFileSystem
免責聲明！
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。
猜您在找
spark 報錯 Caused by: java.io.NotSerializableException: org.apache.log4j.Logger
JAVA 連接HDFS錯誤 Class org.apache.hadoop.hdfs.DistributedFileSystem not found
windows測試mapreduce時遇到Class org.apache.hadoop.hdfs.DistributedFileSystem not found
java.io.NotSerializableException
java.io.NotSerializableException: org.apache.kafka.clients.consumer.ConsumerRecord
java.io.NotSerializableException:異常
storm java.io.NotSerializableException
Caused by: java.io.NotSerializableException: com.omhy.common.model.entity.XXX解決方法
Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
java.io.notserializableexception序列化錯誤