序列化问题多事rdd遍历过程中使用了没有序列化的对象。
1.将未序列化的变量定义到rdd遍历内部。如定义入数据库连接池。
2.常量定义里包含了未序列化对象 ，提出去吧
如下常量要放到main里，不能放到rdd的遍历中。
val HBASE_TABLE = sparkModel.getUserParamsVal("hbbase_table", "default_table_name")
spark error Caused by: java.io.NotSerializableException: org.apache.hadoop.hdfs.DistributedFileSystem
免责声明！
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。
猜您在找
spark 报错 Caused by: java.io.NotSerializableException: org.apache.log4j.Logger
JAVA 连接HDFS错误 Class org.apache.hadoop.hdfs.DistributedFileSystem not found
windows测试mapreduce时遇到Class org.apache.hadoop.hdfs.DistributedFileSystem not found
java.io.NotSerializableException
java.io.NotSerializableException: org.apache.kafka.clients.consumer.ConsumerRecord
java.io.NotSerializableException:异常
storm java.io.NotSerializableException
Caused by: java.io.NotSerializableException: com.omhy.common.model.entity.XXX解决方法
Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
java.io.notserializableexception序列化错误