spark 报错 Caused by: java.io.NotSerializableException: org.apache.log4j.Logger


spark 运行报错 :Caused by: java.io.NotSerializableException: org.apache.log4j.Logger

未序列化的对象要在序列化类中存储就会报这个错

问题出现的原因是,序列化的类用上了log4j没有申明静态的实例logger

更改代码为:

 

@transient lazy val config:Configuration = new PropertiesConfiguration("conf/test.properties")
@transient lazy val log:Logger = Logger.getLogger(this.getClass)

 @transient 

java 的transient关键字的作用是需要实现Serilizable接口,将不需要序列化的属性前添加关键字transient,序列化对象的时候,这个属性就不会序列化到指定的目的地中。
transient使用小结
1)一旦变量被transient修饰,变量将不再是对象持久化的一部分,该变量内容在序列化后无法获得访问。
2)transient关键字只能修饰变量,而不能修饰方法和类。注意,本地变量是不能被transient关键字修饰的。变量如果是用户自定义类变量,则该类需要实现Serializable接口。

3)被transient关键字修饰的变量不再能被序列化,一个静态变量不管是否被transient修饰,均不能被序列化。


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM