spark 运行报错 :Caused by: java.io.NotSerializableException: org.apache.log4j.Logger
未序列化的对象要在序列化类中存储就会报这个错
问题出现的原因是,序列化的类用上了log4j没有申明静态的实例logger
更改代码为:
@transient lazy val config:Configuration = new PropertiesConfiguration("conf/test.properties") @transient lazy val log:Logger = Logger.getLogger(this.getClass)
@transient
java 的transient关键字的作用是需要实现Serilizable接口,将不需要序列化的属性前添加关键字transient,序列化对象的时候,这个属性就不会序列化到指定的目的地中。
transient使用小结
1)一旦变量被transient修饰,变量将不再是对象持久化的一部分,该变量内容在序列化后无法获得访问。
2)transient关键字只能修饰变量,而不能修饰方法和类。注意,本地变量是不能被transient关键字修饰的。变量如果是用户自定义类变量,则该类需要实现Serializable接口。
3)被transient关键字修饰的变量不再能被序列化,一个静态变量不管是否被transient修饰,均不能被序列化。