spark 運行報錯 :Caused by: java.io.NotSerializableException: org.apache.log4j.Logger
未序列化的對象要在序列化類中存儲就會報這個錯
問題出現的原因是,序列化的類用上了log4j沒有申明靜態的實例logger
更改代碼為:
@transient lazy val config:Configuration = new PropertiesConfiguration("conf/test.properties") @transient lazy val log:Logger = Logger.getLogger(this.getClass)
@transient
java 的transient關鍵字的作用是需要實現Serilizable接口,將不需要序列化的屬性前添加關鍵字transient,序列化對象的時候,這個屬性就不會序列化到指定的目的地中。
transient使用小結
1)一旦變量被transient修飾,變量將不再是對象持久化的一部分,該變量內容在序列化后無法獲得訪問。
2)transient關鍵字只能修飾變量,而不能修飾方法和類。注意,本地變量是不能被transient關鍵字修飾的。變量如果是用戶自定義類變量,則該類需要實現Serializable接口。
3)被transient關鍵字修飾的變量不再能被序列化,一個靜態變量不管是否被transient修飾,均不能被序列化。