spark 報錯 Caused by: java.io.NotSerializableException: org.apache.log4j.Logger


spark 運行報錯 :Caused by: java.io.NotSerializableException: org.apache.log4j.Logger

未序列化的對象要在序列化類中存儲就會報這個錯

問題出現的原因是,序列化的類用上了log4j沒有申明靜態的實例logger

更改代碼為:

 

@transient lazy val config:Configuration = new PropertiesConfiguration("conf/test.properties")
@transient lazy val log:Logger = Logger.getLogger(this.getClass)

 @transient 

java 的transient關鍵字的作用是需要實現Serilizable接口,將不需要序列化的屬性前添加關鍵字transient,序列化對象的時候,這個屬性就不會序列化到指定的目的地中。
transient使用小結
1)一旦變量被transient修飾,變量將不再是對象持久化的一部分,該變量內容在序列化后無法獲得訪問。
2)transient關鍵字只能修飾變量,而不能修飾方法和類。注意,本地變量是不能被transient關鍵字修飾的。變量如果是用戶自定義類變量,則該類需要實現Serializable接口。

3)被transient關鍵字修飾的變量不再能被序列化,一個靜態變量不管是否被transient修飾,均不能被序列化。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM