Spark2 Dataset持久化存儲級別StorageLevel


import org.apache.spark.storage.StorageLevel

// 數據持久緩存到內存中
//data.cache()
data.persist()

// 設置緩存級別
data.persist(StorageLevel.DISK_ONLY)
   
// 清除緩存
data.unpersist
//data.unpersist(blocking=true)

 

 

級別 使用空間 CPU時間 是否在內存中 是否在磁盤上 備注
MEMORY_ONLY  
MEMORY_ONLY_2 數據存2份
MEMORY_ONLY_SER 數據序列化
MEMORY_ONLY_SER_2 數據序列化,數據存2份
MEMORY_AND_DISK 中等 部分 部分 如果數據在內存中放不下,則溢寫到磁盤
MEMORY_AND_DISK_2 中等 部分 部分 數據存2份
MEMORY_AND_DISK_SER 部分 部分  
MEMORY_AND_DISK_SER_2 部分 部分 數據存2份
DISK_ONLY  
DISK_ONLY_2 數據存2份
NONE          
OFF_HEAP           


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM