Spark2 Dataset持久化存储级别StorageLevel


import org.apache.spark.storage.StorageLevel

// 数据持久缓存到内存中
//data.cache()
data.persist()

// 设置缓存级别
data.persist(StorageLevel.DISK_ONLY)
   
// 清除缓存
data.unpersist
//data.unpersist(blocking=true)

 

 

级别 使用空间 CPU时间 是否在内存中 是否在磁盘上 备注
MEMORY_ONLY  
MEMORY_ONLY_2 数据存2份
MEMORY_ONLY_SER 数据序列化
MEMORY_ONLY_SER_2 数据序列化,数据存2份
MEMORY_AND_DISK 中等 部分 部分 如果数据在内存中放不下,则溢写到磁盘
MEMORY_AND_DISK_2 中等 部分 部分 数据存2份
MEMORY_AND_DISK_SER 部分 部分  
MEMORY_AND_DISK_SER_2 部分 部分 数据存2份
DISK_ONLY  
DISK_ONLY_2 数据存2份
NONE          
OFF_HEAP           


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM