spark編程模型(二十二)之RDD存儲行為操作(Action Operation)——saveAsTextFile、saveAsSequenceFile、saveAsObjectFile


saveAsTextFile

  • def saveAsTextFile(path: String): Unit

  • def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit

  • saveAsTextFile用於將RDD以文本文件的格式存儲到文件系統中

  • codec參數可以指定壓縮的類名

  • hdfs://保存到hdfs

  • file:///保存到本地文件系統

      var rdd1 = sc.makeRDD(1 to 10,2)
      scala> rdd1.saveAsTextFile("hdfs://oldsix1:9000/data/rdd/") //保存到HDFS
      
      scala> rdd1.saveAsTextFile("file:///data/rdd/") //保存到本地
      
      scala> rdd1.saveAsTextFile("hdfs://oldsix1:9000/data/rdd/",classOf[com.hadoop.compression.lzo.LzopCodec]) //指定壓縮格式保存
    

saveAsSequenceFile

  • saveAsSequenceFile用於將RDD以SequenceFile的文件格式保存到HDFS上
  • 用法同saveAsTextFile

saveAsObjectFile

  • def saveAsObjectFile(path: String): Unit

  • saveAsObjectFile用於將RDD中的元素序列化成對象,存儲到文件中

  • 對於HDFS,默認采用SequenceFile保存

      var rdd1 = sc.makeRDD(1 to 10,2)
      scala> rdd1.saveAsObjectFile("hdfs://oldsix1:9000/data/rdd/")


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM