spark編程模型（二十二）之RDD存儲行為操作（Action Operation）——saveAsTextFile、saveAsSequenceFile、saveAsObjectFile

saveAsTextFile

• def saveAsTextFile(path: String): Unit

• def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit

• saveAsTextFile用於將RDD以文本文件的格式存儲到文件系統中

• codec參數可以指定壓縮的類名

• hdfs://保存到hdfs

• file:///保存到本地文件系統

    var rdd1 = sc.makeRDD(1 to 10,2)
    scala> rdd1.saveAsTextFile("hdfs://oldsix1:9000/data/rdd/") //保存到HDFS
    
    scala> rdd1.saveAsTextFile("file:///data/rdd/") //保存到本地
    
    scala> rdd1.saveAsTextFile("hdfs://oldsix1:9000/data/rdd/",classOf[com.hadoop.compression.lzo.LzopCodec]) //指定壓縮格式保存
  

saveAsSequenceFile

• saveAsSequenceFile用於將RDD以SequenceFile的文件格式保存到HDFS上
• 用法同saveAsTextFile

saveAsObjectFile

• def saveAsObjectFile(path: String): Unit

• saveAsObjectFile用於將RDD中的元素序列化成對象，存儲到文件中

• 對於HDFS，默認采用SequenceFile保存

    var rdd1 = sc.makeRDD(1 to 10,2)
    scala> rdd1.saveAsObjectFile("hdfs://oldsix1:9000/data/rdd/")