saveAsTextFile
-
def saveAsTextFile(path: String): Unit
-
def saveAsTextFile(path: String, codec: Class[_ <: CompressionCodec]): Unit
-
saveAsTextFile用於將RDD以文本文件的格式存儲到文件系統中
-
codec參數可以指定壓縮的類名
-
hdfs://保存到hdfs
-
file:///保存到本地文件系統
var rdd1 = sc.makeRDD(1 to 10,2) scala> rdd1.saveAsTextFile("hdfs://oldsix1:9000/data/rdd/") //保存到HDFS scala> rdd1.saveAsTextFile("file:///data/rdd/") //保存到本地 scala> rdd1.saveAsTextFile("hdfs://oldsix1:9000/data/rdd/",classOf[com.hadoop.compression.lzo.LzopCodec]) //指定壓縮格式保存
saveAsSequenceFile
- saveAsSequenceFile用於將RDD以SequenceFile的文件格式保存到HDFS上
- 用法同saveAsTextFile
saveAsObjectFile
-
def saveAsObjectFile(path: String): Unit
-
saveAsObjectFile用於將RDD中的元素序列化成對象,存儲到文件中
-
對於HDFS,默認采用SequenceFile保存
var rdd1 = sc.makeRDD(1 to 10,2) scala> rdd1.saveAsObjectFile("hdfs://oldsix1:9000/data/rdd/")