MapReduce中文件的壓縮和解壓

1.單個文件的壓縮或解壓

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.CompressionCodecFactory;
import org.apache.hadoop.io.compress.CompressionOutputStream;
import org.apache.hadoop.io.compress.GzipCodec;
import org.apache.hadoop.util.ReflectionUtils;


public class CompressionTest {
//設在本地目錄下有一個名為uploadFile的文件，對本地文件進行gzip壓縮
	public static void StreamCompresson() throws IOException
	{
		Configuration conf = new Configuration();
		//注意此處得到壓縮器的方法，CompressionCodec是一個封裝了壓縮器的接口.
		//下面的語句根據第一個參數產生相應的壓縮器
		CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(GzipCodec.class, conf);
		
		FileOutputStream outFile = new FileOutputStream("uploadFile.gz");	//用於將數據寫入該流指向的文件中
		FileInputStream in = new FileInputStream("uploadFile");	//該文件會被寫壓縮輸出流，即被壓縮。
		//要壓縮的話，如下對一個寫入輸出流的數據進行壓縮
		CompressionOutputStream out = codec.createOutputStream(outFile);
		IOUtils.copyBytes(in, out, 4096, true);
	}
	
	//
	public static void FileDecompressor() throws IOException
	{
		Configuration conf = new Configuration();
		FileSystem local = FileSystem.getLocal(conf);
		Path input = new Path("uploadFile.gz");
		//獲取所擁有的所有壓縮器——工廠
		CompressionCodecFactory factory = new CompressionCodecFactory(conf);
		//根據后綴得到相應的壓縮器
		CompressionCodec codec = factory.getCodec(input);
		//移除文件名的后綴
		String outputUri =CompressionCodecFactory.removeSuffix("uploadFile.gz", codec.getDefaultExtension());

		InputStream in = null;
		OutputStream out = null;
		//從壓縮輸入流中讀取內容放入文件輸出流
	 in = codec.createInputStream(local.open(input));
		out = local.create(new Path(outputUri));
		IOUtils.copyBytes(in, out, conf, true);
	}
	
	public static void main(String [] args) throws IOException
	{
		StreamCompresson();
		FileDecompressor();
	}
}

另外，注意gzip 為壓縮命令,gunzip為解壓命令，具體使用可以用man查看。

對HDFS上的壓縮文件（也包括序列文件），要是用hadoop -text來查看內容。

2.MapReduce上的壓縮和解壓

對於MapReduce 上的輸入文件，TextInputFormat會自動識別是否是壓縮文件，並進行解壓，所以可以與普通文件進行完全相同的 處理。

對與輸出文件，如果要進行壓縮，需要對run()函數中的配置變量Configuration conf進行如下設置：

conf.setBoolean("mapred.output.compress", true);                  //啟用輸出文件壓縮

conf.setClass("mapred.output.compression.codec", GzipCodec.class, CompreissionCodec.class);              //選擇壓縮器