Hadoop序列化

1.序列化

     所謂的序列化，就是將結構化對象轉化為字節流，以便在網絡上傳輸或是寫道磁盤進行永久存儲。反序列化，就是將字節流轉化為結構化對象。在Java中也存在序列化，剛學Java的時候，接觸的第一個項目就是QQ聊天系統，也就是網絡編程，其中，用到的就是字符流傳輸數據，通過對象序列化，然后轉化為字符流或字節流，通過socket傳遞數據。同理，序列化在分布式數據處理的兩大領域經常出現：進程間通信和永久存儲。

     在Hadoop中，系統中多個節點上進程間的通信是通過“遠程過程調用”（remote procedure call, RPC）實現的。RPC將消息序列化成二進制流后發送到遠程節點，遠程節點接着將二進制流飯序列化為原始消息。通常情況下，RPC序列化格式許緊湊、快速、可擴展、和胡操作！緊湊的格式能夠使我們充分利用數據中心中最稀缺的資源——網絡帶寬。

     在Hadoop中，它使用自己的序列化框架Writable，它格式緊湊、速度快,缺點是很難用Java以外的語言來擴展。

 

2.Writable接口

序列化抓住兩個關鍵：序列化和反序列化。所有的都是圍繞這這兩個展開的。無非就是把結構化數據轉化為字節流或是把字節流轉化為結構化對象。

Writable接口定義了兩個接口，一個是將其狀態寫如到DataOutput二進制流，另一個是從DataInput中讀取結構化對象。

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

public interface Writable {
    void write(DataOutput out) throws IOException;
    void readFields(DataInput in)throws IOException;
}

 通過一個例子，看看Writable是如何把結構化對象寫入到字節流中，以及如何從字節流中讀取結構化對象。還有就是DataOutput，DataInput是如何工作的。

Example：

 

package cn.roboson.writable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.Writable;
/*
 * 1.Writable中兩個函數的作用
 * 2.DataInput、DataOutput有什么用？
 */

public class MyWritable implements Writable{

    private int counter;
    private long timestamp;
    @Override
    public void readFields(DataInput in) throws IOException {
        // TODO Auto-generated method stub
        
        //從DataInput 數據流中讀取值
        this.counter=in.readInt();
        this.timestamp=in.readLong();
    }

    @Override
    public void write(DataOutput out) throws IOException {
        // TODO Auto-generated method stub
        //寫入到DataOutput二進制流中
        out.writeInt(counter);
        out.writeLong(timestamp);
    }
    
    public static MyWritable read(DataInput in) throws IOException {
        MyWritable w = new MyWritable();
        w.readFields(in);
        return w;
      }

    public int getCounter() {
        return counter;
    }

    public void setCounter(int counter) {
        this.counter = counter;
    }

    public long getTimestamp() {
        return timestamp;
    }

    public void setTimestamp(long timestamp) {
        this.timestamp = timestamp;
    }
    
}

 

 

3.實例

通過一個特殊的類IntWritable來舉例

package cn.roboson.writable;

import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.DataInputStream;
import java.io.DataOutputStream;
import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Writable;

public class Writable01 {
    
    public static void main(String[] args) throws IOException {
        
        //IntWritable是一個特殊的Writable類，對其進行序列化
        IntWritable writable = new IntWritable();
        writable.set(163);
        
        //對InWritable的對象進行序列化為字節流，把字節流中的數據存入到一個字節數組中
        byte[] bytes = serizlize(writable);
        
        //判斷字節數組中的長度是否為4，一個整數占據4個字節
        System.out.println("字節數組的長度："+bytes.length);
        
        //創建一個對象，將剛剛的字節數組中的數據，反序列化寫入到結構化數據中
        IntWritable dewritable = new IntWritable();
        deserizlize(dewritable, bytes);
        System.out.println(dewritable.get());
    }
    
    public static byte[] serizlize(Writable writable) throws IOException{
        
        //創建一個輸出字節流對象
        ByteArrayOutputStream out = new ByteArrayOutputStream();
        DataOutputStream dataout = new DataOutputStream(out);
        
        //將結構化數據的對象writable寫入到輸出字節流。
        writable.write(dataout);
        return out.toByteArray();
    }
    
    public static byte[] deserizlize(Writable writable,byte[] bytes) throws IOException{
        
        //創建一個輸入字節流對象，將字節數組中的數據，寫入到輸入流中
        ByteArrayInputStream in = new ByteArrayInputStream(bytes);
        DataInputStream datain = new DataInputStream(in);
        
        //將輸入流中的字節流數據反序列化
        writable.readFields(datain);
        return bytes;
        
    }
}

 

運行結果：