Hadoop中Comparator原理

在前面的博文《Hadoop中WritableComparable 和 comparator》中，對於WritableComparator說的不夠細致，下面說說具體的實現原理！

1.WritableComparator主要提供了兩個功能：

• 提供了對原始compara()方法的一個默認實現，默認實現是先反序列化成對象，在對對象進行比較

public int compare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2) {

    try {

      buffer.reset(b1, s1, l1);                   // parse key1

      key1.readFields(buffer);

     

      buffer.reset(b2, s2, l2);                   // parse key2

      key2.readFields(buffer);

     

    } catch (IOException e) {

      throw new RuntimeException(e);

    }

   

    return compare(key1, key2);                   // compare them

}

 

而對應的基礎數據類型的compare()的實現卻巧妙的利用了特定類型的泛化：（利用了writableComparable的compareTo方法）

public int compare(WritableComparable a, WritableComparable b) {

    return a.compareTo(b);

  }

• 充當RawComparator的注冊工廠，通過get()方法，得到實例。

在WritableComparator中，private static HashMap<Class, WritableComparator>comparators =new HashMap<Class, WritableComparator>();記載着RawComparator實例，例如，可以通過下面的代碼，獲得一個IntWritable類型的RawComparator。

RawComparator<IntWritable> writable = WritableComparator.get(IntWritable.class);

 

2.WritableComparator如何注冊定制的Writable

在WritableComparator類中，有一個方法define,通過該方法，可以將Writable注冊到WritableComparator，以便可以通過get方法，直接獲得實例！

public static synchronized void define(Class c,WritableComparator comparator) {
        comparators.put(c, comparator);
}

 

3.BooleanWritable中內置Comparator的實現

WritableComparable的各種實例，例如 IntWritable實例：內部類Comparator類需要根據自己的IntWritable類型重載WritableComparator里面的compare（）方法，可以說WritableComparator里面的compare（）方法只是提供了一個缺省的實現，而真正的compare（）方法實現需要根據自己的類型如IntWritable進行重載，所以WritableComparator方法中的那些readInt..等方法只是底層的封裝的一個實現，方便內部Comparator進行調用而已。

下面我們着重看下BooleanWritable類的內置RawCompartor<T>的實現過程:

**
       * A Comparator optimized for BooleanWritable.
        */
       public static class Comparator extends WritableComparator {
         public Comparator() {//調用父類的Constructor初始化keyClass=BooleanWrite.class
           super(BooleanWritable.class);
         }
         //重寫父類的序列化比較方法，用些類用到父類提供的缺省方法
         public int compare(byte[] b1, int s1, int l1,
                            byte[] b2, int s2, int l2) {
           boolean a = (readInt(b1, s1) == 1) ? true : false;
           boolean b = (readInt(b2, s2) == 1) ? true : false;
           return ((a == b) ? 0 : (a == false) ? -1 : 1);
         }
       }
       //注冊
       static {
         WritableComparator.define(BooleanWritable.class, new Comparator());
       }