Hadoop中的輔助類ToolRunner和Configured的用法詳解

在開始學習hadoop時，最痛苦的一件事就是難以理解所寫程序的執行過程，讓我們先來看這個實例，這個測試類ToolRunnerTest繼承Configured的基礎上實現了Tool接口，下面對其用到的基類源碼進行分析，就可以理解其執行過程是如此簡單。。。。。。

package xml;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class ToolRunnerTest extends Configured implements Tool {

    @Override
    public int run(String[] arg0) throws Exception {
        //調用基類Configured的getConf獲取環境變量實例
        Configuration conf=getConf();
        //獲取屬性值
        System.out.println("flower is " + conf.get("flower"));
        System.out.println("color id "+ conf.get("color"));
        System.out.println("blossom ? "+conf.get("blossom"));
        System.out.println("this is the host default name ="+conf.get("fs.default.name"));    
        return 0;
    }

    /**
     * @param args
     * @throws Exception 
     */
    public static void main(String[] args) throws Exception {
        // TODO Auto-generated method stub
        //獲取當前環境變量
        Configuration conf=new Configuration();
        //使用ToolRunner的run方法對自定義的類型進行處理
        ToolRunner.run(conf, new ToolRunnerTest(), args);
        
    }

}

基類Configured實現了Configurable接口，而Configurable接口源碼如下

Public interface Configurable{
    Void setConf(Configuration conf);
    Configuration getConf();
}

Configured則必須實現Configurable類的兩個方法，源碼如下

Public class Configured implements  Configurable{
Private Configuration conf;
Public Configured(Configuration conf){setConf(conf);}//構造方法
Public void setConf(Configuration conf)
{
This.conf=conf;
}
Public getConf()
{
Return conf;
}
}

Tool的源碼如下所示：

public interface Tool extends Configurable {

int run(String [] args) throws Exception;

}

就這么一點點

ToolRunner類的源碼如下

public class ToolRunner {
public static int run(Configuration conf, Tool tool, String[] args) 
    throws Exception{
    if(conf == null) {
      conf = new Configuration();
    }
    GenericOptionsParser parser = new GenericOptionsParser(conf, args);
    //set the configuration back, so that Tool can configure itself
    tool.setConf(conf)
    String[] toolArgs = parser.getRemainingArgs();
    return tool.run(toolArgs);
  }
   public static int run(Tool tool, String[] args) 
    throws Exception{
    return run(tool.getConf(), tool, args);
  }
  
  public static void printGenericCommandUsage(PrintStream out) {
    GenericOptionsParser.printGenericCommandUsage(out);
  }
  
}

解析：當程序執行ToolRunner.run(conf, new ToolRunnerTest(), args);時，會轉到ToolRunner類的run方法部分，因為Configuration已經實例，所以直至執行到tool.run(toolArgs);又因為Tool是一個只含有一個run方法框架的接口，所以將執行實現這個接口的類ToolRunnerTest的run方法。完成其輸出。其實在看完這幾個類的源碼后，其執行過程是很簡單的

該實例的運行結果如下：