Hue整合Sqoop報空指針異常的解決方法

hue是一個Apache基金會下的一個開源圖形化管理工具，使用python語言開發，使用的框架是Django。而sqoop也是Apache的一個開源工具，是使用Java語言開發，主要用於進行hdfs和傳統關系型數據庫之間的數據傳遞。這兩天在整合這兩個工具的時候，遇到了一個問題，特此記錄。

Hue版本是3.9.0，Sqoop版本是1.99.6，也就是最新版的Sqoop2。

把Hue和Sqoop安裝好后，修改Hue配置文件，hue-3.9.0/desktop/conf/hue.ini

找到Sqoop的配置項：把sqoop的請求路徑改成正式的URL。

# Sqoop server URL
server_url=http://ip:12000/sqoop

啟動Hue、Sqoop，在Hue的管理頁面中，可以新建、修改Sqoop的鏈接。但是在新建Sqoop的任務卻報了錯。

查看Sqoop的日志：sqoop-1.99.6-bin-hadoop200/server/logs/catalina.out

發現報了空指針異常：

java.lang.NullPointerException
        at org.apache.sqoop.json.util.ConfigInputSerialization.restoreConfig(ConfigInputSerialization.java:160)
        at org.apache.sqoop.json.util.ConfigInputSerialization.restoreConfigList(ConfigInputSerialization.java:129)
        at org.apache.sqoop.json.JobBean.restoreJob(JobBean.java:179)
        at org.apache.sqoop.json.JobBean.restore(JobBean.java:159)
        at org.apache.sqoop.handler.JobRequestHandler.createUpdateJob(JobRequestHandler.java:169)
        at org.apache.sqoop.handler.JobRequestHandler.handleEvent(JobRequestHandler.java:106)
 org.apache.sqoop.server.v1.JobServlet.handlePostRequest(JobServlet.java:91)
        at org.apache.sqoop.server.SqoopProtocolServlet.doPost(SqoopProtocolServlet.java:63)
        at javax.servlet.http.HttpServlet.service(HttpServlet.java:643)
        at javax.servlet.http.HttpServlet.service(HttpServlet.java:723)
        at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:290)
        at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206)
        at org.apache.hadoop.security.authentication.server.Authentication

找來Sqoop的源碼，看到：

    for (int i = 0; i < inputs.size(); i++) {
      JSONObject input = (JSONObject) inputs.get(i);
      MInputType type = MInputType.valueOf((String) input.get(ConfigInputConstants.CONFIG_INPUT_TYPE));
      // 省略部分代碼
      .......
      switch (type) {
      case STRING: {
        // 報錯位置       
        long size = (Long) input.get(ConfigInputConstants.CONFIG_INPUT_SIZE);
        mInput = new MStringInput(name, sensitive.booleanValue(), editable, overrides, (short) size);
        break;
      }
    // 省略部分代碼
    ........
}

ConfigInputConstants.CONFIG_INPUT_SIZE 是字符串常量“size”，看這個代碼是在獲取“size”的值的時候為空，null強轉為Long類型的時候報錯了。再根據報錯信息往前看看JobBean類，這是在加載Hue傳遞過來的json數據，並設置到JobBean類中，下面是獲取“from-config-values”的數據，也就是來源鏈接的相關信息了。

.......
static final String FROM_CONFIG_VALUES = "from-config-values";
......
private MJob restoreJob(Object obj) {
//省略部分代碼
......
JSONArray fromConfigJson = (JSONArray) object.get(FROM_CONFIG_VALUES);
//省略部分代碼
......
// 報錯點
List<MConfig> fromConfig = restoreConfigList(fromConfigJson);

//省略部分代碼
......
}

　從上面分析看來，是Hue傳遞過來的from鏈接配置項，即“from-config-values”項沒有“size”字段或者獲取到的數據為空造成這個錯誤的。

而Sqoop關於這個接口的API：https://sqoop.apache.org/docs/1.99.3/RESTAPI.html#v1-job-post-create-job，給出的json格式是要求有“size”字段的。

//省略部分
......    
from-config-values: [
      {
        id: 2,
        inputs: [
          {
            id: 2,
            name: "fromJobConfig.inputDirectory",
            value: "hdfs%3A%2F%2Fvbsqoop-1.ent.cloudera.com%3A8020%2Fuser%2Froot%2Fjob1",
            type: "STRING",
            size: 255,
            sensitive: false
          }
        ],
        name: "fromJobConfig",
        type: "JOB"
      }
    ],
//省略部分
......    

　來分析Hue是怎么使用這個接口的：hue-3.9.0/apps/sqoop/src/sqoop/api/job.py

　

@never_cache
def create_job(request):
 # 省略部分代碼
 ......

  d = json.loads(smart_str(request.POST['job']))
  job = client.Job.from_dict(d)

  try:
    c = client.SqoopClient(conf.SERVER_URL.get(), request.user.username, request.LANGUAGE_CODE)
    response['job'] = c.create_job(job).to_dict()
  except RestException, e:
    response.update(handle_rest_exception(e, _('Could not create job.')))
  except SqoopException, e:
    response['status'] = 100
    response['errors'] = e.to_dict()
  return JsonResponse(response)

最后看到了Hue對size進行了過濾處理：hue-3.9.0/apps/sqoop/src/sqoop/client/config.py

  def to_dict(self):
    d = {
      'id': self.id,
      'type': self.type,
      'name': self.name,
      'sensitive': self.sensitive,
    }
    if self.value:
      d['value'] = self.value
    if self.size != -1:
      d['size'] = self.size
    if self.values:
      d['values'] = ','.join(self.values)
    return d

Hue把size=-1的情況全部設置成空，然后Sqoop獲取不到size的值，報了一個NullPointerException。

解決方法：修改config.py的to_dict方法，把size的過濾操作去掉就好了，如下：

  def to_dict(self):
    d = {
      'id': self.id,
      'type': self.type,
      'name': self.name,
      'sensitive': self.sensitive,
    }
    if self.value:
      d['value'] = self.value
    d['size'] = self.size
    if self.values:
      d['values'] = ','.join(self.values)
    return d

如果這里把size設置成一個常量，那么可能會造成一個org.apache.sqoop.server.common.ServerError錯誤，其實就是Sqoop根據Hue傳遞過來的參數獲取到的來源鏈接、目的鏈接

或者是驅動配置跟Sqoop的不一致造成的。