hbase源碼分析：ERROR: Table already exists問題診斷

問題描述：

重新安裝了測試環境的hadoop，所以之前hbase所建的表數據都丟失了，但是zookeeper沒有動。在hbase shell中list的時候，看不到之前建的表，但是create test table的時候，卻報錯提示"ERROR: Table already exists: test!". 

問題追蹤：

1，在list的時候，沒有顯示之前建的表，也就是沒有感知到之前建的表，但是create時候卻感知到了之前建的表，所以很自然需要看一下list和create的時候，server執行的邏輯。只要清楚了這個邏輯，問題便一清二楚了。

2，list時server端的邏輯其實很簡單。list的時候master端執行的邏輯的入口函數是listTableDescriptors。核心代碼如下：

　　

        // request for all TableDescriptors
        Collection<HTableDescriptor> htds;
        if (namespace != null && namespace.length() > 0) {
          htds = tableDescriptors.getByNamespace(namespace).values();
        } else {
          htds = tableDescriptors.getAll().values();
        }

        for (HTableDescriptor desc: htds) {
          if (includeSysTables || !desc.getTableName().isSystemTable()) {
            descriptors.add(desc);
          }
        }

可以看到是從tableDescriptors中獲取的，而tableDescriptors是根據hbase在hdfs中路徑的描述

    this.tableDescriptors = new FSTableDescriptors(
      this.conf, this.fs, this.rootDir, !canUpdateTableDescriptor(), false);

然后可以看到這些信息是從hbase在hdfs中的rootpath下的data目錄中獲取表相關信息的。所以，list的時候當然看不見之前的表了。

3，create table的時候，在server端最終會使用createTableHandler或者createTableProcedure來處理建表的邏輯。在createTableProcedure中正式建表之前，會調用prepareCreate函數。

private boolean prepareCreate(final MasterProcedureEnv env) throws IOException {
    final TableName tableName = getTableName();
    if (MetaTableAccessor.tableExists(env.getMasterServices().getConnection(), tableName)) {
      setFailure("master-create-table", new TableExistsException(getTableName()));
      return false;
    }
    // During master initialization, the ZK state could be inconsistent from failed DDL
    // in the past. If we fail here, it would prevent master to start.  We should force
    // setting the system table state regardless the table state.
    boolean skipTableStateCheck =
        !(env.getMasterServices().isInitialized()) && tableName.isSystemTable();
    if (!skipTableStateCheck) {
      TableStateManager tsm = env.getMasterServices().getAssignmentManager().getTableStateManager();
      if (tsm.isTableState(tableName, true, ZooKeeperProtos.Table.State.ENABLING,
          ZooKeeperProtos.Table.State.ENABLED)) {
        LOG.warn("The table " + tableName + " does not exist in meta but has a znode. " +
               "run hbck to fix inconsistencies.");
        setFailure("master-create-table", new TableExistsException(getTableName()));
        return false;
      }
    }
    return true;
  }

在14行，通過TableStateManager會檢查zookeeper對應的表狀態是不是enable的，檢查zk中的路徑是hbase root path下的table目錄。由於zk還是之前的zk，所以之前建的表信息還在，很自然這時候會檢查已經存在，如是報了Table already exits的錯誤。Log提示中說用hbck去檢查，但是貌似檢查不出來是不一致的。

問題解決：

本來想通過hbck去檢查，然后修復的，但是貌似hbck檢查不出來。所以只是簡單暴力的把zk中對應的table刪除，然后create就沒問題了。