Hive——元數據表含義
1、VERSION -- 查詢版本信息
| Field | Type | Comment | |
|---|---|---|---|
| VER_ID | bigint(20) | ID主鍵 | |
| SCHEMA_VERSION | varchar(127) | Hive版本 | |
| VERSION_COMMENT | varchar(255) | 版本說明 |
2、DBS -- 存儲Hive中所有數據庫的基本信息
| Field | Type | Comment | |
|---|---|---|---|
| DB_ID | bigint(20) | 數據庫ID | |
| DESC | varchar(4000) | 數據庫描述 | |
| DB_LOCATION_URI | varchar(4000) | 數據庫HDFS路徑 | |
| NAME | varchar(128) | 數據庫名 | |
| OWNER_NAME | varchar(128) | 數據庫所有者用戶名 | |
| OWNER_TYPE | varchar(10) | 所有者角色 |
3、DATABASE_PARAMS --該表存儲數據庫的相關參數，在CREATE DATABASE時候用
| Field | Type | Comment | |
|---|---|---|---|
| DB_ID | bigint(20) | 數據庫ID | |
| PARAM_KEY | varchar(180) | 參數名 | |
| PARAM_VALUE | varchar(4000) | 參數值 |
4、TBLS --該表中存儲Hive表、視圖、索引表的基本信息
| Field | Type | Comment | |
|---|---|---|---|
| TBL_ID | bigint(20) | 表ID | |
| CREATE_TIME | int(11) | 創建時間 | |
| DB_ID | bigint(20) | 數據庫ID | |
| LAST_ACCESS_TIME | int(11) | 上次訪問時間 | |
| OWNER | varchar(767) | 所有者 | |
| RETENTION | int(11) | 保留字段 | |
| SD_ID | bigint(20) | 序列化配置信息 | |
| TBL_NAME | varchar(128) | 表名 | |
| TBL_TYPE | varchar(128) | 表類型 | |
| VIEW_EXPANDED_TEXT | mediumtext | 視圖的詳細HQL語句 | |
| VIEW_ORIGINAL_TEXT | mediumtext | 視圖的原始HQL語句 |
5、TABLE_PARAMS --該表存儲表/視圖的屬性信息。
| Field | Type | Comment | |
|---|---|---|---|
| TBL_ID | bigint(20) | 表ID | |
| PARAM_KEY | varchar(256) | 屬性名 | |
| PARAM_VALUE | varchar(4000) | 屬性值 |
6、SDS --該表保存文件存儲的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否壓縮等。
| Field | Type | Comment | |
|---|---|---|---|
| SD_ID | bigint(20) | 存儲信息ID | |
| CD_ID | bigint(20) | 字段信息ID | |
| INPUT_FORMAT | varchar(4000) | 文件輸入格式 | |
| IS_COMPRESSED | bit(1) | 是否壓縮 | |
| IS_STOREDASSUBDIRECTORIES | bit(1) | 是否以子目錄存儲 | |
| LOCATION | varchar(4000) | HDFS路徑 | |
| NUM_BUCKETS | int(11) | 分桶數量 | |
| OUTPUT_FORMAT | varchar(4000) | 文件輸出格式 | |
| SERDE_ID | bigint(20) | 序列化類ID |
7、SERDS --該表存儲序列化使用的類信息
| Field | Type | Comment | |
|---|---|---|---|
| SERDE_ID | bigint(20) | 序列化類配置ID | |
| NAME | varchar(128) | 序列化類別名 | |
| SLIB | varchar(4000) | 序列化類 |
8、SERDE_PARAMS --該表存儲序列化的一些屬性、格式信息,比如：行、列分隔符
| Field | Type | Comment | |
|---|---|---|---|
| SERDE_ID | bigint(20) | 序列化類配置ID | |
| PARAM_KEY | varchar(256) | 屬性名 | |
| PARAM_VALUE | varchar(4000) | 屬性值 |
9、COLUMNS_V2 --該表存儲表對應的字段信息。
| Field | Type | Comment | |
|---|---|---|---|
| CD_ID | bigint(20) | 字段信息ID | |
| COMMENT | varchar(256) | 字段注釋 | |
| COLUMN_NAME | varchar(128) | 字段名 | |
| TYPE_NAME | varchar(4000) | 字段類型 | |
| INTEGER_IDX | int(11) | 字段順序 |
10、PARTITIONS --該表存儲表分區的基本信息。
| Field | Type | Comment | |
|---|---|---|---|
| PART_ID | bigint(20) | 分區ID | |
| CREATE_TIME | int(11) | 分區創建時間 | |
| LAST_ACCESS_TIME | int(11) | 最后一次訪問時間 | |
| PART_NAME | varchar(767) | 分區名 | |
| SD_ID | bigint(20) | 分區存儲ID | |
| TBL_ID | bigint(20) | 表ID |
11、PARTITION_KEYS --該表存儲分區的字段信息。
| Field | Type | Comment | |
|---|---|---|---|
| TBL_ID | bigint(20) | 表ID | |
| PKEY_COMMENT | varchar(4000) | 分區字段說明 | |
| PKEY_NAME | varchar(128) | 分區字段名 | |
| PKEY_TYPE | varchar(767) | 分區字段類型 | |
| INTEGER_IDX | int(11) | 分區字段順序 |
12、PARTITION_KEY_VALS --該表存儲分區字段值。
| Field | Type | Comment | |
|---|---|---|---|
| PART_ID | bigint(20) | 分區ID | |
| PART_KEY_VAL | varchar(255) | 分區字段值 | |
| INTEGER_IDX | int(11) | 分區字段值順序 |
13、PARTITION_PARAMS --該表存儲分區的屬性信息。
| Field | Type | Comment | |
|---|---|---|---|
| PART_ID | bigint(20) | 分區ID | |
| PARAM_KEY | varchar(256) | 分區屬性名 | |
| PARAM_VALUE | varchar(4000) | 分區屬性值 |
其他不常用的元數據表：
DB_PRIVS：數據庫權限信息表。通過GRANT語句對數據庫授權后，將會在這里存儲。
IDXS：索引表，存儲Hive索引相關的元數據
INDEX_PARAMS：索引相關的屬性信息。
TAB_COL_STATS：表字段的統計信息。使用ANALYZE語句對表字段分析后記錄在這里。
TBL_COL_PRIVS：表字段的授權信息
PART_PRIVS：分區的授權信息
PART_COL_STATS：分區字段的統計信息。
PART_COL_PRIVS：分區字段的權限信息。
FUNCS：用戶注冊的函數信息
FUNC_RU：用戶注冊函數的資源信息