Hive中如何快速的復制一張分區表（包括數據）

轉自：http://lxw1234.com/archives/2015/09/484.htm

關鍵字：Hive 復制表

Hive中有時候會遇到復制表的需求，復制表指的是復制表結構和數據。

如果是針對非分區表，那很簡單，可以使用CREATE TABLE new_table AS SELECT * FROM old_table;

那么如果是分區表呢？

首先想到的辦法可能是：

先創建一張和old_table結構相同的new_table，包括分區；可以使用CREATE TABLE new_table LIKE old_table;

接下來使用動態分區，把old_table的數據INSERT到new_table中。

這個方法當然可以，但可能不是最快的。

其實可以這樣做：

1. CREATE TABLE new_table LIKE old_table;

2. 使用hadoop fs -cp 命令，把old_table對應的HDFS目錄的文件夾全部拷貝到new_table對應的HDFS目錄下；

3. 使用MSCK REPAIR TABLE new_table;修復新表的分區元數據；

看例子：

有一張分區表t1,只有兩個分區，每個分區中都有一條數據，如下：

1. hive> show partitions t1;
2. OK
3. pt=2015-09-11
4. pt=2015-09-12
5. Time taken: 0.11 seconds, Fetched: 2 row(s)
6. hive> desc t1;
7. OK
8. id string
9. pt string
11. # Partition Information
12. # col_name data_type comment
14. pt string
15. Time taken: 0.123 seconds, Fetched: 7 row(s)
16. hive> select * from t1;
17. OK
18. X 2015-09-11
19. Y 2015-09-12
20. Time taken: 0.095 seconds, Fetched: 2 row(s)
21. hive>

創建一張相同表結構的新表t2;

1. hive> create table t2 like t1;
2. OK
3. Time taken: 0.162 seconds
4. hive> desc t2;
5. OK
6. id string
7. pt string
9. # Partition Information
10. # col_name data_type comment
12. pt string
13. Time taken: 0.139 seconds, Fetched: 7 row(s)
14. hive> show partitions t2;
15. OK
16. Time taken: 0.082 seconds

使用hadoop fs -cp命令把t1對應HDFS目錄的所有文件夾復制到t2對應的HDFS目錄下：

1. [liuxiaowen@dev ~]$ hadoop fs -cp /hivedata/warehouse/liuxiaowen.db/t1/* /hivedata/warehouse/liuxiaowen.db/t2/
2. [liuxiaowen@dev ~]$ hadoop fs -ls /hivedata/warehouse/liuxiaowen.db/t2/
3. Found 2 items
4. drwxr-xr-x - liuxiaowen liuxiaowen 0 2015-09-11 17:17 /hivedata/warehouse/liuxiaowen.db/t2/pt=2015-09-11
5. drwxr-xr-x - liuxiaowen liuxiaowen 0 2015-09-11 17:17 /hivedata/warehouse/liuxiaowen.db/t2/pt=2015-09-12

在Hive用使用MSCK REPAIR TABLE t2;修復新表t2的分區元數據；

1. hive> show partitions t2;
2. OK
3. Time taken: 0.082 seconds
4. hive> MSCK REPAIR TABLE t2;
5. OK
6. Partitions not in metastore: t2:pt=2015-09-11 t2:pt=2015-09-12
7. Repair: Added partition to metastore t2:pt=2015-09-11
8. Repair: Added partition to metastore t2:pt=2015-09-12
9. Time taken: 0.249 seconds, Fetched: 3 row(s)
10. hive> show partitions t2;
11. OK
12. pt=2015-09-11
13. pt=2015-09-12
14. Time taken: 0.068 seconds, Fetched: 2 row(s)
15. hive> select * from t2;
16. OK
17. X 2015-09-11
18. Y 2015-09-12
19. Time taken: 0.123 seconds, Fetched: 2 row(s)
20. hive>

OK，新表t2已經復制好了，它和t1有着相同的表結構，分區結構，分區以及數據。