HIVE獲取表的大小和修改日期

 

### 獲取表的大小
hdfs dfs -du /user/hive/warehouse/database_name.db/ > 360_du
### 獲取表的修改日期
hdfs dfs -ls /user/hive/warehouse/database_name.db/ > 360_ls

 

### 7K+個表測試

### shell處理，效率低，執行時間： 7m32.664s

### 獲取表的大小和修改日期
cat 360_du|while read line
do
    str=$(echo ${line}|awk -F"[ /]" '{print tolower($NF)"|"$1}')
    table=$(echo ${str}|awk -F'|' '{print $1}')
    day=$(grep -iw ${table} 360_ls|awk '{print $6}')
    echo ${str}"|"${day}
done

 

### perl處理，效率超高，執行時間： 0m0.298s

### 獲取表的大小和修改日期
#!/usr/bin/perl
use strict;
my %table_du = map{my @m = split /\s+/;$m[0],$m[1]} `awk -F'[ /]' '{print tolower(\$NF),\$1}' 360_du`;
my %table_ls = map{my @m = split /\s+/;$m[0],$m[1]} `awk '{print tolower(\$NF),\$6}' 360_ls|awk -F\/ '{print \$NF}'`;

for (keys %table_du){
    print "$_|$table_du{$_}|$table_ls{$_}\n";
}