統計hive庫表在具體下所有分區大小


 

 

1 查詢具體表分區大小,以字節展示

hadoop fs -du  /user/hive/warehouse/treasury.db/dm_user_excercise  > dm_user_excercise.txt

 

2 定義shell腳本:

#!/bin/bash
#

size18=0
size17=0
size16=0


filename=$1
echo $filename


while read line
do


num=` echo $line | cut -d " " -f 1`
#echo $num



if  [[ $line =~ "2018-" ]] ; then
   let size18=$size18+$num
elif [[ $line =~ "2017-" ]] ; then   
   let size17=$size17+$num
elif [[ $line =~ "2016-" ]] ; then   
   let size16=$size16+$num
else
   echo "2018 2017 2016年之外的分區" 
   echo $line    
fi

done < $filename                   

let size18=$size18/1024/1024/1024
let size17=$size17/1024/1024/1024
let size16=$size16/1024/1024/1024

echo "2018分區表大小G: "$size18
echo "2017分區表大小G: "$size17
echo "2016分區表大小G: "$size16

 

3 調用命令:

sh filter5.sh  dm_user_excercise.txt 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM