Hadoop查看目录文件大小的脚本


hadoop fs -du / | awk '{ sum=$1 ;dir2=$3 ; hum[1024**3]="Gb";hum[1024**2]="Mb";hum[1024]="Kb"; for (x=1024**3; x>=1024; x/=1024){ if (sum>=x) { printf "%.2f %s \t %s\n",sum/x,hum[x],dir2;break } }}'|grep Gb|sort -k1nr

 

hadoop fs -du / /user/hive/warehouse/dj_tmp.db | tail -n +2 | sort  -nr | awk '{dir=$3;size=$1/1024;if(size<1024){printf("%10.3f KB\t%s\n",size,dir);}else{dir=$3;size=size/1024;if(size<1024){printf("\033[36m%10.3f MB\t%s\n\033[0m",size,dir);}else{dir=$3;size=size/1024;if(size<1024){printf("\033[35m%10.3f GB\t%s\n\033[0m",size,dir);}else{dir=$3;size=size/1024;printf("\033[31m%10.3f TB\t%s\n\033[0m",size,dir);}}}}'


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM