手動修復 under-replicated blocks in HDFS


解決方式步驟:
1、進入hdfs的pod
kubectl get pod -o wide | grep hdfs
kubectl exec -ti hadoop-hdfs-namenode-hdfs1-948569108-c5d70 bash 
2、獲取票據
kinit -kt /etc/hdfs1/conf/hdfs.keytab hdfs/gz232-112
3、查詢每個blocks信息
hdfs fsck -blocks -files -locations /
4、找出replication != 3 的blocks
hdfs fsck / | grep 'Under replicated'
5、cat /tmp/under_replicated_files  查看,是不是所有的都是這個問題
6、手動修復 under_replicated_files
su - <$hdfs_user>
hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' >> /tmp/under_replicated_files
for hdfsfile in `cat /tmp/under_replicated_files`; do echo "Fixing $hdfsfile :" ;  hadoop fs -setrep 3 $hdfsfile; done


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM