hive從低版本升級到高版本或者做hadoop的集群數據遷移時,需要重新創建表和表分區,由於使用的是動態分區,所以需要重新刷新分區表字段,否則無法查看數據。
在hive中執行中以下命令即可自動更新元數據中的表分區:
MSCK REPAIR TABLE 表名;
后記:
今天同事在測試從其他集群移過來的數據時,發現使用count統計記錄數時顯示為0.
由於沒有分區字段,即是用了msck也不行,后來解決的方法是:
使用load命令再重新加載一次,load的源路徑和目標路徑可以相同。
hive從低版本升級到高版本或者做hadoop的集群數據遷移時,需要重新創建表和表分區,由於使用的是動態分區,所以需要重新刷新分區表字段,否則無法查看數據。
在hive中執行中以下命令即可自動更新元數據中的表分區:
MSCK REPAIR TABLE 表名;
后記:
今天同事在測試從其他集群移過來的數據時,發現使用count統計記錄數時顯示為0.
由於沒有分區字段,即是用了msck也不行,后來解決的方法是:
使用load命令再重新加載一次,load的源路徑和目標路徑可以相同。
本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。