花費 5 ms
Hadoop學習筆記(七):使用distcp並行拷貝大數據文件

  以前我們介紹的訪問HDFS的方法都是單線程的,Hadoop中有一個工具可以讓我們並行的拷貝大量數據文件,這個工具就是distcp。   distcp的典型應用就是在兩個HDFS集群中拷貝文件,如果兩個集群使用的Hadoop版本相同,可以使用hdfs標識符:    % hadoop ...

Sun Dec 23 06:35:00 CST 2012 0 16213
hadoop集群間的hdfs文件拷貝

distcp可以很快實現。在當前情況下,情況可能要復雜一些。通過查閱資料,在cdh的官網上竟然有這么神奇的一 ...

Fri May 05 18:03:00 CST 2017 0 2216

 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM