Hadoop學習筆記(七):使用distcp並行拷貝大數據文件
以前我們介紹的訪問HDFS的方法都是單線程的,Hadoop中有一個工具可以讓我們並行的拷貝大量數據文件,這個工具就是distcp。 distcp的典型應用就是在兩個HDFS集群中拷貝文件,如果兩個集群使用的Hadoop版本相同,可以使用hdfs標識符: % hadoop ...
以前我們介紹的訪問HDFS的方法都是單線程的,Hadoop中有一個工具可以讓我們並行的拷貝大量數據文件,這個工具就是distcp。 distcp的典型應用就是在兩個HDFS集群中拷貝文件,如果兩個集群使用的Hadoop版本相同,可以使用hdfs標識符: % hadoop ...
distcp可以很快實現。在當前情況下,情況可能要復雜一些。通過查閱資料,在cdh的官網上竟然有這么神奇的一 ...