花费 24 ms
Hadoop学习笔记(七):使用distcp并行拷贝大数据文件

  以前我们介绍的访问HDFS的方法都是单线程的,Hadoop中有一个工具可以让我们并行的拷贝大量数据文件,这个工具就是distcp。   distcp的典型应用就是在两个HDFS集群中拷贝文件,如果两个集群使用的Hadoop版本相同,可以使用hdfs标识符:    % hadoop ...

Sun Dec 23 06:35:00 CST 2012 0 16213
hadoop集群间的hdfs文件拷贝

distcp可以很快实现。在当前情况下,情况可能要复杂一些。通过查阅资料,在cdh的官网上竟然有这么神奇的一 ...

Fri May 05 18:03:00 CST 2017 0 2216

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM