在不同的兩個HDFS集群中拷貝數據,我們可以使用distcp,集群之間拷貝數據的正確姿勢是:
hadoop distcp hdfs://master1:9999/foo/bar hdfs://master2:9999/bar/foo
上面的意思是將集群master1上的文件foo/bar
拷貝到master2集群上的bar/foo
目錄下
hadoop distcp hdfs://master1:9999/foo/a hdfs://master1:9999/foo/b hdfs://master2:9999/bar/foo
上面的意思是將master1集群上的兩個文件foo/a
和foo/b
拷貝到master2集群上的文件bar/foo
中去
詳細參考Hadoop的官網:http://hadoop.apache.org/docs/r2.7.5/hadoop-distcp/DistCp.html