HDFS跨集群數據遷移(一個是安全的 一個是不安全的)

hdfs 跨集群數據遷移

參考官網地址： https://docs.cloudera.com/documentation/enterprise/latest/topics/cdh_admin_distcp_secure_insecure.html

一.將數據在不安全的集群和安全的集群之間遷移

• 1.采用shell 命令的方式

如果集群配置了 ipc.client.fallback-to-simple-auth-allowed 為true則可以使用下面的命令(此配置在hdfs中進行配置)

#將數據從不安全的集群遷移到安全的集群
hadoop distcp webhdfs://<insecure_namenode>:50070/path /path
#將數據從安全的集群遷移到不安全的集群
hadoop distcp webhdfs://<secure_namenode>:500470/path /path

如果沒有配置則使用下面的命令進行遷移

#將數據從不安全的集群遷移到安全的集群
hadoop distcp  -D ipc.client.fallback-to-simple-auth-allowed=true webhdfs://<insecure_namenode>:50070/path /path
#將數據從安全的集群遷移到不安全的集群
hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true webhdfs://<secure_namenode>:50470/path /path