Datax往hdfs寫數據配置HA高可用

問題描述：

datax往hdfs寫數據如何配置高可用

 

問題解析：

datax官網有相關配置，但是太過於籠統不夠詳細

 

解決方案：（nameservice1）

"defaultFS":"hdfs://nameservice1",
"hadoopConfig":{
  "dfs.nameservices": "nameservice1",
  "dfs.ha.namenodes.nameservice1": "namenode142,namenode35",
  "dfs.namenode.rpc-address.nameservice1.namenode142": "hadoop-prod-datanode7:8020",
  "dfs.namenode.rpc-address.nameservice1.namenode35": "hadoop-prod-namenode:8020",
  "dfs.client.failover.proxy.provider.nameservice1": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
},

每個參數分別對用hdfs-site.xml文件配置信息