外網連接內網hadoop集群

 

 

本地開發環境springboot項目中鏈接內網中hadoop集群，namenode使用外網連接沒問題，但是上傳文件時，通過namenode找datanode時就自動變為內網ip了，這樣肯定不行的。

卡了兩天。。

偶然間發現一篇文章：https://blog.csdn.net/qq_36951116/article/details/90348181?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.channel_param

最后就是在開發的機器上（我的是windows10環境）在hosts文件中加入datanode主機名映射

1.在配置文件位置加入一行代碼

conf.set("dfs.client.use.datanode.hostname", "true");//讓namenode返回datanode所在機器的hostname
獲取datanode機器的主機名

 

 

windows10   hosts文件位置：C:\windows\system32\drivers\etc\

2.在hosts文件中加入datanode主機名映射如下圖：