Hadoop通過路徑和和鏈接訪問HDFS


如果既想在Hadoop服務器本地可以通過絕對路徑如"/user/hadoop"方式訪問hdfs,也想通過"hdfs://local

host:9000/user/hadoop的方式訪問hdfs,此時做需要配置core-site.xml:

<property>  
    <name>fs.defaultFS</name>  
    <value>hdfs://master.domain.com:9000</value>  
</property>  

上面的配置只能讓你使用"hadoop fs -ls /user/hadoop"來查看hdfs,鏈接方式還需要修改hdfs-site.xml:

<property>  
    <name>dfs.namenode.rpc-address</name>  
    <value>master.domain.com:9000</value>  
</property>  

此時,如果你的服務器是放在機房,並且"master.domain.com"域名在所有hadoop集群機器上已經

 

指向namenode的內網IP,那么上面的配置只會讓你能在hadoop集群所在的內網機器通過"hdfs://local

host:9000/user/hadoop"訪問hdfs,若需要在機房外訪問hadoop的hdfs,還需要在hdfs-site.xml中增加下面

內容:

<property>  
    <name>dfs.namenode.rpc-bind-host</name>  
    <value>0.0.0.0</value>  
</property> 

其中的host"0.0.0.0"會替換上面的“dfs.namenode.rpc-address”的域名,此時重啟hadoop,hadoop就會

 

監聽內外兩個網卡的9000端口。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM