python操作hdfs總結


1、java通過hdfs遠程連接hdfs,不需要在客戶端機配置ip映射。
2、python利用hdfs庫通過webhdfs操作hdfs,必須在客戶端機配置ip映射
3、阿里雲配置hadoop,/etc/hosts要設置內網ip,namenode才能正常運行。但是java、python通過外網ip訪問hdfs時,總提示連不上。后面我在虛擬機配置hadoop,用java、python連接一切正常。所以如果使用阿里雲配置hadoop,遠程連接hadoop的程序應該運行在同一個服務器,或者另外的阿里內網服務器,然后通過內網連接
詳細見:https://blog.csdn.net/fuck487/article/details/80859581
 
hdfs命令詳解:https://blog.csdn.net/love666666shen/article/details/78261335


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM