python連接hdfs常用操作


import contextlib

import pyhdfs

fs = pyhdfs.HdfsClient(hosts='name-node1:9870,name-node2:9870', user_name='hdfs')
response = fs.open('/tmp/README.txt')
#
response.read()
response.readline()
response.seek()
with contextlib.closing(fs.open('/fruit/apple')) as f:
    f.read()
#
fs.append("/user/hadoop/test.csv", "0,2,0\r\r\n")
#本地導入導出hdfs
fs.copy_from_local('/opt/test/wangbin/addr.py', '/tmp/addr.py')
fs.copy_to_local('', '')
#目錄操作
fs.listdir("/user/hadoop/")
fs.mkdirs()
fs.exists('/path')
fs.delete('')
fs.delete('',recursive=True)

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM