s5cmd,比s3cmd更快的s3協議客戶端


今天使用s3cmd上傳文件,因為s3cmd是單線程的,當文件非常多且小,速度堪憂。網上的方法也無外乎多開幾個cmd上傳。

后來發現s5cmd工具,(https://github.com/peak/s5cmd),可以多線程運行,速度灰常的快。

使用方式如下:

在/root/目錄下新建.aws目錄

在.aws目錄下,新建,config、credentials文件

config文件:

[default]
output = json
region = us-west-1

credentials文件:

[default]
aws_access_key_id = XXXXXX
aws_secret_access_key = XXXXX

然后可以執行:

 ./s5cmd  --stat  --numworkers=70 --endpoint-url=s3.us-west-1.xxx.com  cp ./dir/ s3://bucketName/
--numworkers 可以開多個線程
--endpoint-url 如果不是使用的aws的s3,則指定一下 url


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM