jenkins+ rclone定時同步sftp數據到s3


一個簡單任務場景,業務對賬,同時需要備份請求的對賬文件(sftp服務),所以使用了一個強大的支持 
多種存儲的工具rclone,然后定時自動同步到s3存儲中,對於定時任務,使用jenkins(基於定時任務cron) 
使用jenkins的好處是靈活可以隨意配置,同時我們系統已經有了好多構建節點,具有冗余性

參考圖

 

 

操作流程說明

因為rclone的配置是可以復用的,所以配置好一個同時copy jenkins 的agent 就行了,具體創建的jenkins job 就是一個執行rclone shell 命令 
的自由job了,對於定時任務,我們可以使用jenkins 自帶的定時觸發機制,隨意調整任務的構建了

說明

rclone 對於同步包含了copy 以及sync 命令,如果是打算源以及目的是一樣的,直接使用sync就可以,對於目的可能會變,但是不像被刪除的話 
可以使用copy

參考資料

https://github.com/rclone/rclone 
https://rclone.org/


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM