jenkins+ rclone定时同步sftp数据到s3


一个简单任务场景,业务对账,同时需要备份请求的对账文件(sftp服务),所以使用了一个强大的支持 
多种存储的工具rclone,然后定时自动同步到s3存储中,对于定时任务,使用jenkins(基于定时任务cron) 
使用jenkins的好处是灵活可以随意配置,同时我们系统已经有了好多构建节点,具有冗余性

参考图

 

 

操作流程说明

因为rclone的配置是可以复用的,所以配置好一个同时copy jenkins 的agent 就行了,具体创建的jenkins job 就是一个执行rclone shell 命令 
的自由job了,对于定时任务,我们可以使用jenkins 自带的定时触发机制,随意调整任务的构建了

说明

rclone 对于同步包含了copy 以及sync 命令,如果是打算源以及目的是一样的,直接使用sync就可以,对于目的可能会变,但是不像被删除的话 
可以使用copy

参考资料

https://github.com/rclone/rclone 
https://rclone.org/


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM