tar+pigz+ssh实现大数据压缩传输


 

 

磁盘读取---->打包---->压缩------>传输---->解压缩-->拆包---->落盘

          |->tar     |->gzip      |->ssh      |->gzip   |->tar


          
          
          

比如我要将本地的test目录拷贝到“目标IP”的的data目录,则命令如下:
tar -c test/ |pigz |ssh -c arcfour128 目标IP "gzip -d|tar -xC /data"
或者
tar -c test/* |pigz |ssh -c arcfour128 目标IP "gzip -d|tar -xC /data"

 

如果不需要解压,则命令变为:
tar -c test/ |pigz |ssh -c arcfour128 目标IP "cat >/data/test.tar.gz"
注:因为采用了流式压缩,解压过程必须加上-i参数,及tar –ixf /data/test.tar.gz(面对大数据的时候)

 

执行命令的过程中如果抛出:-bash: pigz: command not found
解决: 安装pigz(我提供了两个版本, 随便安装一个就行, 我之前安装的是yum版)

http://files.cnblogs.com/files/chenglee/pigz-2.3.4.tar.gz

还有一个是redhat的rpm包提供的, 需要的可以上yum库找, 以上的是编译包


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM