快速傳輸大數據(tar+lz4+pv)


如果用傳統SCP遠程拷貝,速度是比較慢的。現在采用lz4壓縮傳輸。LZ4是一個非常快的無損壓縮算法,壓縮速度在單核300MB/S,可擴展支持多核CPU。它還具有一個非常快速的解碼器,速度單核可達到和超越1GB/S。通常能夠達到多核系統上的RAM速度限制。

 你PV 全命為Pipe Viewer,利用它我們可以查看到命令執行的進度。

下面介紹下lz4和pv的安裝,下載軟件:

下載pv-1.1.4.tar.gz wget http://sourceforge.jp/projects/sfnet_pipeviewer/downloads/pipeviewer/1.1.4/pv-1.1.4.tar.bz2/

下lz4的包難一些,可能要翻牆:https://dl.dropboxusercontent.com/u/59565338/LZ4/lz4-r108.tar.gz

安裝灰常簡單:

pv安裝:

[root ~]$ tar jxvf pv-1.1.4.tar.bz2 
[root ~]$ cd pv-1.1.4 [root pv-1.1.4]$ ./configure && make && make install

lz4安裝:

[root ~]$ tar zxvf lz4-r108.tar.gz 
[root ~]$ cd lz4-r108
[root lz4-r108]$ make && make install

 

用法:(-c 后指定要傳輸的文件,ssh -p  是指定端口,后面的ip是目標主機的ip, -xC指定傳到目標主機下的那個目錄下,別的不用修改):

tar -c mysql-slave-3307  |pv|lz4 -B4|ssh -p10022 -c arcfour128 -o"MACs umac-64@openssh.com"  192.168.100.234  "lz4 -d |tar -xC /data"

下面是我線上傳一個從庫的效果:

看到了吧,25.7G 只需要接近3分鍾,這樣遠比scp速度快上了好幾倍,直接scp拷貝離散文件,很消耗IO,而使用LZ4快速壓縮,對性能影響不大,傳輸速度快

 

PS:下次補充同機房不同網段的傳輸效果及跨機房的傳輸效果^0^

 

作者:陸炫志

出處:xuanzhi的博客 http://www.cnblogs.com/xuanzhi201111

您的支持是對博主最大的鼓勵,感謝您的認真閱讀。本文版權歸作者所有,歡迎轉載,但請保留該聲明。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM