lz4压缩传输-让远程传输大文件变得更快

如果用传统SCP远程拷贝,速度是比较慢的,如图:

点击查看原图

现在采用lz4压缩传输。LZ4是一个非常快的无损压缩算法,压缩速度在单核300MB/S,可扩展支持多核CPU。它还具有一个非常快速的解码器,速度单核可达到和超越1GB/S。通常能够达到多核系统上的RAM速度限制。

点击查看原图

项目主页:http://code.google.com/p/lz4/

安装(在本地和远程均安装lz4压缩工具)

# wget https://dl.dropboxusercontent.com/u/59565338/LZ4/lz4-r108.tar.gz

# cd lz4-r108/

# make;make install

远程传输

time tar -c aa.img |pv|lz4 -B4|ssh 192.168.17.129 "lz4 -d |tar -xC /root/"

点击查看原图

传输2G的文件,速度是119M/S,花费了17秒传输完毕。

版权所有:《太阳花工作室》 => 《lz4压缩传输-让远程传输大文件变得更快
本文地址:http://bg.artuion.com/linux/288.html
除非注明,文章均为 《太阳花工作室》 原创,欢迎转载!转载请注明本文地址,谢谢。