如何加速小文件的rsync

前端之家收集整理的这篇文章主要介绍了如何加速小文件的rsync前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我正在尝试使用以下命令将数千个小文件从一个服务器传输到另一个服务器:

rsync -zr –delete / home / user / user@10.1.1.1 :: backup

目前转移需要很长时间(我还没有计时).有没有办法让这更快?我应该使用其他工具吗?我应该在ssh上使用rsync而不是使用rsync协议吗?

解决方法

您需要确定瓶颈.它不是rsync.它可能不是您的网络带宽.正如 @Zoredache所说,很可能是所有stat()调用产生的大量iops.任何同步工具都需要统计文件.同步运行iostat以验证.

所以问题就变成了;我该如何优化stat?两个简单的答案:

>获得更快的磁盘子系统(如果需要,在两台主机上)和
>调整文件系统(例如,使用noatime进行ext3安装并添加dir_index).

如果有可能不是你的磁盘iops是限制,那么你可以尝试将目录树拆分成多个不同的树并运行多个rsyncs.

猜你在找的Linux相关文章