Rsync需要8个小时来备份15M文件

前端之家收集整理的这篇文章主要介绍了Rsync需要8个小时来备份15M文件前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我有~700GB的存储空间,我存储~15M文件,因此平均文件大小约为50KB.要备份它,过夜我运行一个带有以下标志的简单rsync脚本:
--archive --update --compress --numeric-ids --human-readable --stats

rsync完成其工作需要8个小时,平均每天移动约1-4GB的数据.这对我来说似乎非常低效.

我可以调整我的rsync脚本吗?我想我最好的选择是迁移到MongoDB或类似的东西,但是存在问题,因为当前的基础设施依赖于在posix文件系统上访问的文件,将它们迁移到完全不同的东西可能需要额外的工作,可能太多的工作……还有什么其他最好的策略?

解决方法

rsync需要很长时间来分析那么多文件,即使传输是有效的.它必须超过15M IO,加上或减去缓存.你可以扔掉非常快的存储空间,但这可能会很昂贵.

zfs建议使用块级副本,其中这将成为一个要传输的巨型文件.

这些概念也适用于lvm,虽然它可能需要更多的脚本,因为没有内置远程快照.请参阅lvmsync之类的想法.

原文链接:https://www.f2er.com/linux/396901.html

猜你在找的Linux相关文章