如何使用rsync和inotify“正确”同步数百万个文件?

前端之家收集整理的这篇文章主要介绍了如何使用rsync和inotify“正确”同步数百万个文件?前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
假设我有100万个文件,文件列表就像20MB.如果我只添加一个文件,inotify将告诉rsync传输文件列表和新文件.我的网络不好,我可能不得不限制带宽(–bwlimit).

可以一次添加多个文件,并且考虑到网络传输速度,可能会同时运行多个rsyncs.

这值得么?有没有更好的办法?

解决方法

你的情况听起来正好是 lsyncd的制作. 它使用inotify监视目录,并仅使用已更改的文件生成rsync. 它会将更改聚合几秒钟. 因此,当您在一秒钟内进行5次更改时,它只会向目标服务器生成一个新的同步进程.
原文链接:https://www.f2er.com/linux/398096.html

猜你在找的Linux相关文章