前端之家收集整理的这篇文章主要介绍了
如何使用rsync和inotify“正确”同步数百万个文件?,
前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
假设我有100万个
文件,
文件列表就像20MB.如果我只
添加一个
文件,inotify将告诉rsync传输
文件列表和新
文件.我的网络不好,我可能不得不限制带宽(–bwlimit).
可以一次添加多个文件,并且考虑到网络传输速度,可能会同时运行多个rsyncs.
这值得么?有没有更好的办法?
你的情况听起来正好是
lsyncd的制作. 它使用inotify监视目录,并仅使用已更改的
文件生成rsync. 它会将更改聚合几秒钟. 因此,当您在一秒钟内进行5次更改时,它只会向目标服务器
生成一个新的同步进程.
原文链接:https://www.f2er.com/linux/398096.html