rsync – 快速将文件发送到数十台服务器

前端之家收集整理的这篇文章主要介绍了rsync – 快速将文件发送到数十台服务器前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我们有一组机器(大约50台并且还在增长).每台计算机都有一个搜索索引,需要每天多次更新.我们目前单独更新每台计算机上的索引,但理想情况下,我们可以在一台计算机上更新它,然后将新文件同步到群集的其余部分.我们最初使用rsync来处理这个问题,但随着机器数量增加,很明显这个解决方案无法扩展.我刚开始研究多播文件传输.在这里有经验的人可以建议一些地方看吗?

解决方法

对我来说,这是一个面试问题……

多播选项:
BitTorrent的
使用pub / sub消息传递的其他协议.

另一种方法……使用分发树:
发送给N个主机,每个主机将发送给N个主机;并以这种方式在树上工作.这当然需要一些开发工作,但它可能是更具可扩展性的方法.

其中大部分取决于您实际需要满足的系统数量,索引大小和网络基础架构.

猜你在找的Linux相关文章