我们有一组机器(大约50台并且还在增长).每台计算机都有一个搜索索引,需要每天多次更新.我们目前单独更新每台计算机上的索引,但理想情况下,我们可以在一台计算机上更新它,然后将新文件同步到群集的其余部分.我们最初使用rsync来处理这个问题,但随着机器数量的增加,很明显这个解决方案无法扩展.我刚开始研究多播文件传输.在这里有经验的人可以建议一些地方看吗?
解决方法
@H_301_5@ 对我来说,这是一个面试问题……多播选项:
BitTorrent的
使用pub / sub消息传递的其他协议.
另一种方法……使用分发树:
发送给N个主机,每个主机将发送给N个主机;并以这种方式在树上工作.这当然需要一些开发工作,但它可能是更具可扩展性的方法.
其中大部分取决于您实际需要满足的系统数量,索引大小和网络基础架构.