用于Web文件存档的存储空间是什么?

前端之家收集整理的这篇文章主要介绍了用于Web文件存档的存储空间是什么?前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
如果您要为10TB的文件存档设置一个主要是ISO映像(600MB-5GB)的站点,您会使用哪种架构和存储?

我希望能够将100个并发用户的交付容量增加到1000个用户,而不会浪费初始硬件(如果这是真实的).

我也希望以同样的方式将存储容量从10TB增加到100TB.

在这个阶段我无法假设有关活动文件集的任何内容.它可能最终只是一个可以缓存在RAM中的文件,但它也可能是存档的95%.

您是否将单个面向公众的服务器与DAS一起使用?

您是否会使用Sun 7410等分层存储,并通过其SSD缓存模块扩展交付容量?

那些带有MogileFS和GlusterFS等分布式文件系统的商用硬件呢?

设置这样的东西的最佳方法是什么,这样才能轻松成长?

解决方法

对于类似的尺寸和可扩展性,我们使用 3U supermicro servers.每个服务器可以容纳14个驱动器(主板上有14个集成的SATA端口,所以我们没有购买raid卡,我们在这种情况下有1个空闲插槽) .每个驱动器通过 AOE共享前端服务器.我们有14个驱动器的RAID-10块(使用linux md),它们与 LVM放在一起.

如果你小心不要将raid-10块的任何两个镜像驱动器放入同一个后端服务器,那么这个系统是多余的,它甚至可以承受丢失一个完整的后端服务器.

它很容易成长:只需购买另一台服务器,构建raid,将lvm扩展到它上面,你就可以开始了.我们使用支持在线调整大小的XFS.

目前我们使用1TB和1.5TB驱动器,我们计划在未来使用2TB驱动器.只有当驱动器位于同一个raid块中时,驱动器才需要具有相同的大小.

根据您的需求,一台装有14x 1.5TB或2TB硬盘的服务器将是一个很好的开始.您甚至不需要一个单独的前端服务器作为开始.

我们的设置可以轻松地产生1Gb / s的吞吐量,我认为这对于Web服务来说已经足够了.

如果您喜欢这个想法,我可以帮助您提供更详细的信息.

编辑:

还有一些事情:

>这是一种有点自制的穷人存储解决方案.如果你有预算,不想浪费你的时间,并希望获得一流的企业级可靠性,那么你应该购买一些真正的SAN产品.价格可以很容易地高达10-30倍,特别是如果你想要100TB或更高.这并不意味着上述解决方案不起作用 – 确实如此,我认为SAN产品的额外价格在很多方面都不值得.>关于后端速度:遗憾的是,我无法给出确切的数字或测试测量结果.但我可以告诉你,即使是1个raid-10块的14个驱动器也很快.如果您需要更多空间,您将使用更多后端服务器,整体后端速度将进一步提高.更重要的是,如果任何后端将遭受太多并发用户(我怀疑),你可以从双向镜像到3路甚至更多,提高速度,寻求时间甚至可靠性.>关于前端速度:前端不必比转发数据包做更多的事情.现代服务器应该可以轻松保持10g / s的速度,因此它不会很快成为瓶颈.

原文链接:https://www.f2er.com/html/228216.html

猜你在找的HTML相关文章