filesystems – 大型LVM磁盘(8 TB)的文件系统?

前端之家收集整理的这篇文章主要介绍了filesystems – 大型LVM磁盘(8 TB)的文件系统?前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我有一台带有许多2 TB磁盘的 Linux服务器,所有这些磁盘目前都在LVM中,导致大约10 TB的空间.我在ext4分区上使用了所有这些空间,目前有大约8,8 TB的数据.

问题是,我经常在我的磁盘上出现错误,即使我更换(也就是说,我将旧磁盘复制到带有dd的新磁盘,然后我将新的磁盘放入服务器中),一旦出现错误,我经常在其上获得大约100 MB的损坏数据.
这使得e2fsck每次都变得疯狂,并且通常需要一周时间才能使ext4文件系统再次处于理智状态.

所以问题是:你建议我在LVM上用什么作为文件系统?
或者你会建议我做什么(我真的不需要LVM)?

我的文件系统的配置文件

>许多不同总大小的文件夹(总共2 TB,有些总计100 MB)
>近200,000个不同大小的文件(其中3/4大约10 MB,1/4介于100 MB和4 GB之间;我目前无法获得更多关于文件统计信息,因为我的ext4分区已经完全破坏了几天)
>许多读,但很少写
>我需要容错(我停止使用mdadm RAID,因为它不喜欢整个磁盘上有一个错误,我有时会有失败的磁盘,我尽快替换,但这意味着我可以获得损坏的数据在我的文件系统上)

主要问题是磁盘故障;我可以丢失一些文件,但我不能同时失去一切.

如果我继续使用ext4,我听说我应该最好尝试制作更小的文件系统并以某种方式“合并”它们,但我不知道如何.

我听说btrfs会很好,但是当没有复制数据时(mkfs.btrfs -d single?),我找不到任何关于它如何管理丢失磁盘(或整个磁盘)的线索.

欢迎提出任何关于这个问题的建议,谢谢!

解决方法

这不是文件系统问题,而是磁盘的物理限制.这是一些数据:

SATA驱动器通常以不可恢复的读取错误率(URE)指定为10 ^ 14.这意味着即使磁盘工作正常,每12TB 1个字节也将无法恢复.

这意味着即使没有驱动器发生故障,没有RAID也会丢失数据 – RAID是您唯一的选择.

如果选择RAID5(总容量n-1,其中n =磁盘数),它仍然不够.使用包含6 x 2TB硬盘的10TB RAID5,每年有一次驱动器故障的可能性为20%且单个磁盘发生故障,由于URE,您将有50%的机会成功重建RAID5并恢复100%的数据.

基本上,由于磁盘容量大,URE相对较高,因此需要RAID6才能确保单磁盘故障.

阅读:http://www.zdnet.com/blog/storage/why-raid-5-stops-working-in-2009/162

猜你在找的Linux相关文章