ubuntu – 有效处理200万个文件

前端之家收集整理的这篇文章主要介绍了ubuntu – 有效处理200万个文件前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我有一个基于文件数据库,有3个子目录存储的大约2M文件.
2/2/6253
2/2/6252
...

文件a从30字节到60 KB不等.整个DB是只读的.数据库大约125 GB.

补充:所有文件都是由zlib(python)压缩的

我希望将其全部作为文件系统中的一个文件来处理.哪种文件系统是我最好的选择?

目前我使用以下脚本:

dd if=/dev/zero of=/my_file.iso bs=1024K count=60000
mkfs.ext4 -f /my_file.iso
mount -o loop /my_file.iso /mnt/
您可能只想使用XFS.

它能够满足您的要求,并完成工作.

没有理由使用较少使用的文件系统使其复杂化,这可能带来其他权衡.

请参阅:How does the number of subdirectories impact drive read / write performance on Linux?
The impact of a high directory-to-file ratio on XFS

如果你想要更深奥的东西,带有文件系统的ZFS zvols可以提供一个有趣的替代方案(用于压缩,完整性和可移植性).

见这里:Transparent compression filesystem in conjunction with ext4

原文链接:https://www.f2er.com/ubuntu/348347.html

猜你在找的Ubuntu相关文章