linux – 数百万个小文件的文件系统

前端之家收集整理的这篇文章主要介绍了linux – 数百万个小文件的文件系统前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
在以下场景中,您会选择哪种 Linux文件系统以获得最佳速度:

>一亿个文件
平均文件大小约为~2k
>

95% read access

>非常随机的访问
>高并发(> 100个进程)

注意:文件存储在深层次结构树中以避免大目录.每个叶子目录包含大约一千个文件.

你会如何评价它?

解决方法

这里有一些 results comparing all major linux FSes的bonnie可以作为起点.

随机搜索方面,Reiser赢了,接着是EXT4,接着是JFS.我不确定这是否与目录查找完全相关,但它似乎是一个指标.你必须专门做自己的测试. EXT2因为文件创建时间不足以击败所有内容,可能是因为缺少日记,EXT4除了Reiser之外还有其他一切,因为hans reiser的当前状态你可能不想使用它.

您可能希望查看支持NCQ的驱动器,并确保您的安装已设置为使用它.在大量寻求下它应该提供速度提升.

最后,确保您的机器有一吨内存.由于文件不经常更新,如果它有可用空间,linux将最终缓存大部分文件.如果您的使用模式是正确的,这将为您带来巨大的速度提升.

猜你在找的Linux相关文章