linux – 处理大量临时小文件

前端之家收集整理的这篇文章主要介绍了linux – 处理大量临时小文件前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我有一个Web服务器,可以保存缓存文件并保存7天.文件名是md5哈希值,即正好是32个十六进制字符长,并保存在如下所示的树结构中:
00/
  00/
    00000ae9355e59a3d8a314a5470753d8
    .
    .
00/
  01/

你明白了.

我的问题是删除文件需要很长时间.我每天都有一个cron工作

find cache/ -mtime +7 -type f -delete

这需要半天以上才能完成.我担心可伸缩性及其对服务器性能的影响.此外,缓存目录现在是我系统中的一个黑洞,偶尔捕获无辜的du或发现.

LRU缓存的标准解决方案是某种堆.有没有办法将其扩展到文件系统级别?
是否有其他方法以一种易于管理的方式实现这一点?

以下是我考虑的想法:

>创建7个顶级目录,每周一个目录,每天清空一个目录.这会将缓存文件的查找时间增加7倍,使文件被覆盖时非常复杂,而且我不确定它对删除时间的作用.
>将文件保存为MysqL表中的blob,其中包含名称和日期的索引.这似乎很有希望,但在实践中它总是比FS慢得多.也许我做得不对.

有任何想法吗?

解决方法

存储文件时,请创建指向按日期而不是按名称组织的第二个目录结构的符号链接.

使用“名称”结构检索文件,使用“日期”结构删除它们.

原文链接:https://www.f2er.com/linux/394694.html

猜你在找的Linux相关文章