我有一个网站,将存储用户个人资料图片.每个映像都存储在特定于用户的目录(
Linux)中.目前我的客户群为30,这意味着我将拥有30个文件夹.但我目前的Linux机箱(ext2 / ext3)不支持创建超过32000个目录.我如何通过这个?甚至YouTube的人也有同样的问题,视频缩略图.但他们通过迁移到ReiserFS解决了这个问题.我们不能有更好的解决方案吗?
更新:当在IRC中询问时,人们询问是否将其升级到ext4,它有64k的限制,当然还有you can even get past that too.或内核黑客改变限制.
更新:如何根据用户ID范围将用户群拆分为文件夹.在一个文件夹中含义1-1000,在另一个文件夹中含义为1000-2000.这似乎很简单.你怎么说,伙计们?
坦白说,还有其他办法吗?
解决方法
这个限制是每个目录,而不是整个文件系统,所以你可以通过进一步细分来解决它.例如,不是让同一目录中的所有用户子目录按名称的前两个字符拆分它们,所以你有类似的东西:
top_level_dir |---aa | |---aardvark1 | |---aardvark2 |---da | |---dan | |---david |---do |---don
更好的方法是创建某种形式的名称哈希值并将其用于除法.通过这种方式,您可以在目录中获得更好的传播,而不是使用首字母示例,“da”非常满,“zz”完全为空.例如,如果您使用CRC或MD5名称并使用前8位,您将得到一些像:
top_level_dir |---00 | |---some_username | |---some_username |---01 | |---some_username ... |---FF | |---some_username
这可以根据需要扩展到更深的深度,例如,如果使用用户名而不是哈希值:
top_level_dir |---a | |---a | |---aardvark1 | |---aardvark2 |---d |---a | |---dan | |---david |---o |---don
此方法用于许多地方,如squid的缓存,复制Ludwig的示例,以及Web浏览器的本地缓存.
需要注意的一件重要事情是,使用ext2 / 3,无论如何都会在接近32,000限制之前开始遇到性能问题,因为目录是线性搜索的.移动到另一个文件系统(例如ext4或reiser)将消除这种低效率(reiser使用二进制拆分算法搜索目录,以便更有效地处理目录,ext4也可以执行)以及每个目录的固定限制.