前端之家收集整理的这篇文章主要介绍了
使用unix排序我们如何排序更快?,
前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我们正在排序一个带有37个字段的5GB
文件,并用5个键进行排序.大
文件由1000个
文件组成,每个
文件为5MB.
190分钟后,还没有完成.
我想知道是否有其他方法来加快排序.我们选择unix排序,因为我们不希望它占用所有内存,所以任何基于内存的方法都不行.
独立排序每个文件的优点是什么,然后使用-m选项来合并排序?
使用-S缓冲在内存中.例如,要使用(最多)50%的内存作为排序缓冲区,请执行以下操作:
sort -S 50% file
请注意,现代Unix排序可以并行排序.我的经验是它自动使用尽可能多的内核.您可以使用–parallel直接设置.使用4个线程进行排序:
sort --parallel=4 file
所以总而言之,你应该把所有的东西放到一个文件中,执行一下:
sort -S 50% --parallel=4 file
原文链接:https://www.f2er.com/bash/386512.html