前端之家收集整理的这篇文章主要介绍了
Bash：在许多文件上并行化md5sum校验和，
前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。
让我说,我有一个64核服务器,我需要计算/ mnt / data中的所有
文件的md5sum,并将结果存储在一个文本
文件中：
find /mnt/data -type f -exec md5sum {} \; > md5.txt
上述命令的问题是,只有一个进程在任何给定的时间运行.我想利用我64核的全部力量.理想情况下,我想确保,在任何给定的时间,64个并行的md5进程正在运行(但不超过64个).
也.我需要将所有进程的输出存储到一个文件中.
注意：我并没有寻找一种并行计算一个文件的md5sum的方法.我正在寻找一种方法来并行计算64个不同文件的64 md5sums,只要有任何文件来自find.
使用
GNU parallel.你可以找到更多关于如何实现它的例子
here.
find /mnt/data -type f | parallel -j 64 md5sum > md5.txt
