一个更好的unix找到并行处理?

前端之家收集整理的这篇文章主要介绍了一个更好的unix找到并行处理?前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
unix find(1)实用程序非常有用,允许我对符合特定规范的许多文件执行操作,例如:
find /dump -type f -name '*.xml' -exec java -jar ProcessFile.jar {} \;

以上操作可能会在特定目录中的每个XML文件上运行脚本或工具.

假设我的脚本/程序耗费了大量cpu时间,而且我有8个处理器.一次处理多达8个文件会很不错.

GNU make允许使用-j标志进行并行作业处理,但find似乎没有这样的功能.是否有替代通用的作业调度方法

带有-P选项的xargs(进程数).假设我想压缩4-cpu机器上目录中的所有日志文件
find . -name '*.log' -mtime +3 -print0 | xargs -0 -P 4 bzip2

你也可以说-n< number>对于每个进程的最大工作单元数.所以说我有2500个文件,我说:

find . -name '*.log' -mtime +3 -print0 | xargs -0 -n 500 -P 4 bzip2

这将启动4个bzip2进程,每个进程有500个文件,然后当第一个完成另一个进程时,将启动最后500个文件.

不知道为什么以前的答案使用xargs和make,你有两个并行引擎!

猜你在找的Bash相关文章