如何在Perl中同时从大队列中运行多个作业?

前端之家收集整理的这篇文章主要介绍了如何在Perl中同时从大队列中运行多个作业?前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我想将 LSF command bsub的作业限制编入我的Perl脚本中,该脚本启动LSF作业.如果我有2000个工作岗位,我想在任何时候最多运行20个工作岗位.我已经看过脚本可以启动20个工作,然后等待它们全部完成再启动另外20个工作.

解决方法

几个现有的Perl模块,包括 Parallel::ForkManagerForks::Super(我是其作者)提供此功能.

还有一个@L_403_4@模块我不知道其他任何事情.

Parallel :: ForkManager骨架

use Parallel::ForkManager;
$pm = new Parallel::ForkManager(20);
foreach $job (@jobsToRun) {
    $pm->start and next;
    system("bsub -K $job");  # bsub -K job  to wait until job finishes,right?
    $pm->finish;
}

在福克斯::超级

use Forks::Super MAX_PROC => 20;
foreach $job (@jobsToRun) {
    fork { cmd => "bsub -K $job" };
}

猜你在找的Perl相关文章