linux – 多线程单线程应用程序工作者

前端之家收集整理的这篇文章主要介绍了linux – 多线程单线程应用程序工作者前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我有一个服务器,我想专门用于通过LibreOffice将doc文件转换为pdf.服务器有6个核心,LibreOffice是单线程的.这意味着生成单个pdf占我总cpu功率的16.666%.转换文件可以从控制台完成,并且是一个阻塞任务,即等到完成后才能将控制权返回给控制台.

我可以启动6个无头办公室实例(在6个不同的端口上),并通过一些自定义代码确保每个工作请求转到另一个实例.我必须检查所有6个实例何时忙于工作,所以我会将工作保存在挂起的队列缓冲区中.我还必须管理超时/错误,以便重新启动特定实例并尝试重做导致问题的特定工作,可能需要再尝试1-2次,直到我放弃为止.

上述场景不会对单个文档使用100%cpu,但它允许一次最多转换6个文档,而不是以16.6%的功率一个接一个地处理它们.

我的问题是:是否存在管理此类情景的产品/工具?可能是通用的,可以协调这些任务(当然不知道有关LibreOffice的任何细节).

解决方法

您可能需要查看 GNU parallel

GNU parallel is a shell tool for executing jobs in parallel using one or more computers.

文档中有很多例子,包括你应该看看的GNU Parallel as dir processor.

当然,您需要为此做一些脚本,最后您甚至可以得出结论,在脚本中执行整个调度也更容易.

原文链接:https://www.f2er.com/linux/396383.html

猜你在找的Linux相关文章