unix – 使用临时文件vs管道的优点和缺点

前端之家收集整理的这篇文章主要介绍了unix – 使用临时文件vs管道的优点和缺点前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
假设我有一个名为jobs.csv的文件,我想获得Foo完成的前50k工作

我可以这样做:

# cat jobs.csv | sort -u | head -n 50000 > /tmp/jobs.csv
# cat /tmp/jobs.csv | while read line; do Foo --job=$line; done

要么

# cat jobs.csv | sort -u | head -n 50000 | while read line; do Foo --job=$line; done

可以告诉哪一个在系统的IO /内存效率方面更好?

或者甚至更好,可以为此提出更好的解决方案吗?

我通常会选择第二个选项(一直管道),除非其中一个中间输出对我有用.例如,如果在针对50k作业运行Foo之后,您想要针对相同的作业运行Bar,那么使/tmp/jobs.csv可用是有用的.

一直使用管道使系统能够尽早忘记数据,因此可以更有效地使用内存.它还绕过VFS和tmpfs堆栈,因此它使用的cpu略少.链的整体性能也更快,因为在开始下一步之前不需要等待一步完成(除非特定程序需要它).

顺便说一句,在你的例子中,最大的内存用户将是排序阶段,因为它需要将jobs.csv的全部内容保存在内存中以便对其进行排序.您可以通过改进创建jobs.csv的任何内容来提高效率,这样您就不再需要排序-u.

猜你在找的Bash相关文章