另外,我发现-F和-P模式比默认模式快。我使用前者当搜索字符串不是正则表达式(只是纯文本),后者如果regex涉及。
有谁有加速grep的任何经验?也许从头开始编译一些特殊的标志(我在Linux CentOS),以一定的方式组织文件或者可能使搜索以某种方式并行?任何提示是赞赏。谢谢。
另外,我发现-F和-P模式比默认模式快。我使用前者当搜索字符串不是正则表达式(只是纯文本),后者如果regex涉及。
有谁有加速grep的任何经验?也许从头开始编译一些特殊的标志(我在Linux CentOS),以一定的方式组织文件或者可能使搜索以某种方式并行?任何提示是赞赏。谢谢。
grep
:
grep -r
greps recursively through directories. On multicore cpus GNU
parallel
can often speed this up.06000
This will run 1.5 job per core,and give 1000 arguments to
grep
.
对于大文件,它可以使用–pipe和–block参数将输入拆分成几个块:
parallel --pipe --block 2M grep foo < bigfile
您还可以通过SSH(ssh代理需要避免密码)在几个不同的机器上运行它:
parallel --pipe --sshlogin server.example.com,server2.example.net grep foo < bigfile