unix – grep -f最大模式数量?

前端之家收集整理的这篇文章主要介绍了unix – grep -f最大模式数量?前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我想在带有-f的文本文件上使用grep来匹配长列表(10,000)的模式.事实证明,grep不喜欢这个(谁知道?).一天之后,它没有产生任何东西.较小的列表几乎可以瞬间完成.

我以为我可能会把我的长列表分开并做几次.知道模式列表的最大长度是多少?

另外,我对unix很新.欢迎采用其他方法.模式列表或搜索术语位于纯文本文件中,每行一个.

谢谢大家的指导.

我和约有同样的问题.在900万行的文件搜索400万个模式.好像这是RAM的问题.所以我得到了这个整洁的小工作,可能比分裂和加入慢,但它只需要这一行.
while read line; do grep $line fileToSearchIn;done < patternFile

我需要使用这个工作,因为-F标志不是那些大文件解决方案……

编辑:对于大文件来说这似乎很慢.经过一些研究,我发现了’faSomeRecords’以及Kent NGS-editing-Tools的其他很棒的工具

我通过从550万条记录文件提取200万个fasta-rec来自己尝试.约. 30秒..

干杯

编辑:direct download link

猜你在找的Bash相关文章