前端之家收集整理的这篇文章主要介绍了
unix – grep -f最大模式数量?,
前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我想在带有-f的文本
文件上使用grep来匹配长列表(10,000)的模式.事实证明,grep不喜欢这个(谁知道?).一天之后,它没有产生任何东西.较小的列表几乎可以瞬间完成.
我以为我可能会把我的长列表分开并做几次.知道模式列表的最大长度是多少?
另外,我对unix很新.欢迎采用其他方法.模式列表或搜索术语位于纯文本文件中,每行一个.
谢谢大家的指导.
我和约有同样的问题.在900万行的
文件中
搜索400万个模式.好像这是RAM的问题.所以我得到了这个整洁的小工作,可能比分裂和加入慢,但它只需要这一行.
while read line; do grep $line fileToSearchIn;done < patternFile
我需要使用这个工作,因为-F标志不是那些大文件的解决方案……
编辑:对于大文件来说这似乎很慢.经过一些研究,我发现了’faSomeRecords’以及Kent NGS-editing-Tools的其他很棒的工具
我通过从550万条记录文件中提取200万个fasta-rec来自己尝试.约. 30秒..
干杯
编辑:direct download link