(我问
this question on stackoverflow,但这里可能会更好……)
我需要阅读Linux系统上的一些巨大的日志文件.日志中有很多混乱.目前我正在做这样的事情：
cat logfile.txt | grep -v "IgnoreThis\|IgnoreThat" | less
但它很麻烦 – 每次我想添加另一个过滤器时,我都需要退出并编辑命令行.一些滤波器相对复杂并且可以是多线的.
我想通过日志阅读一些方法来应用过滤器,以及在某处保存这些过滤器的方法.
有没有可以为我做这个的工具？我无法安装新软件,所以希望它已经安装好了 – 例如,更少,vi,Python或Perl lib等等.
解决方法
>阅读大型日志文件不是一个好主意
>您需要先将它们过滤到必要的行,然后再查看它们
>即便如此,如果可能的话(如果过滤后的线也很多),
您应该运行辅助过滤器并计算脚本来分析它们
>当你有一个大的静态文件并知道过滤器来消除它的线条时,
存储过滤后的输出总是一个好主意(而不是试图立即查看).
>这样,您可以在过滤后的输出上运行辅助过滤器,它们不需要再次运行整个过程
>因此,在您的示例中,将第一个输出存储到新文件中,当您知道另一个过滤器将其应用于该存储文件时
>当然,这意味着过滤文件的一些存储空间.
如果您的过滤器将大量减少实际文件,它会更好
>像’grep’,’sed’,’AWK’这样的常规linux工具通常足以很好地处理文本日志文件.我经常使用这些东西处理大约10GB的日志文件.你可以用’bash脚本’制作自己的工具.>不要低估’vim’,它也可以处理大文件(但需要时间,所以给它过滤文件)
