我正在运行此命令以从服务器的auth.log获取失败登录尝试的计数,并且它运行良好:
sudo cat /var/log/auth.{log,log.1} | grep 'Failed password' | grep sshd | awk '{print $1,$2}' | sort -k 1,1M -k 2n | uniq -c
但问题是 – 就像世界上的每个服务器一样 – 我有一些由日志轮换创建的GZip压缩文件,这个命令不会解析:
-rw-r----- 1 syslog adm 7822722 Oct 31 13:44 /var/log/auth.log -rw-r----- 1 syslog adm 12532511 Oct 25 06:59 /var/log/auth.log.1 -rw-r----- 1 syslog adm 2250939 Oct 18 06:55 /var/log/auth.log.2.gz -rw-r----- 1 syslog adm 2139669 Oct 11 07:06 /var/log/auth.log.3.gz -rw-r----- 1 syslog adm 2769919 Oct 4 06:54 /var/log/auth.log.4.gz
为了处理那些我有一个使用zcat而不是cat的命令的变体,但是必须运行两个命令来获取这些数据有点麻烦.有没有办法将cat和zcat命令组合成一个命令,这样我才能得到组合结果?我知道我可以编写一些Bash脚本来过滤压缩文件和未压缩文件,但我在各种服务器上使用这个当前的单行程序,我希望有一个单行程,我可以快速参考并在需要时使用.
更多细节.
我一直在做一些安全审计和防火墙调整,并且运行了这个命令,这给了我一个很好的“Uailed密码”尝试来自Ubuntu Linux机器上的auth.log文件:
sudo cat /var/log/auth.{log,1M -k 2n | uniq -c
它很棒!输出看起来像这样:
5909 Oct 18 13444 Oct 19 351 Oct 20 162 Oct 21 499 Oct 22 377 Oct 23 145 Oct 24 10897 Oct 25 76 Oct 26 54 Oct 27 310 Oct 28 1024 Oct 29 208 Oct 30 30 Oct 31
虽然这对于未压缩的日志非常有效,但由于日志会旋转并被压缩,因此总会有一些GZip压缩文件也可以很好地计算.所以我运行上面使用zcat的命令的这个变种:
sudo zcat -q /var/log/auth.log* | grep 'Failed password' | grep sshd | awk '{print $1,1M -k 2n | uniq -c
输出是这样的:
gzip: /var/log/auth.log: not in gzip format gzip: /var/log/auth.log.1: not in gzip format 10413 Sep 27 15977 Sep 28 12297 Sep 29 14438 Sep 30 23394 Oct 1 12912 Oct 2 15844 Oct 3 19697 Oct 4 15350 Oct 5 12358 Oct 6 12692 Oct 7 8377 Oct 8 10875 Oct 9 565 Oct 10 16027 Oct 11 10422 Oct 12 6808 Oct 13 26891 Oct 14 9493 Oct 15 5138 Oct 16 9415 Oct 17 2226 Oct 18
正如您所看到的,输出在它工作时起作用,但如果此命令的cat和zcat变体可以简单地组合成一个命令,那将会很好.怎么办?
奖励积分:
这些都不是关键问题,但如果以某种方式可以在解决方案中解决它们会很好:
>请注意,在zcat输出的顶部,zcat尝试处理两个未压缩文件时出现两个错误.压制那会很好.
>另请注意cat和zcat命令如何显示10月18日的数据;日志轮换发生的那一天.有没有办法在命令中添加这两个值?如果没有,我很好,有两行10月18日数据具有不同的值,我将不得不手动加起来.
解决方法
可以使用zgrep,如果需要可以解压缩,因此可以使用直接文本和压缩输入.同样,grep / zgrep可以直接处理多个文件,这在本例中是必需的,因为混合压缩和文本到标准输入并不总是按预期工作.使用-h或–no-filename在grep输出中抑制文件名.
sudo zgrep -h 'Failed password' /var/log/auth.* | grep sshd | awk '{print $1,1M -k 2n | uniq -c
手册页:
ZGREP(1) ZGREP(1) NAME zgrep - search possibly compressed files for a regular expression SYNOPSIS zgrep [ grep_options ] [ -e ] pattern filename... DESCRIPTION Zgrep invokes grep on compressed or gzipped files. All options specified are passed directly to grep. If no file is specified,then the standard input is decompressed if necessary and fed to grep. Otherwise the given files are uncompressed if necessary and fed to grep. If the GREP environment variable is set,zgrep uses it as the grep program to be invoked. AUTHOR Charles Levert (charles@comm.polymtl.ca) SEE ALSO grep(1),gzexe(1),gzip(1),zdiff(1),zforce(1),zmore(1),znew(1)