Bash Cookbook 学习笔记 【工具】

前端之家收集整理的这篇文章主要介绍了Bash Cookbook 学习笔记 【工具】前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

Read Me

  • 本文是以英文版<bash cookbook> 为基础整理的笔记,力求脱水
  • 基础部分传送门
  • 本篇为中级内容,对应原著第七章开始,讲解各种工具的使用
  • 12.02 更新 grep,awk
  • 翻得不好的地方欢迎交流,也期待您的点赞支持,谢谢 ^^

约定格式

  1. # 注释:前导的$表示命令提示
  2. # 注释:无前导的第二+行表示输出
  3.  
  4. # 例如:
  5. $ 命令 参数1 参数2 参数3 # 行内注释
  6. 输出_行一
  7. 输出_行二
  8. $ cmd par1 par1 par2 # in-line comments
  9. output_line1
  10. output_line2

四、工具

UNIX(Linux)喜欢小而美,不喜欢大而杂

grep 搜索字符串

在当前路径的所有c后缀文件中,查找printf字符串

  1. $ grep printf *.c
  2. both.c: printf("Std Out message.\n",argv[0],argc-1);
  3. both.c: fprintf(stderr,"Std Error message.\n",argc-1);
  4. good.c: printf("%s: %d args.\n",argc-1);
  5. somio.c: // we'll use printf to tell us what we
  6. somio.c: printf("open: fd=%d\n",iod[i]);
  7. $

当然,也可以像这样,指定不同的搜索路径

  1. $ grep printf ../lib/*.c ../server/*.c ../cmd/*.c */*.c

搜索结果的默认输出格式为“文件名 冒号 匹配行”

可以通过-h开关隐藏(hide)文件

  1. $ grep -h printf *.c
  2. printf("Std Out message.\n",argc-1);
  3. fprintf(stderr,argc-1);
  4. printf("%s: %d args.\n",argc-1);
  5. // we'll use printf to tell us what we
  6. printf("open: fd=%d\n",iod[i]);
  7. $

或者,不显示匹配行,而只是用-c开关进行对匹配次数进行计数(count)

  1. $ grep -c printf *.c
  2. both.c:2
  3. good.c:1
  4. somio.c:2
  5. $

或者,只是简单地列出(list)含搜索项的文件清单,可以用-l开关

  1. $ grep -l printf *.c
  2. both.c
  3. good.c
  4. somio.c

文件清单可视为一个不包含重复项的集合,便于后续处理,比如

  1. $ rm -i $(grep -l 'This file is obsolete' * )

有时候,只需要知道是否满足匹配,而不关心具体的内容,可以使用-q静默(quiet)开关

  1. $ grep -q findme bigdata.file
  2. $ if [ $? -eq 0 ] ; then echo yes ; else echo nope ; fi
  3. nope
  4. $

也可以把输出重定向进/dev/null位桶,一样实现静默的效果。位桶(bit bucket)就相当于“位的垃圾桶”,一个有去无回的比特黑洞

  1. $ grep findme bigdata.file >/dev/null
  2. $ if [ $? -eq 0 ] ; then echo yes ; else echo nope ; fi
  3. nope
  4. $

经常,你更希望搜索时忽略(ignore)大小写,这时可以用-i开关

  1. $ grep -i error logfile.msgs # 匹配ERROR,error,eRrOr..

很多时候,搜索范围并不是来自文件,而是管道

  1. $ 命令1 | 命令2 | grep

举个例。将gcc编译的报错信息从标准错误(STDERR,2)重定向到标准输出(STDOUT,1),再通过管道传给grep进行筛选

  1. $ gcc bigbadcode.c 2>&1 | grep -i error

多个grep命令可以串联,以不断地缩小搜索范围

  1. grep 关键字1 | grep 关键字2 | grep 关键字3

比如,与!!(复用上一条命令)组合使用,可以实现强大的增量式搜索

  1. $ grep -i 专辑/*
  2. ... 世界上有太多人姓李 ...
  3. $ !! | grep -i 四
  4. grep -i 李 专辑/* | grep -i 四
  5. ... 叫李四的也不少 ...
  6. $ !! | grep -i "饶舌歌手"
  7. grep -i 李 专辑/* | grep -i 四 | grep -i "饶舌歌手"
  8. 李四,饶舌歌手 <lsi@noplace.org>

-v开关用来反转(reverse)搜索关键字

  1. $ grep -i dec logfile | grep -vi decimal | grep -vi decimate

按关键字'dec'匹配,但不要匹配'decimal',也不要匹配'decimate'。因为这里的dec意思是december

  1. ...
  2. error on Jan 01: not a decimal number
  3. error on Feb 13: base converted to Decimal
  4. warning on Mar 22: using only decimal numbers
  5. error on Dec 16 : 匹配这一行就对了
  6. error on Jan 01: not a decimal number
  7. ...

像上边这样“要匹配这个,但不要包含那个”...是非常笨重的,就像在纯手工地对密码进行暴力破解。

仔细观察规律,匹配关键字的模式,才是正解。

  1. $ grep 'Dec [0-9][0-9]' logfile

0-9匹配dec后边的一位或两位数日期。如果日期是一位数,syslog会在数字后加个空格补齐格式。所以为了考虑进这种情况,改写如下,

  1. $ grep 'Dec [0-9 ][0-9]' logfile

对于包含空格等敏感字符的表达式,总是用单引号'...'对表达式进行包裹是个良好的习惯。这样可以避免很多不必要的语法歧义。

当然,用反斜杠\对空格取消转义(escaping)也行。但考虑到可读性,还是建议用单引号对。

  1. $ grep Dec\ [0-9\ ][0-9] logfile

结合正则表达式(Re),可以实现更复杂的匹配。

常用的正则表达式【简表】

  1. . # 任意一个字符
  2. .... # 任意四个字符
  3. A. # 大写A,跟一个任意字符
  4. * # 零个或任意一个字符
  5. A* # 零个或任意多个大写A
  6. .* # 零个或任意个任意字符,甚至可以是空行
  7. ..* # 至少包含一个空行以外的任意字符
  8. ^ # 行首
  9. $ # 行尾
  10. ^$ # 空行
  11. \ # 保留各符号的本义
  12. [字符集合] # 匹配方括号内的字符集合
  13. [^字符集合] # 不匹配方括号内的字符集合
  14. [AaEeIiOoUu] # 匹配大小写元音字母
  15. [^AaEeIiOoUu] # 匹配不包括大小写元音的任意字母
  16. \{n,m\} # 重复,最少n次,最多m次
  17. \{n\} # 重复,正好n次
  18. \ {n,\} # 重复,至少n次
  19. A\{5\} # AAAAA
  20. A\{5,\} # 至少5个大写A

举个实用的例子:匹配社保编号 SSN

  1. $ grep '[0-9]\{3\}-\{0,1\}[0-9]\{2\}-\{0,1\}[0-9]\{4\}' datafile

这么长的正则,写的人很爽,读的人崩溃。所以也被戏称为Write Only.

为了写给人看,一定要加个注释的。

为了讲解清楚,来做个断句

  1. [0-9]\{3\} # 先匹配任意三位数
  2. -\{0,1\} # 零或一个横杠
  3. [0-9]\{2\} # 再跟任意两位数
  4. -\{0,1\} # 零或一个横杠
  5. [0-9]\{4\} # 最后是任意四位数

还有一些z字头工具,可以直接对压缩文件进行字符串的查找和查看处理。比如zgrep,zcat,gzcat等。一般系统会预装有

  1. $ zgrep 'search term' /var/log/messages*

特别是zcat,会尽可能地去还原破损的压缩文件,而不像其他工具,对“文件损坏”只会一味的报错。

  1. $ zcat /var/log/messages.1.gz

awk 变色龙

awk是一门语言,是perl的先祖,是一头怪兽,是一只变色龙(chameleon)。

作为(最)强大的文本处理引擎,awk博大精深,一本书都讲不完。这里只能挑些最常用和基础的内容来讲。

首先,以下三种传文件给awk的方式等效:

  1. $ awk '{print $1}' 输入文件 # 作为参数
  2. $ awk '{print $1}' < 输入文件 # 重定向
  3. $ cat 输入文件 | awk '{print $1}' # 管道

对于格式化的文本,比如ls -l输出,awk对各列从1开始编号,依次递增。不是从0,因为$0表示整行。最后一列,记为NF。空格被默认作各列的分隔符,也可以通过-F开关进行自定义

$1 $2 $3 ... $NF
首列 第二列 第三列 ... 尾列
$0 整行
  1. $ ls -l
  2. total 4816
  3. drwxr-xr-x 4 jimhs jimhs 4096 Nov 26 02:10 backup
  4. drwxr-xr-x 3 jimhs jimhs 4096 Nov 24 08:20 bash
  5. ...
  6. $
  7. $ ls -l| awk '{print $1,$NF}' # 打印第一行和最后一行
  8. total 4816
  9. drwxr-xr-x backup
  10. drwxr-xr-x bash
  11. $

注意到,第五列是文件大小,可以对其大小求和,并作为结果输出

  1. $ ls -l | awk '{sum += $5} END {print sum}'

ls -l输出的第一行,是一个total汇总。也正因为该行并没有“第五列”,所以对上边的{sum += $5}没有影响。

但实际上,严格来讲,应该对这样的特例做预处理,即,删掉该行。

首先想到的:可以用之前介绍grep时的-v翻转开关,来去除含'total'的那行

  1. $ ls -l | grep -v '^total' | awk '{sum += $5} END {print sum}'

另一种方法是:在awk脚本内,先用正则定位到total行(第一行),找到后立即执行紧跟的{getline}句块,因为getline用来接收新的输入行,这样就顺利跳过了total行,而进入了{sum += $5}句块。

  1. $ ls -l | awk '/^total/{getline} {sum += $5} END {print sum}'

也就是说,作为awk脚本,各结构块摆放的顺序是相当重要的。

一个完整的awk脚本可以允许多个大括号{}包裹的结构。END前缀的结构体,表示待其他所有语句执行完后,执行一次。与之相对的,是BEGIN前缀,会在任何输入被读取之前执行,通常用来进行各种初始化。

作为可编程的语言,awk部分借用了c语言的语法。

可以像这样,将结构写成多行

  1. $ awk '{
  2. > for (i=NF; i>0; i--) {
  3. > printf "%s ",$i;
  4. > }
  5. > printf "\n"
  6. > }'

也可以把整个结构体塞进一行内

  1. $ awk '{for (i=NF; i>0; i--) {printf "%s ",$i;} printf "\n" }'

以上脚本,将各列逆序输出

  1. drwxr-xr-x 4 jimhs jimhs 4096 Nov 26 02:10 backup
  2. 变成了
  3. backup 02:10 26 Nov 4096 jimhs jimhs 4 drwxr-xr-x

对于复杂的脚本,可以单独写成一个.awk后缀的文件

  1. #
  2. # 文件名: asar.awk
  3. #
  4. NF > 7 { # 触发计数语句块的逻辑,即该行的项数要大于7
  5. user[$3]++ # ls -l的第3个变量是用户名
  6. }
  7. END {
  8. for (i in user)
  9. {
  10. printf "%s owns %d files\n",i,user[i]
  11. }
  12. }

然后通过-f文件开关来引用(file)

  1. $ ls -lR /usr/local | awk -f asar.awk
  2. bin owns 68 files
  3. albing owns 1801 files
  4. root owns 13755 files
  5. man owns 11491 files
  6. $

这个脚本asar.awk,递归地遍历/usr/local路径,并统计用户名下的文件数量

注意:其中用于自增时计数的user[]数组,它的索引是$3,即用户名,而不是整数。这样的数组也叫作关联数组(associative arrays) ,或称为映射(map),或者是哈希表(hashes)

至于怎么做的关联、映射、哈希,这些技术细节,awk都在幕后自行处理了。

这样的数组,肯定是无法用整数作为索引去遍历了。

所以,awk为此专门定制了一条优雅的for...in...的语法

  1. for (i in user)

这里,i会去遍历整个关联数组user,本例是[bin,albing,man,root]。再强调一下,重点是会遍历“整个”。至于遍历“顺序”,你没法事先指定,也没必要关心。

下边的hist.awk脚本,在asar.awk的基础上,加了格式化输出和直方图的功能。也借这个稍复杂的例子,说明awk脚本中函数的定义和调用

  1. #
  2. # 文件名: hist.awk
  3. #
  4. function max(arr,big)
  5. {
  6. big = 0;
  7. for (i in user)
  8. {
  9. if (user[i] > big) { big=user[i];}
  10. }
  11. return big
  12. }
  13. NF > 7 {
  14. user[$3]++
  15. }
  16. END {
  17. # for scaling
  18. maxm = max(user);
  19. for (i in user)
  20. {
  21. #printf "%s owns %d files\n",user[i]
  22. scaled = 60 * user[i] / maxm ;
  23. printf "%-10.10s [%8d]:",user[i]
  24. for (i=0; i<scaled; i++) {
  25. printf "#";
  26. }
  27. printf "\n";
  28. }
  29. }

本例中还用到了printf的格式化输出,这里不展开说明。

awk内的算术运算默认都是浮点型的,除非通过调用內建函数int(),显示指定为整型。

本例中做的是浮点运算,所以,只要变量scaled不为零,for循环体就至少会执行一次,类似下边的"bin"一行,虽然寥寥68个文件,也还是会显示一格#

  1. $ ls -lR /usr/local | awk -f hist.awk
  2. bin [ 68]:#
  3. albing [ 1801]:#######
  4. root [ 13755]:##################################################
  5. man [ 11491]:##########################################
  6. $

至于各用户名输出时的排列顺序,如前所述,是由建立哈希时的内在机制决定的,你无法干预。

如果非要干预(比如希望按字典序,或文件数量)排列的话,可以这样实现:将脚本结构一分为二,将第一部分的输出先送给sort做排序,然后再通过管道送给打印直方图的第二部分。

最后,再通过一个小例子,结束awk的介绍。

这个简短的脚本,打印出包含关键字的段落:

  1. $ cat para.awk
  2. /关键字/ { flag=1 }
  3. { if (flag == 1) { print $0 } }
  4. /^$/ { flag=0 }
  5. $
  6. $ awk -f para.awk < 搜索文件

段落(paragraph),是指两个空行之间所有的文本。空行表示段落的结束

/^$/会匹配空行。但是,对那些含有空格的“空行”,更精确的匹配是像这样:

  1. /^[:blank:]*$/

猜你在找的Bash相关文章