linuxawk完全手册( 转)
@H_
403_8@UNIX awk使用手册
@H_
403_8@ 原创旧文 2004-11-04 池中龙
@H_
403_8@ 1.什么是awk?
@H_
403_8@你可能对UNIX比较熟悉,但你可能对awk很陌生,这一点也不奇怪,的确,与其优秀的
功能相比,awk还远没达到它应有的知名度。awk是什么?与其它大多数UNIX命令不同的是,从名字上看,我们不可能知道awk的
功能:它既不是具有独立意义的英文单词,也不是几个相关单词的缩写。事实上,awk是三个人名的缩写,他们是:Aho、(Peter) Weinberg和(Brain)Kernighan。正是这三个人创造了awk---一个优秀的样式扫描与处理工具。
@H_
403_8@AWK的
功能是什么?与sed和grep很相似,awk是一种样式扫描与处理工具。但其
功能却大大强于sed和grep。awk提供了极其强大的
功能:它几乎可以完成 grep和sed所能完成的全部工作,同时,它还可以可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和
函数。它具备了一个完整的语言所应具有的几乎所有精美特性。实际上,awk的确拥有自己的语言:awk程序设计语言,awk的三位创建者已将它正式定义为:样式扫描和处理语言。
@H_
403_8@2.为什么使用awk?
@H_
403_8@即使如此,你也许仍然会问,我为什么要使用awk?
@H_
403_8@使用awk的第一个理由是基于文本的样式扫描和处理是我们经常做的工作,awk所做的工作有些象
数据库,但与
数据库不同的是,它处理的是文本
文件,这些
文件没有专门的存储格式,普通的人们就能编辑、阅读、理解和处理它们。而
数据库文件往往具有特殊的存储格式,这使得它们必须用
数据库处理程序来处理它们。既然这种类似于
数据库的处理工作我们经常会遇到,我们就应当找到处理它们的简便易行的
方法,UNIX有很多这方面的工具,例如sed 、grep、sort以及find等等,awk是其中十分优秀的一种。
@H_
403_8@使用awk的第二个理由是awk是一个简单的工具,当然这是相对于其强大的
功能来说的。的确,UNIX有许多优秀的工具,例如UNIX天然的开发工具C语言及其延续C++就非常的优秀。但相对于它们来说,awk完成同样的
功能要方便和简捷得多。这首先是因为awk提供了适应多种需要的
解决方案:从
解决简单问题的awk命令行到复杂而精巧的awk程序设计语言,这样做的好处是,你可以不必用复杂的
方法去
解决本来很简单的问题。例如,你可以用一个命令行
解决简单的问题,而C不行,即使一个再简单的程序,C语言也必须经过编写、编译的全过程。其次,awk本身是解释执行的,这就使得awk程序不必经过编译的过程,同时,这也使得它与shell script程序能够很好的契合。最后,awk本身较C语言简单,虽然awk吸收了C语言很多优秀的成分,熟悉C语言会对学习awk有很大的帮助,但 awk本身不须要会使用C语言——一种
功能强大但需要大量时间学习才能掌握其技巧的开发工具。
@H_
403_8@使用awk的第三个理由是awk是一个容易获得的工具。与C和C++语言不同,awk只有一个
文件(/bin/awk),而且几乎每个版本的UNIX都提供各自版本的awk,你完全不必费心去想如何获得awk。但C语言却不是这样,虽然C语言是UNIX天然的开发工具,但这个开发工具却是单独发行的,换言之,你必须为你的UNIX版本的C语言开发工具单独付费(当然使用D版者除外),获得并安装它,然后你才可以使用它。
@H_
403_8@基于以上理由,再
加上awk强大的
功能,我们有理由说,如果你要处理与文本样式扫描相关的工作,awk应该是你的第一选择。在这里有一个可遵循的一般原则:如果你用普通的shell工具或shell script有困难的话,试试awk,如果awk仍不能
解决问题,则便用C语言,如果C语言仍然失败,则移至C++。
@H_
403_8@3.awk的
调用方式
@H_
403_8@前面曾经说过,awk提供了适应多种需要的不同
解决方案,它们是:
@H_
403_8@一、 awk命令行,你可以象使用普通UNIX命令一样使用awk,在命令行中你也可以使用awk程序设计语言,虽然awk
支持多行的录入,但是录入长长的命令行并保证其正确无误却是一件令人头疼的事,因此,这种
方法一般只用于
解决简单的问题。当然,你也可以在shell script程序中引用awk命令行甚至awk程序脚本。
@H_
403_8@二、使用-f选项
调用awk程序。awk允许将一段awk程序写入一个文本
文件,然后在awk命令行中用-f选项
调用并执行这段程序。具体的
方法我们将在后面的awk语法中讲到。
@H_
403_8@三、利用命令解释器
调用awk程序:利用UNIX
支持的命令解释器
功能,我们可以将一段awk程序写入文本
文件,然后在它的第一行
加上:
@H_
403_8@#!/bin/awk -f
@H_
403_8@并赋予这个文本
文件以执行的权限。这样做之后,你就可以在命令行中用类似于下面这样的方式
调用并执行这段awk程序了。
@H_
403_8@awk脚本文本名 待处理
文件
@H_
403_8@4.awk的语法:
@H_
403_8@与其它UNIX命令一样,awk拥有自己的语法:
@H_
403_8@awk [ -F re] [parameter...] ['prog'] [-f progfile][in_file...]
@H_
403_8@参数说明:
@H_
403_8@-F re:允许awk更改其字段分隔符。
@H_
403_8@parameter: 该参数帮助为不同的变量赋值。
@H_
403_8@'prog': awk的程序语句段。这个语句段必须用单拓号:'和'括起,以防被shell解释。这个程序语句段的标准形式为:
@H_
403_8@'pattern {action}'
@H_
403_8@其中pattern参数可以是egrep正则表达式中的任何一个,它可以使用语法/re/再
加上一些样式匹配技巧构成。与sed类似,你也可以使用","分开两样式以选择某个范围。关于匹配的细节,你可以参考附录,如果仍不懂的话,找本UNIX书学学grep和sed(本人是在学习ed时掌握匹配技术的)。 action参数总是被大括号包围,它由一系统awk语句组成,各语句之间用";"分隔。awk解释它们,并在pattern给定的样式匹配的记录上执行其操作。与shell类似,你也可以使用“#”作为注释符,它使“#”到行尾的
内容成为注释,在解释执行时,它们将被忽略。你可以省略pattern和 action之一,但不能两者同时省略,当省略pattern时没有样式匹配,表示对所有行(记录)均执行操作,省略action时执行缺省的操作——在标准
输出上
显示。
@H_
403_8@-f progfile:允许awk
调用并执行progfile指定有程序
文件。progfile是一个文本
文件,他必须符合awk的语法。
@H_
403_8@in_file:awk的输入
文件,awk允许对多个输入
文件进行处理。值得注意的是awk不
修改输入
文件。如果未指定输入
文件,awk将接受标准输入,并将结果
显示在标准
输出上。awk
支持输入
输出重定向。
@H_
403_8@5.awk的记录、字段与内置变量:
@H_
403_8@前面说过,awk处理的工作与
数据库的处理方式有相同之处,其相同处之一就是awk
支持对记录和字段的处理,其中对字段的处理是grep和sed不能实现的,这也是awk优于二者的原因之一。在awk中,缺省的情况下总是将文本
文件中的一行视为一个记录,而将一行中的某一部分作为记录中的一个字段。为了操作这些不同的字段,awk借用shell的
方法,用1,2,3...这样的方式来顺序地表示行(记录)中的不同字段。特殊地,awk用0表示整个行(记录)。不同的字段之间是用称作分隔符的字符分隔开的。系统默认的分隔符是空格。awk允许在命令行中用-F re的形式来改变这个分隔符。事实上,awk用一个内置的变量FS来记忆这个分隔符。awk中有好几个这样的内置变量,例如,记录分隔符变量RS、当前工作的记录数NR等等,本文后面的附表列出了全部的内置变量。这些内置的变量可以在awk程序中引用或
修改,例如,你可以利用NR变量在模式匹配中指定工作范围,也可以通过
修改记录分隔符RS让一个特殊字符而不是换行符作为记录的分隔符。
@H_
403_8@例:
显示文本
文件myfile中第七行到第十五行中以字符%分隔的第一字段,第三字段和第七字段:
@H_
403_8@awk -F % 'NR==7,NR==15 {printf 1 3 7}'
@H_
403_8@6.awk的内置
函数
@H_
403_8@awk 之所以成为一种优秀的程序设计语言的原因之一是它吸收了某些优秀的程序设计语言(例如C)语言的许多优点。这些优点之一就是内置
函数的使用,awk定义并
支持了一系列的内置
函数,由于这些
函数的使用,使得awk提供的
功能更为完善和强大,例如,awk使用了一系列的字符串处理内置
函数(这些
函数看起来与C 语言的字符串处理
函数相似,其使用方式与C语言中的
函数也相差无几),正是由于这些内置
函数的使用,使awk处理字符串的
功能更加强大。本文后面的附录中列有一般的awk所提供的内置
函数,这些内置
函数也许与你的awk版本有些出入,因此,在使用之前,最好参考一下你的系统中的联机帮助。
@H_
403_8@作为内置
函数的一个例子,我们将在这里介绍awk的printf
函数,这个
函数使得awk与c语言的
输出相一致。实际上,awk中有许多引用形式都是从C语言借用过来的。如果你熟悉C语言,你也许会记得其中的printf
函数,它提供的强大格式
输出功能曾经带我们许多的方便。幸运的是,我们在awk中又和它重逢了。awk中printf几乎与C语言中一模一样,如果你熟悉C语言的话,你完全可以照C语言的模式使用awk中的printf。因此在这里,我们只给出一个例子,如果你不熟悉的话,请随便找一本C语言的入门书翻翻。
@H_
403_8@例:
显示文件myfile中的行号和第3字段:
@H_
403_8@awk '{printf"%03d%s\n",NR,1}' myfile
@H_
403_8@7.在命令行使用awk
@H_
403_8@按照顺序,我们应当讲解awk程序设计的
内容了,但在讲解之前,我们将用一些例子来对前面的知识进行回顾,这些例子都是在命令行中使用的,由此我们可以知道在命令行中使用awk是多么的方便。这样做的原因一方面是为下面的
内容作铺垫,另一方面是介绍一些
解决简单问题的
方法,我们完全没有必要用复杂的
方法来
解决简单的问题----既然awk提供了较为简单的
方法的话。
@H_
403_8@例:
显示文本
文件mydoc匹配(含有)字符串"sun"的所有行。
@H_
403_8@awk '/sun/{print}' mydoc
@H_
403_8@由于
显示整个记录(全行)是awk的缺省动作,因此可以省略action项。
@H_
403_8@awk '/sun/' mydoc
@H_
403_8@例:下面是一个较为复杂的匹配的示例:
@H_
403_8@awk '/[Ss]un/,/[Mm]oon/ {print}' myfile
@H_
403_8@它将
显示第一个匹配Sun或sun的行与第一个匹配Moon或moon的行之间的行,并
显示到标准
输出上。
@H_
403_8@例:下面的示例
显示了内置变量和内置
函数length()的使用:
@H_
403_8@awk 'length(0)>80 {print NR}' myfile
@H_
403_8@该命令行将
显示文本myfile中所有超过80个字符的行号,在这里,用0表示整个记录(行),同时,内置变量NR不使用标志符''。
@H_
403_8@例:作为一个较为实际的例子,我们假设要对UNIX中的
用户进行安全性检查,
方法是考察/etc下的passwd
文件,检查其中的passwd字段(第二字段)是否为"*",如不为"*",则表示该
用户没有设置密码,
显示出这些
用户名(第一字段)。我们可以用如下语句实现:
@H_
403_8@#awk -F: '2=="" {printf("%s no password!\n",1' /etc/passwd
@H_
403_8@在这个示例中,passwd
文件的字段分隔符是“:”,因此,必须用-F:来更改默认的字段分隔符,这个示例中也涉及到了内置
函数printf的使用。
@H_
403_8@8.awk的变量
@H_
403_8@如同其它程序设计语言一样,awk允许在程序语言中设置变量,事实上,提供变量的
功能是程序设计语言的其本要求,不提供变量的程序设计语言本人还从未见过。
@H_
403_8@awk 提供两种变量,一种是awk内置的变量,这前面我们已经讲过,需要着重指出的是,与后面提到的其它变量不同的是,在awk程序中引用内置变量不需要使用标志符""(回忆一下前面讲过的NR的使用)。awk提供的另一种变量是
自定义变量。awk允许
用户在awk程序语句中定义并
调用自已的变量。当然这种变量不能与内置变量及其它awk保留字相同,在awk中引用
自定义变量必须在它前面
加上标志符""。与C语言不同的是,awk中不需要对变量进行初始化, awk根据其在awk中第一次出现的形式和上下文确定其具体的数据类型。当变量类型不确定时,awk默认其为字符串类型。这里有一个技巧:如果你要让你的 awk程序知道你所使用的变量的明确类型,你应当在在程序中给它赋初值。在后面的实例中,我们将用到这一技巧。
@H_
403_8@运算与判断:
@H_
403_8@作为一种程序设计语言所应具有的特点之一,awk
支持多种运算,这些运算与C语言提供的几本相同:如+、-、*、/、%等等,同时,awk也
支持C语言中类似++、--、+=、-=、=+、=-之类的
功能,这给熟悉C语言的使用者编写awk程序带来了极大的方便。作为对运算
功能的一种扩展,awk还提供了一系列内置的运算
函数(如log、sqr、cos、sin等等)和一些用于对字符串进行操作(运算)的
函数(如length、substr等等)。这些
函数的引用大大的提高了awk的运算
功能。
@H_
403_8@作为对条件转移指令的一部分,关系判断是每种程序设计语言都具备的
功能,awk也不例外。awk 中允许进行多种测试,如常用的==(等于)、!=(不等于)、>(大于)、=(大于等于)、>=(小于等于)等等,同时,作为样式匹配,还提供了~(匹配于)和!~(不匹配于)判断。
@H_
403_8@作为对测试的一种扩充,awk也
支持用逻辑运算符:!(非)、&&(与)、||(或)和括号()进行多重判断,这大大增强了awk的
功能。本文的附录中列出了awk所允许的运算、判断以及操作符的优先级。
@H_
403_8@9.awk的流程控制
@H_
403_8@流程控制语句是任何程序设计语言都不能缺少的部分。任何好的语言都有一些执行流程控制的语句。awk提供的完备的流程控制语句类似于C语言,这给我们编程带来了极大的方便。
@H_
403_8@1、BEGIN和END:
@H_
403_8@在awk 中两个特别的表达式,BEGIN和END,这两者都可用于pattern中(参考前面的awk语法),提供BEGIN和END的作用是给程序赋予初始状态和在程序结束之
后执行一些扫尾的工作。任何在BEGIN之后列出的操作(在{}内)将在awk开始扫描输入之前执行,而END之后列出的操作将在扫描完全部的输入之
后执行。因此,通常使用BEGIN来
显示变量和预置(初始化)变量,使用END来
输出最终结果。
@H_
403_8@例:累计销售
文件xs中的销售金额(假设销售金额在记录的第三字段):
@H_
403_8@awk
@H_
403_8@>'BEGIN { FS=":";print "
统计销售金额";total=0}
@H_
403_8@>{print 3;total=total+3;}
@H_
403_8@>END {printf "销售金额总计:%.2f",total}' sx
@H_
403_8@(注:>是shell提供的第二
提示符,如要在shell程序awk语句和awk语言中换行,则需在行尾加反斜杠\)
@H_
403_8@在这里,BEGIN预置了内部变量FS(字段分隔符)和
自定义变量total,同时在扫描之前
显示出
输出行头。而END则在扫描完成后打印出总合计。
@H_
403_8@2、流程控制语句
@H_
403_8@awk提供了完备的流程控制语句,其
用法与C语言类似。下面我们一一加以说明:
@H_
403_8@2.1、if...else语句:
@H_
403_8@格式:
@H_
403_8@if(表达式)
@H_
403_8@语句1
@H_
403_8@else
@H_
403_8@语句2
@H_
403_8@格式中"语句1"可以是多个语句,如果你为了方便awk判断也方便你自已阅读,你最好将多个语句用{}括起来。awk分枝结构允许嵌套,其格式为:
@H_
403_8@if(表达式1)
@H_
403_8@{if(表达式2)
@H_
403_8@语句1
@H_
403_8@else
@H_
403_8@语句2
@H_
403_8@}
@H_
403_8@语句3
@H_
403_8@else {if(表达式3)
@H_
403_8@语句4
@H_
403_8@else
@H_
403_8@语句5
@H_
403_8@}
@H_
403_8@语句6
@H_
403_8@当然实际操作过程中你可能不会用到如此复杂的分枝结构,这里只是为了给出其样式罢了。
@H_
403_8@2.2、while语句
@H_
403_8@格式为:
@H_
403_8@while(表达式)
@H_
403_8@语句
@H_
403_8@2.3、do-while语句
@H_
403_8@格式为:
@H_
403_8@do
@H_
403_8@{
@H_
403_8@语句
@H_
403_8@}while(
条件判断语句)
@H_
403_8@2.4、for语句
@H_
403_8@格式为:
@H_
403_8@for(初始表达式;终止条件;步长表达式)
@H_
403_8@{语句}
@H_
403_8@在awk 的 while、do-while和for语句中允许使用break,continue语句来控制流程走向,也允许使用exit这样的语句来
退出。break 中断当前正在执行的循环并跳到循环外执行下一条语句。continue从当前位置跳到循环开始处执行。对于exit的执行有两种情况:当exit语句不在 END中时,任何操作中的exit命令表现得如同到了
文件尾,所有模式或操作执行将停止,END模式中的操作被执行。而出现在END中的exit将导致程序终止。
@H_
403_8@例:为了
@H_
403_8@awk中的
自定义函数
@H_
403_8@定义和
调用用户自己的
函数是几乎每个高级语言都具有的
功能,awk也不例外,但原始的awk并不提供
函数功能,只有在nawk或较新的awk版本中才可以
增加函数。
@H_
403_8@
函数的使用包含两部分:
函数的定义与
函数调用。其中
函数定义又
包括要执行的
代码(
函数本身)和从主程序
代码传递到该
函数的临时
调用。
@H_
403_8@awk
函数的定义
方法如下:
@H_
403_8@function
函数名(参数表){
@H_
403_8@
函数体
@H_
403_8@}
@H_
403_8@在gawk中允许将function省略为func,但其它版本的awk不允许。
函数名必须是一个合法的标志符,参数表中可以不提供参数(但在
调用函数时
函数名后的一对括号仍然是不可缺少的),也可以提供一个或多个参数。与C语言相似,awk的参数也是通过值来传递的。
@H_
403_8@在awk 中
调用函数比较简单,其
方法与C语言相似,但awk比C语言更为灵活,它不执行参数有效性检查。换句话说,在你
调用函数时,可以列出比
函数预计(
函数定义中规定)的多或少的参数,多余的参数会被awk所忽略,而不足的参数,awk将它们置为缺省值0或空字符串,具体置为何值,将取决于参数的使用方式。
@H_
403_8@awk
函数有两种返回方式:隐式返回和显式返回。当awk执行到
函数的结尾时,它
自动地返回到
调用程序,这是
函数是隐式返回的。如果需要在结束之前
退出函数,可以明确地使用返回语句提前
退出。
方法是在
函数中使用形如:return 返回值 格式的语句。
@H_
403_8@例:下面的例子演示了
函数的使用。在这个示例中,定义了一个名为print_header的
函数,该
函数调用了两个参数FileName和PageNum, FileName参数传给
函数当前使用的
文件名,PageNum参数是当前页的页号。这个
函数的
功能是打印(
显示)出当前
文件的
文件名,和当前页的页号。完成这个
功能后,这个
函数将返回
下一页的页号。
@H_
403_8@nawk
@H_
403_8@>'BEGIN{pageno=1;file=FILENAME
@H_
403_8@>pageno=print_header(file,pageno);#
调用函数print_header
@H_
403_8@>printf("当前页页号是:%d\n",pageno);
@H_
403_8@>}
@H_
403_8@>#定义
函数print_header
@H_
403_8@>function print_header(FileName,PageNum){
@H_
403_8@>printf("%s %d\n",FileName,PageNum); >PageNum++;return PageNUm;
@H_
403_8@>}
@H_
403_8@>}' myfile
@H_
403_8@执行这个程序将
显示如下
内容:
@H_
403_8@myfile 1
@H_
403_8@当前页页号是:2
@H_
403_8@awk高级输入
输出
@H_
403_8@1.读取下一条记录:
@H_
403_8@awk的next语句导致awk读取下一个记录并完成模式匹配,然后立即执行相应的操作。通常它用匹配的模式执行操作中的
代码。next导致这个记录的任何额外匹配模式被忽略。
@H_
403_8@2.简单地读取一条记录
@H_
403_8@awk 的 getline语句用于简单地读取一条记录。如果
用户有一个数据记录类似两个物理记录,那么getline将尤其有用。它完成一般字段的分离(设置字段变量0 FNR NF NR)。如果成功则返回1,失败则返回0(到达
文件尾)。如果需简单地读取一个
文件,则可以编写以下
代码:
@H_
403_8@例:示例getline的使用
@H_
403_8@{while(getline==1)
@H_
403_8@{
@H_
403_8@#process the inputted fields
@H_
403_8@}
@H_
403_8@}
@H_
403_8@也可以使getline保存输入数据在一个字段中,而不是通过使用getline variable的形式处理一般字段。当使用这种方式时,NF被置成0,FNR和NR被增值。
@H_
403_8@
用户也可以使用getline"datafile"
@H_
403_8@或
@H_
403_8@printf("hello word!\n"
@H_
403_8@>>"datafile"
@H_
403_8@5.
输出到一个命令
@H_
403_8@awk中允许用如下方式将结果
输出到一个命令:
@H_
403_8@printf("hello word!\n"
@H_
403_8@|"sort-t','"
@H_
403_8@awk与shell script混合编程
@H_
403_8@因为awk可以作为一个shell命令使用,因此awk能与shell批处理程序很好的融合在一起,这给实现awk与shell程序的混合编程提供了可能。实现混合编程的关键是awk与shell script之间的对话,换言之,就是awk与shell script之间的信息交流:awk从shell script中
获取所需的信息(通常是变量的值)、在awk中执行shell命令行、shell script将命令执行的结果送给awk处理以及shell scri
原文链接:https://www.f2er.com/regex/362091.html