首先,什么是正则表达式。
简单的说,正则表达式就是处理字符串的方法,它是以行为单位来进行字符串的处理行为,正则表达式通过一些特殊符号的辅助,可以让用户轻易达到查找、删除、替换某特定字符串的处理程序
正则表达式 REGEXP:REGular EXPression
basic REGEXP:基本
Extended REGEXP:扩展
grep的用法:
功能:进行字符串数据的对比,然后将符合用户需求的字符串打印出来,以整行为单位来进行选取的,选取的结果丢弃不符号标准的行
#grep
-i :忽略大小写
--color
-v :显示没有被模式匹配到的行
-o :只显示被模式匹配的字符串
-E:使用扩展正则表达式
-A #:(#为数字)附带显示后2行
-B #:(#为数字)附带显示前2行
-C #:(#为数字)附带显示前后2行
*:任意长度的任意字符
?:任意单个字符
[]:以内
[^]:以外
正则表达式:REGular EXPression,REGEXP
元字符:
. :任意单个字符
[]:匹配指定范围内的任意单个字符
[^]:匹配指定范围外的任意单个字符
字符集合
[:digit:]:代表数字,既0-9
[:alnum:]:代表代表英文大小写字符及数字,即a-z,A-Z,0-9
[:blank:]:代表空格和[tab]键
[:alpha:]:代表代表英文大小写字符a-z,A-Z
[:cntrl:]:代表键盘上的控制按键,
[:graph:]:除了空格符(空格和[tab]键)以外的所有
[:lower:]:小写字符即a-z
[:print:]:代表任何可以打印出来的字符
[:punct:]:代表标点符号
[:upper:]:代表大写字符即A-Z
[:space:]:代表可以产生空白的字符
[:xdigit:]:代表16进制的数字类型,包括0-9,A-F,a-f
---------------------------------基础正则表达式字符
匹配次数(贪婪模式):
* :匹配其前面的字符任意次
.* :任意长度的任意字符
\ :转义字符,将有特殊意义的字符特殊意义除去
\?:匹配其前面的字符1次或0次
\{m,n\}:匹配其前面的字符至少m次,至多n次
位置锚定:
^ :锚定行首,此字符后边的任意内容必须出现在行首
$:锚定行尾,此字符前边的任意内容必须出现在行尾
^$:空白行
\<或\b :锚定词首,其后面的任意字符必须作为单词的首部出现
\>或\b :锚定词尾,其前边的任意字符必须作为单词的尾部出现
分组:
\(\)
\(ab\)* ab可以出现0次或任意次
后向引用
\1:引用第一个左括号以及与之对应的右括号所包括的所有内容
\2:
\3:
sed用法:可将数据进行选取,删除,替换,新增等功能。
sed:Stream EDitor
行编辑器(全屏编辑器:vi)
sed [] 'AddressCommand' file ...
-n:静默模式,不在默认显示模式空间中的内容
-i:直接修改原文件
-e SCRIPT -e SCRIPT:可以同时执行多个脚本
-f /PATH/TO/SED_SCRIPT
sed -f /path/to/scripts file
-r:表示使用扩展正则表达式
Address:
1、StartLine,EndLine
比如1,100
$:最后一行
2、/RegExp/
/^root/
3、/pattern1/,/pattern2/
第一次被pattern1匹配到的行开始,至第一次被pattern2匹配到的行结束,这中间的所有行
4、LineNumber
指定的行
5、StartLine,+N
从startline开始,向后的N行;
Command
d:删除符合条件的行;
p:显示符合条件的行;
a \string:在指定的行后面追加新行,内容为string
\n:可以用户换行
i \string:在指定的行前面添加新行,内容为string
r FILE:将指定的文件的内容添加至符合条件的行处
w FILE:将地址指定范围内的内容另至指定的文件夹中;
s/pattern/string/修饰符:查找并替换,默认只替换每行中第一次被模式匹配到的字符串
加修饰符
g:全局替换
i:忽略字符大小写
s///:s### s@@@
\(\),\1,\2
&:引用模式匹配整个串
---------------------扩展正则表达式
+ :重复1个或多个前一个字符
?:0个或1个前一个字符
| :用或(or)的方式找出数个字符串
():分组
()+:同上
#printf 格式化打印
\a 警告声音输出
\b 退格键
\f 清除屏幕
\n 输出新的一行
\r 即Enter按键
\t 水平的tab键
\v 垂直的tab键
\xNN NN为两位数字,可以转换数字成为字符
%ns 那个n是数字,s代表string ,即多少个字符,
%ni 那个n是数字,i代表integer ,即多少个整体数字,
%N.nf 那个n与N都是数字,f代表floating,如果有10位数,但小数点有2位,则%10.2f
#awk:
以行为处理单位,以字段为最小的处理单位。
awk的处理流程
1.读入第一行,并将第一行的数据填入$0,$1,$2等变量中
2.一如条件类型的限制,判断是否需要进行后面的操作;
3.做完所有的动作与条件类型;
4.若还有后续的“行”的数据,则重复上边1~3的步骤,直到所有的数据都读完为止。
变量名称
NF:每一行($0)用于的字段总数
NR:目前awk所处理的是“第几行”数据
FS:目前的分隔字符,默认是空格键
注意:awk后续的所有动作都是以单引号''扩住的
awk'{pattern + action}' {filename}
pattern表示awk在数据中查找的内容,支持正则表达式
action 是在找到匹配内容的时候执行的一系列命令
{}不需要在命令中始终出现,他们需要在特定模式对一系列指令进行分组
awk的运算逻辑符
>
<
>=
<=
==
!=
#dill cmp
#dill :以行为单位来进行比较, #cmp :以字符为单位来进行比较