正则表达式的历史
正则表达式发源于与计算机密切相关的两个领域:计算理论和形式语言。20世纪40年代,两位神经生理学家 Warren McCulloch 和 Walter Pitts 研究出一种数学方式来描述神经网络的的办法,他们把神经系统中的神经元描述成小而简单的自动控制单元。1956年,数学家 Stephen Cole Kleene 在他们研究的基础上,发表了一篇名为“神经网络事件的表示法”的论文,在其中,他采用了一些称之为“正则集合(regular set)”的数学符号来描述神经网络模型。之后,UNIX 的主要发明人 Ken Thompson 将这个符号系统引入了文本编辑器 QED(意思是“在文本中搜索某种模式”),正则表达式由此也进入了计算机世界。随后 Ken Thompson 又将正则表达式引入了 UNIX 下的文本编辑器 ed ,ed 最后演化为大家熟悉的 grep (grep 得名自 ed 编辑器中的正则表达式搜索命令 g/re/p ,其中的 re 表示“正则表达式”)。
正则表达式应用领域
@H_502_45@正则表达式的目标用户
对“正则表达”有需要的人:- 经常需要进行文本处理(如日志分析或网络运维)的技术人员。
- 熟悉常用开发语言的程序员。
- 对正则表达式已经有一点了解的人。
字符组
字符组(Character Class)是正则表达式最基本的结构之一。表示“在同一个位置可能出现的各种字符”,写法是在一对方括号 [ 和 ] 之间列出所有可能出现的字符。举例:[ab]、[314]、[#.?] 等
字符组中的字符排列顺序并不影响字符组的功能,出现重复字符也不会影响。但一般不推荐在字符组中出现重复字符,并且应该让字符组中的字符排列更符合人类的认知习惯,比如 [12345] 。
范围表示法:就是用 [x-y] 的形式表示 x 到 y 整个范围内的字符,而无需一一列出。
在字符组中可以同时并列多个 “- 范围表示法”。例如,[0-9a-zA-Z] 可以匹配数字、大写字母或小写字母;字符组 [0-9a-fA-F] 可以用来验证十六进制字符;字符组 [\x00-\x7F] 表示所有 ASCII 码字符。
常用的 ASCII 码表。
注:
- 正则表达式处理的都是“字符串”而不是“字符”。
- 客观上讲,Perl 是正则表达式处理最方便的编程语言。
- 范围表示法是根据字符对应的码值来确定由 - 所约束的范围的,要求码值小的字符在前,码值大的字符在后。所以 [0-9] 等价于 [0123456789] ,而 [9-0] 则会导致错误。
元字符
在字符组中的横线 - 并不能匹配横线字符,而是用来表示范围,这类字符叫做元字符。元字符在匹配中都有特殊的意义。但是有些时候我们可能不需要元字符的特殊意义,而是需要它们仅表示普通字符,此时就需要进行特殊的处理。元字符包括:
- 开方括号 [ ,闭方括号 ] ;
- 定位到字符串起始的 ^ ,定位到字符串结束的 $ ;
- 匹配除换行符之外的任何字符的 . ;
- 范围标示符 - ;
- 排除型字符组中的脱字符 ^ 。
元字符的特殊处理
字符组中的 - ,如果它紧邻着字符组中的开方括号 [ ,那么它就是普通字符,其他情况下都是元字符;而对于其他元字符,取消特殊含义的做法都是转义,也就是在正则表达式中的元字符之前加上反斜线字符 \ 。如果要在字符组内部使用横线 - 作为普通字符进行匹配,最好的办法是将它排列在字符组的最开头。若不排列在最开头,则也要使用反斜线字符进行转义。例如,[-09] 表示包含三个字符 - 、0、9 的字符组;而 [0-9] 是包含 0~9 这10 个字符的字符组。
如果希望在字符组中列出闭方括号 ] ,比如 [012]345] ,就必须在它之前使用反斜线转义,写成 [012\]345] 。
如果希望匹配开方括号 [ ,例如只希望匹配字符串 [123] ,而不是将其作为字符组进行匹配,则必须书写为如下形式 \[123] 。
正则表达式转义与字符串转义
在程序中,正则表达式是以字符串的方式提供的,而字符串本身也有关于转义的规定(例如字符串中的 \n 等)。所以,其实我们真正书写的“正则表达式”实际上是经过“字符串转义处理”之后的字符串的值。例如,我们想要换一种方式表达包含三个字符 0、-、9的字符组,原理上讲只需要写成 [0\-9] 的形式,但因为在实际代码中,我们的正则表达式是以字符串形式书写的,即应该是 “[0\-9]” 这种形式,而在字符串中,反斜线和其后的字符会被当做是转义序列(Escape Sequence)处理,而实际情况是 \- 又不是一个合法的转义序列。所以结论是,我们需要将以字符串形式书写的正则表达式中的每个反斜线字符 \ ,再次通过 \ 进行转义,即写成 \\ 。所以,用于代码中的、正确的正则表达式应该写成 “[0\\-9]” 。排除型字符组
在方括号 […] 中列出希望匹配的所有字符,这种字符组叫做“普通字符组”。而排除型字符组非常类于普通字符组,只是在开方括号 [ 之后紧跟一个脱字符 ^ ,写作 [^…] ,表示“在当前位置,匹配一个没有列出的字符”。所以 [^0-9] 表示“0~9 之外的字符”,也就是“非数字字符”。注意,排除型字符组必须匹配一个字符。
在排除型字符组中, ^ 是一个元字符,但只有它紧跟在 [ 之后才是元字符,如果想表示“在这个字符组中可以出现 ^ 字符”,不要让它紧挨着 [ 即可,否则就需要转义。注意以下 3 中形式的异同:
^[^012]$ ^[0^12]$ ^[\^012]$@H_301_195@
字符组简记法
对于常用的字符组,例如 [0-9] 、[a-z] 等字符组,正则表达式提供了更简单的记法,即字符组简记法。常见的字符组简记法有 \d 、\w 、\s 。其中 \d 等价于 [0-9] ,d代表数字;\w 等价于 [0-9a-zA-Z] ,w 代表单词字符;\s 等价于 [ \t\r\n\v\f] (第一个字符为空格),s 表示空白字符。一般印象中,单词字符似乎只包含大小写字母,但是字符简记法中的“单词字符”不只有大小写单词,还包括数字字符和下划线 _ 。若在进行数据验证时,要求只容许“数字和字母”,则不应该使用 \w 来验证。
字符简记法可以单独出现,也可以使用在字符组中,例如 [0-9a-zA-Z] 可以写成 [\da-zA-Z] ;[^0-9] 可以写成 [^\d] 。
相对于 \d 、\w 、\s 这三个普通的字符组简记法,\D 、\W 、\S 对应了排除型字符组的简记法。两组简记法为互补关系:即 \s 能匹配的字符,\S 一定不能匹配。利用这种互补特性,可以得到一些非常巧妙的效果,例如 [\s\S] 字符组可以表示匹配所有字符。
注意:
- 许多正则表达式的文档说,点号 . 能匹配“任意字符”,但在默认情况下,点号其实不能匹配换行符。
- 如果字符组中出现了字符组简记法,最好不要出现单独的 - ,否则可能引起错误,比如 [\d-a] 就让人很迷惑。
- 以上说的 \d 、\w 、\s 的匹配规则对是针对 ASCII 编码而言,也叫 ASCII 匹配规则。
POSIX 字符组
在某些文档中,你会发现类似 [:digit:] 、[:lower:] 之类的字符组,它们其实就是 POSIX 字符组。如果需要在 Linux/UNIX 下的各种工具(sed 、awk 、grep 等)中使用正则表达式,最好了解这个东东。前面介绍的字符组,都属于 Perl 衍生出来的正则表达式流派,该流派叫做 PCRE 。除此之外还有其他流派,比如 POSIX 规范中定义的正则表达式规范。
常见的 [a-z] 形式的字符组,在 POSIX 规范中仍然获得支持,其准确名称为 POSIX 方括号表达式,主要用在 UNIX/Linux 系统中。
POSIX 方括号表达式与之前所说的字符组的最主要区别是:在 POSIX 字符组中,反斜线 \ 不是用来转义的,所以 POSIX 方括号表达式 [\d] 只能匹配 \ 和 d 两个字符,而不是 [0-9] 对应的数字字符。
POSIX 方括号表达式中关于特殊意义字符的转义规定:如果要在字符组中表达字符 ] (而不是作为字符组的结束标志),应当让它紧跟在字符组的开方括号之后,所以 []a] 能匹配的字符就是 ] 或 a ;如果要在字符组中表示字符 -(而不是范围表示法),就必须将它放在字符组的闭方括号之前,所以 [a-] 能匹配的字符就是 a 或 - 。
POSIX 规范中有一个重要概念:locale(语言环境),它是一组与语言和文化相关的设定,包括日期格式、货币币值、字符编码等。POSIX 字符组的意义会根据 locale 的变化而变化。