深入浅出之正则表达式

作者：lzmtw

注:JanGoyvaerts为RegexBuddy写的教程的译文

前言：半年前我对正则表达式产生了兴趣，在网上查找过不少资料，看过不少的教程，最后在使用一个正则表达式工具RegexBuddy时发现他的教程写的非常好，可以说是我目前见过最好的正则表达式教程。于是一直想把他翻译过来。这个愿望直到这个五一长假才得以实现，结果就有了这篇文章。关于本文的名字，使用“深入浅出”似乎已经太俗。但是通读原文以后，觉得只有用“深入浅出”才能准确的表达出该教程给我的感受，所以也就不能免俗了。

本文是JanGoyvaerts为RegexBuddy写的教程的译文，版权归原作者所有，欢迎转载。但是为了尊重原作者和译者的劳动，请注明出处！谢谢！


1.什么是正则表达式

基本说来，正则表达式是一种用来描述一定数量文本的模式。

Regex代表RegularExpress。本文将用

< <regex> > 来表示一段具体的正则表达式。

一段文本就是最基本的模式，简单的匹配相同的文本。


2.不同的正则表达式引擎

正则表达式引擎是一种可以处理正则表达式的软件。通常，引擎是更大的应用程序的一部分。

在软件世界，不同的正则表达式并不互相兼容。

本教程会集中讨论Perl5类型的引擎，因为这种引擎是应用最广泛的引擎。

同时我们也会提到一些和其他引擎的区别。许多近代的引擎都很类似，但不完全一样。例如.NET正则库，JDK正则包。

3.文字符号

最基本的正则表达式由单个文字符号组成。如

< <a> > ，它将匹配字符串中第一次出现的字符“a”。

如对字符串“Jackisaboy”。“J”后的“a”将被匹配。而第二个“a”将不会被匹配。

正则表达式也可以匹配第二个“a”，这必须是你告诉正则表达式引擎从第一次匹配的地方开始搜索。

在文本编辑器中，你可以使用“查找下一个”。在编程语言中，会有一个函数可以使你从前一次匹配的位置开始继续向后搜索。类似的，

<<cat>>会匹配“Aboutcatsanddogs”中的“cat”。

这等于是告诉正则表达式引擎，找到一个 < <c> > ，紧跟一个 < <a> > ，再跟一个 < <t> > 。

要注意，正则表达式引擎缺省是大小写敏感的。除非你告诉引擎忽略大小写，否则 < <cat> > 不会匹配“Cat”。

特殊字符对于文字字符，有11个字符被保留作特殊用途。

他们是：[]\^$. ¦?* ()这些特殊字符也被称作元字符。

如果你想在正则表达式中将这些字符用作文本字符，你需要用反斜杠“\”对其进行换码(escape)。

例如你想匹配“1 1=2”，正确的表达式为 < <1\ 1=2> >
需要注意的是， < <1 1=2> > 也是有效的正则表达式。但它不会匹配“1 1=2”，而会匹配“123 111=234”中的“111=2”。

因为“ ”在这里表示特殊含义（重复1次到多次）。

在编程语言中，要注意，一些特殊的字符会先被编译器处理，然后再传递给正则引擎。

因此正则表达式

< <1\ 2=2> > 在C 中要写成“1\\ 1=2”。

为了匹配“C:\temp”，你要用正则表达式

< <C:\\temp> > 。而在C 中，正则表达式则变成了“C:\\\\temp”。
不可显示字符可以使用特殊字符序列来代表某些不可显示字符：

< <\t> > 代表Tab(0x09)

< <\r> > 代表回车符(0x0D)

< <\n> > 代表换行符(0x0A)

要注意的是Windows中文本文件使用“\r\n”来结束一行而Unix使用“\n”。


4.正则表达式引擎的内部工作机制

知道正则表达式引擎是如何工作的有助于你很快理解为何某个正则表达式不像你期望的那样工作。

有两种类型的引擎：文本导向(text-directed)的引擎和正则导向(regex-directed)的引擎。

JeffreyFriedl把他们称作DFA和NFA引擎。本文谈到的是正则导向的引擎。

这是因为一些非常有用的特性，如“惰性”量词(lazyquantifiers)和反向引用(backreferences)，只能在正则导向的引擎中实现。

所以毫不意外这种引擎是目前最流行的引擎。你可以轻易分辨出所使用的引擎是文本导向还是正则导向。如果反向引用或“惰性”量词被实现，则可以肯定你使用的引擎是正则导向的。

你可以作如下测试：将正则表达式

< <regex ¦regexnot> > 应用到字符串“regexnot”。

如果匹配的结果是regex，则引擎是正则导向的。如果结果是regexnot，则是文本导向的。因为正则导向的引擎是“猴急”的，它会很急切的进行表功，报告它找到的第一个匹配。

正则导向的引擎总是返回最左边的匹配，这是需要你理解的很重要的一点：即使以后有可能发现一个“更好”的匹配，正则导向的引擎也总是返回最左边的匹配。当把 < <cat> > 应用到“Hecapturedacatfishforhiscat”，引擎先比较 < <c> > 和“H”，结果失败了。于是引擎再比较 < <c> > 和“e”，也失败了。直到第四个字符， < <c> > 匹配了“c”。 < <a> > 匹配了第五个字符。到第六个字符 < <t> > 没能匹配“p”，也失败了。引擎再继续从第五个字符重新检查匹配性。直到第十五个字符开始， < <cat> > 匹配上了“catfish”中的“cat”，正则表达式引擎急切的返回第一个匹配的结果，而不会再继续查找是否有其他更好的匹配。


5.字符集

字符集是由一对方括号“[]”括起来的字符集合。

使用字符集，你可以告诉正则表达式引擎仅仅匹配多个字符中的一个。如果你想匹配一个“a”或一个“e”，使用

< <[ae]> > 。

你可以使用 < <gr[ae]y> > 匹配gray或grey。这在你不确定你要搜索的字符是采用美国英语还是英国英语时特别有用。

相反， < <gr[ae]y> > 将不会匹配graay或graey。

字符集中的字符顺序并没有什么关系，结果都是相同的。你可以使用连字符“-”定义一个字符范围作为字符集。

< <[0-9]> > 匹配0到9之间的单个数字。你可以使用不止一个范围。

< <[0-9a-fA-F]> > 匹配单个的十六进制数字，并且大小写不敏感。你也可以结合范围定义与单个字符定义。

< <[0-9a-fxA-FX]> > 匹配一个十六进制数字或字母X。

再次强调一下，字符和范围定义的先后顺序对结果没有影响。

字符集的一些应用查找一个可能有拼写错误的单词，比如

< <sep[ae]r[ae]te> > 或 < <li[cs]en[cs]e> > 。

查找程序语言的标识符， < <A-Za-z_][A-Za-z_0-9]*> > 。(*表示重复0或多次)

查找C风格的十六进制数 < <0[xX][A-Fa-f0-9] > > 。( 表示重复一次或多次)

取反字符集在左方括号“[”后面紧跟一个尖括号“^”，将会对字符集取反。结果是字符集将匹配任何不在方括号中的字符。

不像“.”，取反字符集是可以匹配回车换行符的。

需要记住的很重要的一点是，取反字符集必须要匹配一个字符。 < <q[^u]> > 并不意味着：匹配一个q，后面没有u跟着。它意味着：匹配一个q，后面跟着一个不是u的字符。所以它不会匹配“Iraq”中的q，而会匹配“Iraqisacountry”中的q和一个空格符。事实上，空格符是匹配中的一部分，因为它是一个“不是u的字符”。

如果你只想匹配一个q，条件是q后面有一个不是u的字符，我们可以用后面将讲到的向前查看来解决。

字符集中的元字符需要注意的是，在字符集中只有4个字符具有特殊含义。

它们是：“]\^-”。“]”代表字符集定义的结束；

“\”代表转义；

“^”代表取反；

“-”代表范围定义。

其他常见的元字符在字符集定义内部都是正常字符，不需要转义。

例如，要搜索星号*或加号，你可以用 < <[ *]> > 。当然，如果你对那些通常的元字符进行转义，你的正则表达式一样会工作得很好，但是这会降低可读性。

在字符集定义中为了将反斜杠“\”作为一个文字字符而非特殊含义的字符，你需要用另一个反斜杠对它进行转义。

< <[\\x]> > 将会匹配一个反斜杠和一个X。

“]^-”都可以用反斜杠进行转义，或者将他们放在一个不可能使用到他们特殊含义的位置。

我们推荐后者，因为这样可以增加可读性。比如对于字符“^”，将它放在除了左括号“[”后面的位置，使用的都是文字字符含义而非取反含义。

如 < <[x^]> > 会匹配一个x或^。

< <[]x]> > 会匹配一个“]”或“x”。

< <[-x]> > 或 < <[x-]> > 都会匹配一个“-”或“x”。

字符集的简写因为一些字符集非常常用，所以有一些简写方式。

< <\d> > 代表 < <[0-9]> > ;

< <\w> > 代表单词字符。

这个是随正则表达式实现的不同而有些差异。绝大多数的正则表达式实现的单词字符集都包含了 < <A-Za-z0-9_]> > 。

< <\s> > 代表“白字符”。

这个也是和不同的实现有关的。在绝大多数的实现中，都包含了空格符和Tab符，以及回车换行符 < <\r\n> > 。

字符集的缩写形式可以用在方括号之内或之外。

< <\s\d> > 匹配一个白字符后面紧跟一个数字。

< <[\s\d]> > 匹配单个白字符或数字。

< <[\da-fA-F]> > 将匹配一个十六进制数字。

取反字符集的简写 (注意大小写）

< <[\S]> > = < <[^\s]> >

< <[\W]> > = < <[^\w]> >

< <[\D]> > = < <[^\d]> >
字符集的重复如果你用“?* ”操作符来重复一个字符集，你将会重复整个字符集。而不仅是它匹配的那个字符。正则表达式 < <[0-9] > > 会匹配837以及222。如果你仅仅想重复被匹配的那个字符，可以用向后引用达到目的。我们以后将讲到向后引用。