优化:
0. 正则表达式应用原理
a. 编译
b. 传动开始:将正则引擎定位至目标字符串的起始位置。
c. 元素检测
d. 寻找匹配结果:如果找到一个匹配结果,传统型NFA会锁定在当前状态,并报告匹配成功。而对于POSIX NFA来说,如果这个匹配是迄今为止最长的,它会记住这个可能的匹配,然后从可用的状态继续下去。直到尝试了所有的可能,并找到全局的最大匹配。
e. 传动装置的驱动过程:如果没有找到匹配,传动装置就会驱动引擎,从文本中的下一个字符开始新一轮的尝试。
f. 匹配彻底失败
1. 多选分支中,考虑把出现频率高的放到前面。如:(abc|def),如果def出现频率远高于abc,那么考虑改成:(def|abc)
2. 小心指数级(超线性super-linear)匹配。
如这个正则表达式: [^abc]*,它本身的匹配是有限的。
但是如果改成:([^abc]+)*,那么,对于测试字符串:defghi,长度为6,对于每一个字符,实际上都存在两种可能,即匹配前面的+或者后面的*。
由于POSIX NFA在给出结果之前会尝试所有的可能,那么它将尝试2^6=64次。对于12个字符的,尝试次数就变成了2^12=4096次。而30个字符,就会超过10亿次了。
因此一定要小心+和*混合使用的情况。
注:对于POSIX NFA来说,总是会出现这种情况;但是传统型NFA则未必会出现(经过优化以防止无限的回溯)。
3. 多选结构
对于(a|b|c|d)与[abcd],前者的性能可能会差很多。因为前者对于目标串的每一个字符,都需要进行4次比较。而后者可以直接进行简单测试(实现上,可以用类似map或set的结构进行优化,使得对每个目标串的字符,只需要比较一次即可)。
4. 预查必须字符/子串优化
在字符串中搜索某个字符或子串通常会比匹配完整的表达式更快,因此可以利用这点修改正则表达式。
如:^Subject:(.*) 这个正则表达式要求必须以Subject:开始,因此正则引擎会直接在开头匹配这个子串。
5. 长度判断优化
对于 ab\d{100}cd,至少需要104个字符,可以提前从字符串长度上判断。
6. 内嵌字符串检查优化
对于 (aa|bb)cc,由于cc是确定需要匹配的串,因此可以使用字符串检索算法寻找cc这个串。然后往前数2个字符,开始实际应用正则表达式。
注意这种优化,只对内嵌字符串与表达式起始位置的距离固定时才能进行。因此它不能应用于 (aaaa|bb)cc 这个表达式。
7. 使用起始锚点
以.*开头的正则表达式都应该在最前面添加^或者\A。
8. 从量词中提取必须的元素
如:用xx*代替x+,用-----{0,2}代替-{5,7}。
9. 独立锚点
对许多正则表达式引擎来说, ^(abc|123)性能会比^abc|^123好得多。因为它会对最前面的^做优化(而看不到多选结构中的锚点)。
对于$也是类似。
10. 模拟开头字符识别
如果正则表达式为 Jan|Feb|...|Dec,由于有12个月份,每次匹配都可能需要判断12次。这时可以使用环视来优化:
(?=[JFMASOND])(?:Jan|Feb|...|Dec) 这个表达式会先判断第一个字母,在多数正则表达式引擎上会更快。