我的问题是解析日志文件,并删除每一行的可变部分,以便对它们进行分组.例如：
s = re.sub(r'(?i)User [_0-9A-z]+ is ',r"User .. is ",s) s = re.sub(r'(?i)Message rejected because : (.*?) \(.+\)',r'Message rejected because : \1 (...)',s)
我有约120个匹配规则,如上所述.
在100次不同的正则表达式上连续搜索时,我没有发现性能问题.但是,当应用101正则表达式时,会发生巨大的减速.
当用我的规则替换时,会发生完全相同的行为
for a in range(100):
s = re.sub(r'(?i)caught here'+str(a)+':.+',r'( ... )',s)
使用范围(101)时,速度要慢20倍.
# range(100) % ./dashlog.py file.bz2 == Took 2.1 seconds. == # range(101) % ./dashlog.py file.bz2 == Took 47.6 seconds. ==
为什么会发生这样的事情？
有没有什么已知的解决方法？
(在Linux / Windows上发生在Python 2.6.6 / 2.7.2上)
Python保留编译正则表达式的内部缓存.无论何时使用正则表达式的顶级函数之一,Python首先编译该表达式,并将该编译的结果缓存.
Guess how many items the cache can hold？
>>> import re >>> re._MAXCACHE 100
当您超过缓存大小的那一刻,Python 2将清除所有缓存的表达式,并以干净的缓存开始. Python 3将限制增加到512,但仍然完全清楚.
解决方法是为您自己缓存编译：
compiled_expression = re.compile(r'(?i)User [_0-9A-z]+ is ') compiled_expression.sub(r"User .. is ",s)
您可以使用functools.partial()将sub()调用与替换表达式捆绑在一起：
from functools import partial compiled_expression = re.compile(r'(?i)User [_0-9A-z]+ is ') ready_to_use_sub = partial(compiled_expression.sub,r"User .. is ")
然后稍后使用ready_to_use_sub(s)将编译的正则表达式模式与特定替换模式一起使用.
