我正在编写一个导入脚本来处理可能有数十万行(日志文件)的文件.使用一种非常简单的方法(下面)花了足够的时间和记忆,我觉得它会在任何时候取出我的MBP,所以我杀了这个过程.
#...
File.open(file,'r') do |f|
f.each_line do |line|
# do stuff here to line
end
end
这个文件特别有642,868行：
$wc -l Nginx.log /code/src/myimport 642868 ../Nginx.log
有没有人知道处理这个文件中每一行的更有效(内存/ cpu)方式？
UPDATE
上面的f.each_line中的代码只是将正则表达式与行匹配.如果匹配失败,我将该行添加到@skipped数组.如果它通过,我将匹配格式化为哈希(由匹配的“字段”键入)并将其附加到@results数组.
# regex built in `def initialize` (not on each line iteration)
@regex = /(\d{1,3}\.\d{1,3}) - (.{0})- \[([^\]]+?)\] "(GET|POST|PUT|DELETE) ([^\s]+?) (HTTP\/1\.1)" (\d+) (\d+) "-" "(.*)"/
#... loop lines
match = line.match(@regex)
if match.nil?
@skipped << line
else
@results << convert_to_hash(match)
end
我对这是一个效率低下的过程完全开放.我可以使convert_to_hash中的代码使用预先计算的lambda,而不是每次都计算出计算结果.我想我只是假设行迭代本身就是问题,而不是每行代码.