例如
$linepos myfile.txt 13
5283
我正在为一个大小为几GB的CSV编写一个解析器,如果解析器被暂停,我希望能够从最后一个位置恢复.解析器是在Python中,但即使在file.readlines()上进行迭代也需要很长时间,因为文件中有数百万行.我想简单地做file.seek(int(command.getoutput(“linepos myfile.txt%i”%lastrow))),但我找不到shell命令来有效地执行此操作.
编辑:很抱歉混乱,但我正在寻找一个非Python解决方案.我已经知道如何从Python中做到这一点.
最佳答案
来自@ chepner对我的另一个答案的评论:
position = 0 # or wherever you left off last time
try:
with open('myfile.txt') as file:
file.seek(position) # zero in base case
for line in file:
position = file.tell() # current seek position in file
# process the line
except:
print 'exception occurred at position {}'.format(position)
raise