我有大日志文件的脚本.我可以查看所有行,并使用tail和awk做一些事情.
尾巴：
tail -n +$startline $LOG
AWK：
awk 'NR>='"$startline"' {print}' $LOG
并检查时间,尾部工作6分39秒,awk工作6分42秒.所以两个命令做同样的事情/同一时间.
我不知道怎么做sed. Sed可以比tail和awk更快吗？或者也许是其他命令.
第二个问题,我使用$startline,每次继续从最后一行继续.例如：
我使用脚本行：
10:00AM -> ./script -> $startline=1 and do something -> write line number to save file(for ex. 25),10:05AM -> ./script -> $startline=26(read save file +1) and do something -> write line number save file(55),10:10AM -> ./script -> $startline=56(read save file +1) and do something ....
但是当脚本运行时,检查所有行,何时看到$startline,做某事.由于文件庞大,它有点慢.
对它的任何建议都会更快？
脚本示例：
lastline=$(tail -1 "line.save")
startline=$(($lastline + 1))
tail -n +$startline $LOG | while read -r
do
....
done
linecount=$(wc -l "$LOG" | awk '{print $1}')
echo $linecount >> line.save
最佳答案
tail和head是专门为此目的而创建的工具,因此直观的想法是它们已经针对它进行了优化.另一方面,awk和sed可以完美地做到这一点,因为它们就像一个Swiss Army knife,但这不应该是它最好的“技能”而不是它们拥有的其他多个.
在Efficient way to print lines from a massive file using awk,sed,or something else?有一个很好的比较方法和头/尾被视为最好的方法.
因此,我会去寻找尾巴.
另请注意,如果它不仅是最后一行,而是文本中的一组,在awk(或sed)中,您可以选择在所需的最后一行之后退出.这样,您可以避免脚本在最后一行之前运行该文件.
所以这：
awk '{if (NR>=10 && NR<20) print} NR==20 {print; exit}'
比…更快
awk 'NR>=10 && NR<=20'
如果您的输入恰好包含超过20行.
关于你的表达：
awk 'NR>='"$startline"' {print}' $LOG
请注意,写起来更直接：
awk -v start="$startline" 'NR>=start' $LOG
没有必要说打印,因为它是隐含的.
