[ghoti@pc ~]$cat data1
./501.res/1.bin
./503.res/1.bin
./503.res/2.bin
./504.res/1.bin
[ghoti@pc ~]$awk 'BEGIN{FS="."} a[$2] {next} {a[$2]=1} 1' data1
./501.res/1.bin
./503.res/1.bin
./504.res/1.bin
[ghoti@pc ~]$

要获得最后一次出现,您可以管理几种类型：

[ghoti@pc ~]$sort -r data1 | awk 'BEGIN{FS="."} a[$2] {next} {a[$2]=1} 1' | sort
./501.res/1.bin
./503.res/2.bin
./504.res/1.bin
[ghoti@pc ~]$

鉴于您正在使用“find”和“grep”,您可能会这样做：

find . -name \*.bin -type f -print | sort -r | awk 'BEGIN{FS="."} a[$2] {next} {a[$2]=1} 1' | sort

这是如何运作的？

find命令有许多有用的选项,包括通过glob选择文件的能力,选择文件的类型等.它已经知道它的输出,并且它成为sort -r的输入.

首先,我们对输入数据进行反向排序(sort -r).这可以确保在任何目录中,编号最大的文件将首先显示.这个结果被输入awk. FS是字段分隔符,它使$2成为“/ 501”,“/ 502”等内容.Awk脚本具有条件{action}形式的部分,可以对每行输入进行评估.如果缺少某个条件,则该操作将在每一行上运行.如果条件为“1”并且没有动作,则打印该行.所以这个脚本分解如下：

> a [$2] {next} – 如果存在带有下标$2的数组a(即“/ 501”),则跳转到下一行.除此以外…
> {a [$2] = 1} – 将数组的下标$2设置为1,以便将来第一个条件评估为true,然后……
> 1 – 打印线.

此awk脚本的输出将是您想要的数据,但顺序相反.最后的排序会按照您期望的顺序重新排列.

现在……这是很多管道,当你要求它同时处理数百万行输入时,排序可能会有点资源浪费.这个解决方案对于少量文件来说是完全足够的,但是如果你正在处理大量的输入,请告诉我们,我可以提出一个多功能的awk解决方案(需要超过60秒)来写).

UPDATE

根据Dennis的圣训建议,我上面包含的awk脚本可以通过改变它来改进

BEGIN{FS="."} a[$2] {next} {a[$2]=1} 1

至

BEGIN{FS="."} $2 in a {next} {a[$2]} 1

虽然这在功能上是相同的,但优点是您只需定义数组成员而不是为它们赋值,这可能会节省内存或cpu,具体取决于您的awk实现.无论如何,它更清洁.