用到的命令：sort&&uniq

$sortfile1file2>sorted.txt

或者

$sortfile1file2-osorted.txt

将一组文件的内容排序输出

$catsortec.txt|uniq>uniq_lines.txt

找出已排序文件中不重复的行

SORT命令：

对数字进行排序：

$sort-nfile.txt

按逆序进行排序：
$sort-rfile.txt

按月份进行排序

$sort-Mfile.txt

依据键或列进行排序

$catdata.txt

1 mac 2000

2 winxp 4000

3 bsd 1000

4 linux 1000

$sort-nkrdata.txt

4 linux 1000

3 bsd 1000

2 winxp 4000

1 mac 2000

其中：-k指定排序按哪一个键值执行，-n按数字排序，-r逆序排序。

$sort-k2data.txt

3 bsd 1000

4 linux 1000

1 mac 2000

2 winxp 4000

为了使sort的输出与以\0作为参数终止符的xargs进行结合

$sort-zdata.txt|xargs-0

uniq命令：
消除重复内容。

$catsorted.txt

bash

foos

hack

hack

$uniqsorted.txt

bash

foos

hack

或是：

$sortunsortec.txt|uniq

或是

$sort-uunsorted.txt

只显示没有重复现象的行。

$uniq-usorted.txt

bash

foos

或是：

$sortunsorted.txt|uniq

统计各行在文件中出现次数：

$sortunsorted.txt|uniq-c

1bash

1foos

2hack

找出文件中重复的行：

$sortunsorted.txt|uniq-d

hack

结合-s和-w来指定键：

-s指定可以跳过的前N个字符

-w指定用于比较的最大字符数

$catdata.txt

u:01:gun

d:04:linux

u:01:bash

u:01:hack

我们要选择01最为键值。-s2忽略前两个字符-w2用两个字符最为键值（01）

为了使uniq的输出与以\0作为参数终止符的xargs进行结合

$uniq-zfile.txt||xargs-0rm

原文链接：https://www.f2er.com/javaschema/286129.html