如何从shell中的文本文件中选择随机的唯一行?

前端之家收集整理的这篇文章主要介绍了如何从shell中的文本文件中选择随机的唯一行?前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我有一个不明行数的文本文件.我需要随意抓取一些这些行,但我不希望有任何重复的风险.

我试过这个:

jot -r 3 1 `wc -l<input.txt` | while read n; do
  awk -v n=$n 'NR==n' input.txt
done

但这是丑陋的,不能防止重复.

我也试过这个:

awk -vmax=3 'rand() > 0.5 {print;count++} count>max {exit}' input.txt

但这显然也不是正确的方法,因为我不能保证甚至获得最大的线.

我被卡住了我该怎么做?

如果jot在你的系统上,那么我猜你运行的是FreeBSD或者OSX而不是Linux,所以你可能没有rl或sort-r这样的工具.

别担心.以前我不得不这样做.改为:

[ghoti@pc ~]$cat rndlines
#!/bin/sh

# default to 3 lines of output
lines="${1:-3}"

# First,put a random number at the begginning of each line.
while read line; do
  echo "`jot -r 1 1 1000000` $line"
done < input.txt > stage1.txt

# Next,sort by the random number.
sort -n stage1.txt > stage2.txt

# Last,remove the number from the start of each line.
sed -r 's/^[0-9]+ //' stage2.txt > stage3.txt

# Show our output
head -n "$lines" stage3.txt

# Clean up
rm stage1.txt stage2.txt stage3.txt

[ghoti@pc ~]$./rndlines input.txt 
two
one
five
[ghoti@pc ~]$./rndlines input.txt 
four
two
three
[ghoti@pc ~]$

我的input.txt有五行,带有数字.

我已经拼写出来,以便于阅读,但在现实生活中,您可以将东西组合成长管道,您将需要清理可能创建的任何(唯一命名的)临时文件.

这是一个1行的示例,它也使用awk更简洁地插入随机数:

$printf 'one\ntwo\nthree\nfour\nfive\n' | awk 'BEGIN{srand()} {printf("%.20f %s\n",rand(),$0)}' | sort | head -n 3 | cut -d\  -f2-

请注意,较旧版本的sed(在FreeBSD和OSX中)可能需要使用-E选项而不是-r来处理ERE或BRE方言. (当然,你可以在BRE中表达,但为什么?)(古代版本的sed(HP / UX等)可能需要BRE,但如果您已经知道如何执行此操作,则只能使用它们).

原文链接:https://www.f2er.com/bash/383679.html

猜你在找的Bash相关文章