linux – 从文件夹中的所有tsv文件中提取前三列

前端之家收集整理的这篇文章主要介绍了linux – 从文件夹中的所有tsv文件中提取前三列前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

我在一个文件夹中有几个tsv文件,总计超过50 GB.为了在将这些文件加载​​到R中时使内存更容易,我想只提取这些文件的前3列.

如何在终端中一次性提取所有文件的列?我正在运行Ubuntu 16.04.

最佳答案
像下面这样的东西应该工作:

#!/bin/bash
FILES=/path/to/*
for f in $FILES
do
    # Do something for each file. In our case,just echo the first three fields:
    cut -f1-3 < "$f"
done

(有关在bash中迭代文件的更多信息,请参阅this webpage.)

M. Becerra的答案包含一个单行程序,其中使用find命令可以实现相同的目的.因此,除非您希望对每个文件进行额外的处理(例如,在迭代文件时构造一些统计信息),否则我自己的答案可能被认为比必要的更复杂.

编辑:如果要覆盖实际文件,可以使用类似以下脚本的内容

#!/bin/bash
FILES=/path/to/*
for f in $FILES
do
    # Do something for each file. In our case,echo the first three fields to a new file,and rename the new file to the original file:
    cut -f1-3 < "$f" > "$f.tmp"
    rm "$f"
    mv "$f.tmp" "$f"
done

剪切线将其输出写入原始文件名,并附加.tmp;以下两行删除原始文件并将新文件重命名为原始文件名.

猜你在找的Linux相关文章