shell – 如何仅列出HDFS中的文件名

前端之家收集整理的这篇文章主要介绍了shell – 如何仅列出HDFS中的文件名前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我想知道是否有任何命令/表达式只能获取hadoop中的文件名。我只需要获取文件名称,当我执行hadoop fs -ls时它会打印整个路径。

我试过下面,但只是想知道是否有更好的方法来做到这一点。

hadoop fs -ls <HDFS_DIR>|cut -d ' ' -f17
它似乎是 hadoop ls does not support any options to output just the filenames,甚至只是最后一列。

如果您想要可靠地获取最后一列,您应该首先将空格转换为单个空格,以便您可以解决最后一列:

hadoop fs -ls | sed '1d;s/  */ /g' | cut -d\  -f8

这将为您提供最后一列,但文件包含整个路径。如果你只想要文件名,你可以使用basename作为@rojomoke建议:

hadoop fs -ls | sed '1d;s/  */ /g' | cut -d\  -f8 | xargs -n 1 basename

我还过滤掉了第一行“找到了吗?x项目”

注意:请注意,正如@ felix-frank在注释中指出的那样,上述命令将无法正确保存具有多个连续空格的文件名。因此,Felix提出了一个更正确的解决方案:

hadoop fs -ls / tmp | sed 1d | perl -wlne’print(split“”,$ _,8)[7]’

原文链接:https://www.f2er.com/bash/387264.html

猜你在找的Bash相关文章