我想知道是否有任何命令/表达式只能获取hadoop中的文件名。我只需要获取文件的名称,当我执行hadoop fs -ls时它会打印整个路径。
我试过下面,但只是想知道是否有更好的方法来做到这一点。
hadoop fs -ls <HDFS_DIR>|cut -d ' ' -f17
它似乎是
hadoop ls does not support any options to output just the filenames,甚至只是最后一列。
如果您想要可靠地获取最后一列,您应该首先将空格转换为单个空格,以便您可以解决最后一列:
hadoop fs -ls | sed '1d;s/ */ /g' | cut -d\ -f8
这将为您提供最后一列,但文件包含整个路径。如果你只想要文件名,你可以使用basename作为@rojomoke建议:
hadoop fs -ls | sed '1d;s/ */ /g' | cut -d\ -f8 | xargs -n 1 basename
我还过滤掉了第一行“找到了吗?x项目”
注意:请注意,正如@ felix-frank在注释中指出的那样,上述命令将无法正确保存具有多个连续空格的文件名。因此,Felix提出了一个更正确的解决方案:
hadoop fs -ls / tmp | sed 1d | perl -wlne’print(split“”,$ _,8)[7]’