我正在编写一个shell脚本，以便在生成数据时将数据放入hadoop。我可以ssh到我的主节点，将文件复制到一个文件夹，然后将它们放入hadoop。我正在寻找一个shell命令来摆脱将文件复制到主节点上的本地磁盘。为了更好地解释我需要什么，下面你可以找到我到目前为止：
1)将文件复制到主节点的本地磁盘：
scp test.txt username@masternode:/folderName/
我已经使用密钥设置了SSH连接。所以不需要密码来做到这一点。
2)我可以使用ssh远程执行hadoop put命令：
ssh username@masternode "hadoop dfs -put /folderName/test.txt hadoopFolderName/"
我正在寻找的是如何将这两个步骤管理/组合成一个，并跳过masterNode的本地磁盘上的文件的本地副本。
谢谢
换句话说，我想以一种我可以管的方式管道几个命令
尝试这个(未测试)：
cat test.txt | ssh username@masternode "hadoop dfs -put - hadoopFoldername/"
我用类似的技巧复制目录：
tar cf - . | ssh remote "(cd /destination && tar xvf -)"
这将本地tar的输出发送到remote-tar的输入。
