我遇到一种情况,即app server misconfig导致创建大约5TB数据集,其中每个dir包含大量小文件.
我们正在传输文件并更改应用程序,但rsync在传输数据时失败.它甚至在本地驱动器之间本地也会失败.我设法一夜之间只复制3.5G！
我试图改变rsync开关,但仍然没有运气.
以下是当前在服务器上运行的没有任何进度指示的内容：
rsync -avhWc –no-compress –progress源目标
有人建议使用gigasync,但 github和网站不可用.
任何人都可以建议传输文件的方法吗？
感谢任何帮助
我们正在传输文件并更改应用程序,但rsync在传输数据时失败.它甚至在本地驱动器之间本地也会失败.我设法一夜之间只复制3.5G！
我试图改变rsync开关,但仍然没有运气.
以下是当前在服务器上运行的没有任何进度指示的内容：
rsync -avhWc –no-compress –progress源目标
有人建议使用gigasync,但 github和网站不可用.
任何人都可以建议传输文件的方法吗？
感谢任何帮助
解决方法
试试xargs rsync：
find . -type f -print0 | xargs -J % -0 rsync -aP % user@host:some/dir/
您可以使用-n控制每次调用rsync作为源传递的文件数
例如.在每个rsync复制200个文件：
find . -type f -print0 | xargs -n 200 -J % -0 rsync -aP % user@host:some/dir/
如果它太慢,您可以与-P选项并行运行多个rsync副本：
find . -type f -print0 | xargs -P 8 -n 200 -J % -0 rsync -aP % user@host:some/dir/
这将并行启动8个rsync副本.
