将大文件从一个Linux服务器复制到另一个Linux服

前端之家收集整理的这篇文章主要介绍了将大文件从一个Linux服务器复制到另一个Linux服前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我试图将一个75千兆字节的tgz( mysql lvm快照)从我们的LA数据中心的 Linux服务器复制到我们纽约数据中心的另一个Linux服务器上,通过一个10MB的链接.

我使用rsync或scp获得大约20-30Kb / s,其在200-300小时之间波动.

目前它是一个相对安静的链接,因为第二个数据中心尚未激活,我从小文件传输中获得了极好的速度.

我已经按照谷歌找到的不同的tcp调整指南无济于事(也许我正在阅读错误的指南,得到一个好的?).

我已经看过tar netcat隧道提示,但我的理解是它只适用于很多小文件,当文件有效完成传输时不会更新你.

在我开始运送硬盘之前,有没有人有任何好的意见?

更新:
嗯……它可能是以后的链接:(见下面我的测试…

从纽约到洛杉矶的接送服务:

获取一个空白文件.

[nathan@laobnas test]$dd if=/dev/zero of=FROM_LA_TEST bs=1k count=4700000
4700000+0 records in
4700000+0 records out
4812800000 bytes (4.8 GB) copied,29.412 seconds,164 MB/s
[nathan@laobnas test]$scp -C obnas:/obbkup/test/FROM_NY_TEST .
FROM_NY_TEST                                    3%  146MB   9.4MB/s   07:52 ETA

获取快照tarball.

[nathan@obnas db_backup]$ls -la db_dump.08120922.tar.gz
-rw-r--r-- 1 root root 30428904033 Aug 12 22:42 db_dump.08120922.tar.gz

[nathan@laobnas test]$scp -C obnas:/obbkup/db_backup/db_dump.08120922.tar.gz .
db_dump.08120922.tar.gz            0%   56MB 574.3KB/s 14:20:40 ET

从洛杉矶到纽约的转机:

获取一个空白文件.

[nathan@obnas test]$dd if=/dev/zero of=FROM_NY_TEST bs=1k count=4700000
4700000+0 records in
4700000+0 records out
4812800000 bytes (4.8 GB) copied,29.2501 seconds,165 MB/s
[nathan@obnas test]$scp -C laobnas:/obbkup/test/FROM_LA_TEST .
FROM_LA_TEST                                    0% 6008KB 497.1KB/s 2:37:22 ETA

获取快照tarball.

[nathan@laobnas db_backup]$ls -la db_dump_08120901.tar.gz
-rw-r--r-- 1 root root 31090827509 Aug 12 21:21 db_dump_08120901.tar.gz

[nathan@obnas test]$scp -C laobnas:/obbkup/db_backup/db_dump_08120901.tar.gz .
db_dump_08120901.tar.gz                0%  324KB  26.8KB/s 314:11:38 ETA

我想我会接受那些运行我们设施的人员,链接标记为MPLS / Ethernet 10MB链接. (耸肩)

解决方法

Sneakernet任何人?

假设这是一次性复制,我不认为可以将文件复制到CD(或其他媒体)并在一夜之间将其复制到目的地?

这实际上可能是您最快的选择,因为该大小的文件传输,通过该连接,可能无法正确复制…在这种情况下,您可以重新开始.

rsync的

我的第二个选择/尝试是rsync,因为它检测到失败的传输,部分传输等,并且可以从它停止的地方获取.

rsync --progress file1 file2 user@remotemachine:/destination/directory

–progress标志会给你一些反馈,而不是只是坐在那里让你自己猜测.

猜你在找的Linux相关文章