linux-networking – 传输大量的小文件

前端之家收集整理的这篇文章主要介绍了linux-networking – 传输大量的小文件前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我将把两台带有大SAN附件的服务器迁移到我们的新VMWare环境中.

编辑:我必须提供一些额外的情报,因为我对VMWare解决方案有很好的答案.

好的,由于服务器上的某些技术限制,我无法在新系统上附加以前的EMC LUN.

我无法使用VMWare Converter来克隆新VM上丢失的卷,因为VMWare Converter无法看到EMC PowerPath伪设备,并且之前的管理员使用这些Pseudo-device来构建LVM2和/或ASM卷.

这两台物理服务器连接到旧的EMC²CX-340 SAN,可处理5TB数据.

那些5TB的数据是小PDF,我需要通过我们的1Gbit / s LAN将它们传输到新机器.

我尝试过使用rsync,但它确实会减慢并对RAM和cpu性能产生很大影响.

我尝试使用带有TAR的NC,但传输速率非常慢,因为我在1Gbit / s链路上的平均吞吐量约为50MB / s,流量几乎为零.

您能否给我一些建议或回报这种迁移的经验,以及您如何设法在合理的时间内完成它?

解决方法

如果您真的需要一种快速传输文件方法,并且两个系统都是基于 Linux的,那么您可以尝试 UDR.

这实际上是一种rsync-over-UDP(使用开源UDT framework),对于移动大量文件或通过高带宽或高延迟链接进行传输特别方便.此外,默认情况下禁用加密,因此RAM / cpu命中率低于传统rsync. SSH也不涉及.

我可以轻松地在目录树中使用1000万个小TIFF文件获得超过1Gbps的线速传输.

您的语法将略微修改rsync.所有rsync标志都需要出现在源/目标规范之前:

udr rsync -avP --stats --delete /data/ server2:/data/

易于构建……你需要g和openssl-devel:

git clone https://github.com/LabAdvComp/UDR.git
cd UDR/
make
cp src/udr /usr/local/bin/

在源和目的地上执行此操作.

见:Possibility of WAN Optimization for SSH traffic

猜你在找的Linux相关文章