在我们改变生产基础设施之前,我们正在做一些测试来选择最好的技术.
对于测试,我们使用:
>富士通西门子RX200 S4作为目标
>富士通西门子RX200 S4作为发起人
> NetGear管理1GBit交换机
>板载网卡(Broadcom w / TOE),EdiMax网卡,Broadcom网卡带TOE – 全部1GBit
>目标服务器正在使用带有6个2TB WD Blue SATA驱动器的QLogic控制器.
>目标和启动器操作系统都是Ubuntu 16.04 LTS,包含所有更新.
Switch专用于存储目的.我们测试债券和多路径.
我们的问题是读取速度低.为了测试我们使用dd和40-100GB文件.
>目标服务器上的本地读写速度超过300MB / s.
>通过iSCSI或AoE写入服务器超过200MB / s,这满足了我们.
>从服务器读取总是95-99MB / s.
我们尝试过ietd,aoetools,LIO.
我们使用了两个NIC的绑定:balance-rr和LACP,多路径与r-r.使用普通和巨型帧.最后,我们甚至在目标和主机之间进行了直接的以太网连接(无交换机).
所有测试都给出了相同的结果(当然,使用没有TOE和iSCSI的常见NIC会导致20-30%的结果更差).
使用iperf测试网络显示传输速率约为200MB / s(2GBit).
使用bmon观察目标上的NIC使用情况显示两个设备的使用率相等(每个读取大约50MB / s,写入大约100MB / s).
由于我们没有运气,我们决定使用第三个NIC(当然是双方).结果很奇怪:
> 2个NIC – 每个50MB / s
> 3个NIC – 每个33MB / s
目标软件是否有限制禁用高于1GBit / s的输出?
我们做错了什么?
AOE(以太网上的ATA)很老,很糟糕.我们已经在几年前摆脱了Coraid.我们已经将StarWind https://www.starwindsoftware.com/作为iSCSI目标使用了很长一段时间,StarWind要求我们将Coraid迁移到我们可以做的任何存储.
所以现在,我们非常擅长使用StarWind提供的iSCSI,并在Linux上使用Windows,ESX和SCST http://scst.sourceforge.net/作为启动器.使用RDMA / iSER,它可以达到10 Gbit,到目前为止非常满意.