编译linux kernel4.15.因为soft-RoCE是在linux kernel4.5以后添加到main line的。编译时选中RDMA_RXE,这个就是soft-RoCE。然后进行编译:
makemodules_install
makeinstall
makeheaders_install INSTALL_HDR_PATH=/usr
完成后重新启动机器
接下来编译userspace的部份
git clonehttps://github.com/SoftRoCE/librxe-dev.git
cd librxe-dev/
安装下面的软件:
apt-get install libibverbs-dev
apt-get install libswitch-perl
aptinstall rdmacm-utils
aptinstall ibverbs-utils
完成后,
./configure --libdir=/usr/lib64/ —prefix=
Make
Make install
ln-s /usr/lib64/librxe.a /usr/lib/librxe.a
ln-s /usr/lib64/librxe.la /usr/lib/librxe.la
ln-s /usr/lib64/librxe-rdmav2.so /usr/lib/librxe-rdmav2.so
ln-s /usr/lib64/librxe.so /usr/lib/librxe.so
检查rxe状态
rxe_cfg status
启动rxe_cfg
rxe_cfg start
把虚拟网卡加入
rxe_cfg add ens3
加载必要的module
modproberdma_rxe
modprobe ib_uverbs
开始测试
先测pingpong
server端(192.168.200.131)使用 ibv_rc_pingpong -d rxe0 -g 1
client端使用 ibv_rc_pingpong -drxe0 -g 1 192.168.200.131
再测rping
rping -s -a 192.168.200.131 -v -C 10
rping-c -a 192.168.210.131 -v -C 10
原文链接:https://www.f2er.com/ubuntu/350195.html