1、安装依赖包
yuminstallepel-release-y yuminstallgccgcc-c++bcopenssl-develautomakencurses-devellibibverbs-y yuminstalllibibverbs-devellibibverbs-utilslibrdmacmlibrdmacm-devellibrdmacm-utilsperl-Switchelfutils-libelf-devel-y
2、 librxe-dev 和 rxe-dev下载
下载地址
Github:https://github.com/SoftRoCE/rxe-dev.git Github:https://github.com/SoftRoCE/librxe-dev.git
备注：rxe-dev下载v18版本，即rxe-dev-rxesubmissionv18
3、安装rxe-dev
unziprxe-dev-rxe_submission_v18.zip cdrxe-dev-rxe_submission_v18/ cp/boot/config-3.10.0-514.el7.x86_64.config
备注：使用root用户，执行以下命令
makemenuconfig
会出现选择界面（如果没出现，需要安装 ncurse-devel）
输入 "/" ，然后输入 rxe，按下 enter，会查找有关 rxe 的选择项。
输入数字 1，就会选择到“Software RDMA over Ethernet (ROCE) driver”的设置，输入 "M" ，选中 RDMA 的配置，如果 输不了 M，那就输入空格。
移动到保存按钮，回车，装保存到.config中，退出安装界面（exit）。
然后 vi .config 来确认
CONFIGRDMARXE 为 m
CONFIGINFINIBANDADDRTRANS 和 CONFIGINFINIBANDADDRTRANS_CONFIGFS 为 y
make-j4 makemodules_install，可能执行中途会提示丢失一些module，这个没关系，无关紧要。 makeinstall makeheaders_installINSTALL_HDR_PATH=/usr
确认 新的内核是否在 grub 引导中。查看 /etc/grub.cfg 即可看见。在开机的时候可以选择 新内核启动
4、安装 librxe-dev
cdlibrxe-dev ./configure--libdir=/usr/lib64/--prefix= make makeinstall
重启操作系统，在开机启动时，选择4.7.0-rc3内核
启动后，查看内核版本
uname-r
5、验证 rdma
[root@aboss~]#rxe_cfgstart NameLinkDriverSpeedNMTUIPv4_addrRDEVRMTU ens33yese1000 virbr0nobridge virbr0-nicnotun [root@aboss~]#rxe_cfgaddens33 [root@aboss~]#rxe_cfgstatus NameLinkDriverSpeedNMTUIPv4_addrRDEVRMTU ens33yese1000rxe01024(3) virbr0nobridge virbr0-nicnotun
查看rxe设备
ibvdevices 程序显示该系统中目前所有设备，而 ibvdevinfo 命令会给出每个设备的具体信息
[root@aboss~]#ibv_devices device nodeGUID ------ ---------------- rxe0 020c29fffe55c818 [root@aboss~]#ibv_devinforxe0 hca_id: rxe0 transport: InfiniBand(0) fw_ver: 0.0.0 node_guid: 020c:29ff:fe55:c818 sys_image_guid: 0000:0000:0000:0000 vendor_id: 0x0000 vendor_part_id: 0 hw_ver: 0x0 phys_port_cnt: 1 port: 1 state: PORT_ACTIVE(4) max_mtu: 4096(5) active_mtu: 1024(3) sm_lid: 0 port_lid: 0 port_lmc: 0x00 link_layer: Ethernet
6、softRoCE连通性测试
服务端
rping-s-a192.168.1.133-v-C10
客户端
rping-c-a192.168.1.133-v-C10
7、关于librdmacm编译说明
gitclonehttps://github.com/ofiwg/librdmacm.git cdlibrdmacm yuminstallautoconfautomakegettextgettext-devellibtool-y ./autogen.sh ./configure make makeinstall
