linux – DRBD在10GigE上的可怕同步性能

前端之家收集整理的这篇文章主要介绍了linux – DRBD在10GigE上的可怕同步性能前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我已经建立了一对相同的服务器,配备RAID阵列(8核,16GB RAM,12×2 TB RAID6),3个10GigE接口,以托管一些高可用性服务.

系统目前正在运行Debian 7.9 Wheezy oldstable(因为corosync / pacemaker在8.x稳定或测试时不可用).

>本地磁盘性能约为900 MB / s写入,1600 MB / s读取.
>机器之间的网络吞吐量超过700MB / s.
>通过iSCSI,每台机器可以以超过700 MB / s的速度写入另一台存储.

但是,无论我配置DRBD的方式如何,吞吐量都限制在100MB / s.它看起来像一些硬编码限制.我可以通过调整设置来可靠地降低性能,但它永远不会超过1Gbit(一次只能达到122MB / s几秒钟).我真的在这个上拉我的头发.

>普通香草仁3.18.24 amd64
> drbd 8.9.2~rc1-1~bpo70 1

配置分为两个文件:global-common.conf:

  1. global {
  2. usage-count no;
  3. }
  4.  
  5. common {
  6. handlers {
  7. }
  8.  
  9. startup {
  10. }
  11.  
  12. disk {
  13. on-io-error detach;
  14. # no-disk-flushes ;
  15. }
  16. net {
  17. max-epoch-size 8192;
  18. max-buffers 8192;
  19. sndbuf-size 2097152;
  20. }
  21. syncer {
  22. rate 4194304k;
  23. al-extents 6433;
  24. }
  25. }

和cluster.res:

  1. resource rd0 {
  2. protocol C;
  3. on cl1 {
  4. device /dev/drbd0;
  5. disk /dev/sda4;
  6. address 192.168.42.1:7788;
  7. Meta-disk internal;
  8. }
  9.  
  10. on cl2 {
  11. device /dev/drbd0;
  12. disk /dev/sda4;
  13. address 192.168.42.2:7788;
  14. Meta-disk internal;
  15. }
  16. }

来自cat / proc / drbdon slave的输出

  1. version: 8.4.5 (api:1/proto:86-101)
  2. srcversion: EDE19BAA3D4D4A0BEFD8CDE
  3. 0: cs:SyncTarget ro:Secondary/Secondary ds:Inconsistent/UpToDate C r-----
  4. ns:0 nr:4462592 dw:4462592 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:16489499884
  5. [>....................] sync'ed: 0.1% (16103024/16107384)M
  6. finish: 49:20:03 speed: 92,828 (92,968) want: 102,400 K/sec

主服务器上vmstat 2的输出(两台机器几乎完全空闲):

  1. procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
  2. r b swpd free buff cache si so bi bo in cs us sy id wa
  3. 0 0 0 14952768 108712 446108 0 0 213 254 16 9 0 0 100 0
  4. 0 0 0 14952484 108712 446136 0 0 0 4 10063 1361 0 0 99 0
  5. 0 0 0 14952608 108712 446136 0 0 0 4 10057 1356 0 0 99 0
  6. 0 0 0 14952608 108720 446128 0 0 0 10 10063 1352 0 1 99 0
  7. 0 0 0 14951616 108720 446136 0 0 0 6 10175 1417 0 1 99 0
  8. 0 0 0 14951748 108720 446136 0 0 0 4 10172 1426 0 1 99 0

两台服务器之间的iperf输出

  1. ------------------------------------------------------------
  2. Client connecting to cl2,TCP port 5001
  3. TCP window size: 325 KByte (default)
  4. ------------------------------------------------------------
  5. [ 3] local 192.168.42.1 port 47900 connected with 192.168.42.2 port 5001
  6. [ ID] Interval Transfer Bandwidth
  7. [ 3] 0.0-10.0 sec 6.87 GBytes 5.90 Gbits/sec

显然初始同步应该有点慢,但不是这么慢……此外它并没有真正对任何限制同步速率的尝试作出反应,如drbdadm disk-options –resync-rate = 800M all.

解决方法

在较新版本的DRBD(8.3.9及更新版本)中,有一个需要调整的动态重新同步控制器.在较早版本的DRBD设置中,syncer {rate;}就足够了;现在它被用作动态重新同步速度的一个轻微建议的起始位置.

动态同步控制器使用DRBD配置的磁盘部分中的“c-settings”进行调整(有关每个设置的详细信息,请参阅$man drbd.conf).

在这些节点之间使用10Gbe,并且假设使用协议C后的低延迟,以下配置应该让事情变得更快:

  1. resource rd0 {
  2. protocol C;
  3. disk {
  4. c-fill-target 10M;
  5. c-max-rate 700M;
  6. c-plan-ahead 7;
  7. c-min-rate 4M;
  8. }
  9. on cl1 {
  10. device /dev/drbd0;
  11. disk /dev/sda4;
  12. address 192.168.42.1:7788;
  13. Meta-disk internal;
  14. }
  15.  
  16. on cl2 {
  17. device /dev/drbd0;
  18. disk /dev/sda4;
  19. address 192.168.42.2:7788;
  20. Meta-disk internal;
  21. }
  22. }

如果您仍然不满意,请尝试将最大缓冲区调高至12k.如果您仍然不满意,可以尝试以2M为增量调高c-fill-target.

猜你在找的Linux相关文章