在CentOS 7 上使用PaceMaker构建NFS HA服务

基本环境

总共四台虚拟机，安装CentOS 7 X64系统。
每台虚拟机两张网卡，分别连接两个网络，NAT网络192.168.195.0，仅主机网络192.168.162.0。
Target主机安装iSCSI TGT服务，提供共享存储服务。
Test1和Test2主机利用Target主机提供的共享存储对外提供A/P结构的NFS服务，使用PaceMaker进行集群管理。
Develop主机mount有Test主机提供的NFS服务并测试其功能。

网络配置

IP地址

使用静态IP地址，并按如下的方式进行配置。

Target
	eth0 : 192.168.195.131
	eth1 : 192.168.162.131

Test1
	eth0 : 192.168.195.132
	eth1 : 192.168.162.132

Test2
	eth0 : 192.168.195.133
	eth1 : 192.168.162.133

Develop
	eth0 : 192.168.195.136
	eth1 : 192.168.162.136

NFS使用的浮动IP为：192.168.195.200。

域名解析

在四台机器的域名解析文件下增加如下部分，并确保相互可以ping通。

$ vi /etc/hosts
192.168.195.131 target
192.168.195.132 test1
192.168.195.133 test2
192.168.195.136 develop

配置iSCSI

安装tgt服务

在Target主机上执行如下操作：

安装软件包

$ yum install -y scsi-target-utils iscsi-initiator-utils

配置tgt服务，使用/dev/sdd1分区作为第一个LUN，密码为nfsha。

$ cp -v /etc/tgt/targets.conf /etc/tgt/targets.conf.bak
$ vi /etc/tgt/targets.conf
<target iqn.2016-12.org.lr:lvm>
  backing-store /dev/sdd1
  initiator-address 192.168.0.0/16
  incominguser nfsha nfsha
</target>

在LVM中忽略掉/dev/sdd1分区。

$ vi /etc/lvm/lvm.conf
global_filter = [ "a|/dev/sdc|","r|.*/|" ]

重启服务

$ systemctl enable tgtd.service
$ systemctl restart tgtd.service
$ systemctl status tgtd.service

$ tgtadm -L iscsi -m target -o show

配置initiator客户端

在Test1，Test2，Develop三个主机上执行如下操作：

安装软件包。

$ yum install -y iscsi-initiator-utils

设置客户端名称，把XXX分别换成test1，test2，develop。

$ vi /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.2016-12.com.lr:XXX

设置验证协议和密码。

$ vi /etc/iscsi/iscsid.conf
node.session.auth.authmethod = CHAP
node.session.auth.username = nfsha
node.session.auth.password = nfsha

重启服务。

$ systemctl enable iscsid.service
$ systemctl restart iscsid.service
$ systemctl status iscsid.service

发现及添加存储。

$ iscsiadm -m discovery -t st -p 192.168.195.131
$ iscsiadm -m node -T iqn.2016-12.org.lr:lvm -p 192.168.195.131:3260 -l
$ iscsiadm -m discovery -t st -p 192.168.162.131
$ iscsiadm -m node -T iqn.2016-12.org.lr:lvm -p 192.168.162.131:3260 -l

查看新添加的存储。

$ iscsiadm -m node –l
192.168.195.131:3260,1 iqn.2016-12.org.lr:lvm
192.168.162.131:3260,1 iqn.2016-12.org.lr:lvm
$ ll /dev/sd*
brw-rw---- 1 root disk 8,0 11月 24 16:25 /dev/sda
brw-rw---- 1 root disk 8,1 11月 24 16:25 /dev/sda1
brw-rw---- 1 root disk 8,2 11月 24 16:25 /dev/sda2
brw-rw---- 1 root disk 8,3 11月 24 16:25 /dev/sda3
brw-rw---- 1 root disk 8,16 11月 24 16:25 /dev/sdb
brw-rw---- 1 root disk 8,17 11月 24 16:25 /dev/sdb1
brw-rw---- 1 root disk 8,32 11月 24 16:25 /dev/sdc
brw-rw---- 1 root disk 8,48 11月 24 16:25 /dev/sdd
brw-rw---- 1 root disk 8,64 11月 24 16:25 /dev/sde
brw-rw---- 1 root disk 8,80 11月 24 16:25 /dev/sdf

新生成的设备为sde和sdf。

增加多路径

在Test1，Test2，Develop三个主机上执行如下操作：

安装软件包并加载驱动。

$ yum install -y device-mapper*
$ modprobe dm-multipath

查看iSCSI设备的WWID。

$ /lib/udev/scsi_id -g -u /dev/sde
360000000000000000e00000000010001

配置多路径名称。

$ vi /etc/multipath.conf
blacklist {
  devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
  devnode "^sd[a-d][0-9]*"
}

defaults {
  user_friendly_names yes
  path_grouping_policy multibus
  failback immediate
  no_path_retry fail
}

multipaths {
  multipath {
    wwid 360000000000000000e00000000010001
    alias lvm
  }
}

启动服务

$ mkdir /run/multipathd/ -pv
$ touch /run/multipathd/multipathd.pid
$ chmod 777 /run/multipathd/multipathd.pid

$ systemctl enable multipathd.service
$ systemctl restart multipathd.service
$ systemctl status multipathd.service
$ reboot

刷新multipath缓存

$ multipath -F
$ multipath -v2
$ multipath -ll
lvm (360000000000000000e00000000010001) dm-2 IET,VIRTUAL-DISK    
size=10G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active
  |- 4:0:0:1 sde 8:64 active ready running
  `- 3:0:0:1 sdf 8:80 active ready running

配置LVM

允许LVM扫描iscsi设备

$ vi /etc/lvm/lvm.conf
filter = [ "a|/dev/mapper/lvm|","r|.*/|" ]

创建LVM分区

$ pvcreate /dev/mapper/lvm
$ vgcreate storage /dev/mapper/lvm

$ lvcreate -L 10G -n test storage

配置LVM，设置locking_type为1，设置use_lvMetad为0，禁用lvMetad服务。

$ lvmconf --enable-halvm --services --startstopservices

设置volume_list，排除我们要使用的storage卷组，避免系统自动激活。

$ vgs --noheadings -o vg_name
  storage
$ vi /etc/lvm/lvm.conf
volume_list = [  ]

重建initramfs，避免内核启动时，卷组自动激活。

$ dracut -H -f /boot/initramfs-$(uname -r).img $(uname -r)

重启系统，使配置生效。

$ reboot

配置集群服务

初始化设置

在Test1和Test2上进行如下配：

禁用防火墙

$ systemctl disable firewalld
$ systemctl stop firewalld
Or
$ firewall-cmd --permanent --add-service=high-availability
$ firewall-cmd --add-service=high-availability
$ firewall-cmd --reload

禁用SeLinux

$ setenforce 0
$ sed -i.bak "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
$ reboot

安装软件包。

$ yum install pcs pacemaker fence-agents-all

修改集群账号密码

$ passwd hacluster
$ cat /etc/passwd | grep hacluster
hacluster:x:189:189:cluster user:/home/hacluster:/sbin/nologin

重启服务

$ systemctl start pcsd.service
$ systemctl enable pcsd.service
$ systemctl status pcsd.service

初始化集群

在任意一个Test节点上进行如下配：

认证集群账户

$ pcs cluster auth test1 test2
Username: hacluster
Password: 
test1: Authorized
test2: Authorized

创建集群

$ pcs cluster setup --start --name my_cluster test1 test2
Shutting down pacemaker/corosync services...
Redirecting to /bin/systemctl stop  pacemaker.service
Redirecting to /bin/systemctl stop  corosync.service
Killing any remaining services...
Removing all cluster configuration files...
test1: Succeeded
test2: Succeeded
Starting cluster on nodes: test1,test2...
test2: Starting Cluster...
test1: Starting Cluster...
Synchronizing pcsd certificates on nodes test1,test2...
test1: Success
test2: Success

Restaring pcsd on the nodes in order to reload the certificates...
test1: Success
test2: Success

手动启动集群

$ pcs cluster start

设置集群开机启动

$ pcs cluster enable --all

查看集群状态

$ pcs cluster status
test1: Success
test2: Success

$ pcs cluster enable --all
test1: Cluster Enabled
test2: Cluster Enabled

$ pcs cluster status
Cluster Status:
 Last updated: Tue Dec 13 14:58:32 2016		Last change: Tue Dec 13 14:57:07 2016 by hacluster via crmd on test2
 Stack: corosync
 Current DC: test2 (version 1.1.13-10.el7_2.4-44eb2dd) - partition with quorum
 2 nodes and 0 resources configured
 Online: [ test1 test2 ]

PCSD Status:
  test1: Online
  test2: Online

配置fence设备

安装插件软件包

$ yum install -y fence-*

查看可用fence插件

$ pcs stonith list

查看fence插件使用说明

$ pcs stonith describe fence_kdump
fence_kdump - Fence agent for use with kdump

The fence_kdump agent is intended to be used with with kdump service.

Stonith options:
  nodename: Name or IP address of node to be fenced
  ipport: Port number
  family: Network family
  action: Fencing action
  timeout: Timeout in seconds
  verbose: Print verbose output
  version: Print version
  usage: Print usage
  priority: The priority of the stonith resource. Devices are tried in order of highest priority to lowest.
  pcmk_host_map: A mapping of host names to ports numbers for devices that do not support host names.
  pcmk_host_list: A list of machines controlled by this device (Optional unless pcmk_host_check=static-list).
  pcmk_host_check: How to determine which machines are controlled by the device.
  pcmk_delay_max: Enable random delay for stonith actions and specify the maximum of random delay

创建fence_kdump。

$ pcs stonith create my_fence fence_kdump test1

查看fence状态。

$ pcs stonith show my_fence
 Resource: my_fence (class=stonith type=fence_kdump)
  Operations: monitor interval=60s (my_fence-monitor-interval-60s)

配置NFS服务

创建文件系统资源

创建NFS分区，并格式化为ext4文件系统。

$ lvcreate -L 50G -n nfs storage
$ mkfs.ext4 /dev/storage/nfs

挂载NFS分区。

$ mkdir /mnt/nfs
$ mount /dev/storage/nfs /mnt/nfs

创建NFS目录和测试文件。

$ mkdir -pv /mnt/nfs/exports
$ mkdir -pv /mnt/nfs/exports/export1
$ mkdir -pv /mnt/nfs/exports/export2

$ touch /mnt/nfs/exports/export1/clientdatafile1
$ touch /mnt/nfs/exports/export2/clientdatafile2

卸载NFS分区，并去激活LVM卷组。

$ umount /dev/storage/nfs
$ vgchange -an storage

创建LVM资源，以便激活卷组。

$ pcs resource create my_lvm LVM volgrpname=storage exclusive=true --group nfsgroup

创建文件系统资源。

$ pcs resource create nfsshare Filesystem \
device=/dev/storage/nfs directory=/mnt/nfs fstype=ext4 --group nfsgroup

创建导出资源

创建NFS服务资源。

$ pcs resource create nfs-daemon nfsserver \
nfs_shared_infodir=/mnt/nfs/nfsinfo nfs_no_notify=true --group nfsgroup

创建exportfs资源。

$ pcs resource create nfs-root exportfs clientspec=192.168.0.0/255.255.0.0 \
options=rw,sync,no_root_squash directory=/mnt/nfs/exports fsid=0 --group nfsgroup

$ pcs resource create nfs-export1 exportfs clientspec=192.168.0.0/255.255.0.0 \
options=rw,no_root_squash directory=/mnt/nfs/exports/export1 fsid=1 --group nfsgroup

$ pcs resource create nfs-export2 exportfs clientspec=192.168.0.0/255.255.0.0 \
options=rw,no_root_squash directory=/mnt/nfs/exports/export2 fsid=2 --group nfsgroup

创建浮动IP资源。

$ pcs resource create nfs_ip IPaddr2 ip=192.168.195.200 cidr_netmask=24 --group nfsgroup

创建nfsnotify资源。

$ pcs resource create nfs-notify nfsnotify source_host=192.168.195.200 --group nfsgroup

查看当前状态。

$ pcs status
Cluster name: my_cluster
Last updated: Tue Dec 13 15:09:27 2016		Last change: Tue Dec 13 15:09:15 2016 by root via cibadmin on test1
Stack: corosync
Current DC: test2 (version 1.1.13-10.el7_2.4-44eb2dd) - partition with quorum
2 nodes and 9 resources configured

Online: [ test1 test2 ]

Full list of resources:

 my_fence	(stonith:fence_kdump):	Started test1
 Resource Group: nfsgroup
     my_lvm	(ocf::heartbeat:LVM):	Started test2
     nfsshare	(ocf::heartbeat:Filesystem):	Started test2
     nfs-daemon	(ocf::heartbeat:nfsserver):	Started test2
     nfs-root	(ocf::heartbeat:exportfs):	Started test2
     nfs-export1	(ocf::heartbeat:exportfs):	Started test2
     nfs-export2	(ocf::heartbeat:exportfs):	Started test2
     nfs_ip	(ocf::heartbeat:IPaddr2):	Started test2
     nfs-notify	(ocf::heartbeat:nfsnotify):	Started test2

PCSD Status:
  test1: Online
  test2: Online

Daemon Status:
  corosync: active/enabled
  pacemaker: active/enabled
  pcsd: active/enabled

验证和测试

在Develop节点上进行如下测试。

查看当前导出的文件系统

$ showmount -e 192.168.195.200
Export list for 192.168.195.200:
/mnt/nfs/exports/export1 192.168.0.0/255.255.0.0
/mnt/nfs/exports         192.168.0.0/255.255.0.0
/mnt/nfs/exports/export2 192.168.0.0/255.255.0.0

验证NFSv4

$ mkdir nfsshare
$ mount -o "vers=4" 192.168.195.200:export1 nfsshare
$ mount | grep nfsshare
192.168.195.200://export1 on /root/nfsshare type nfs4 (rw,relatime,vers=4.0,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=192.168.195.136,local_lock=none,addr=192.168.195.200)
$ ls nfsshare
clientdatafile1
$ umount nfsshare

验证NFSv3

$ mkdir nfsshare
$ mount -o "vers=3" 192.168.195.200:/mnt/nfs/exports/export2 nfsshare
$ mount | grep nfsshare
    192.168.195.200:/mnt/nfs/exports/export2 on /root/nfsshare type nfs (rw,vers=3,mountaddr=192.168.195.200,mountvers=3,mountport=20048,mountproto=udp,addr=192.168.195.200)
$ ls nfsshare
clientdatafile2
$ umount nfsshare

Failover测试

使用NFSv4挂载export1。

$ mkdir nfsshare
$ mount -o "vers=4" 192.168.195.200:export1 nfsshare
$ ls nfsshare

查看集群运行状态，当前服务全部运行在Test2节点上。

$ Cluster name: my_cluster
Last updated: Tue Dec 13 15:20:53 2016		Last change: Tue Dec 13 15:20:50 2016 by root via crm_attribute on test1
Stack: corosync
Current DC: test2 (version 1.1.13-10.el7_2.4-44eb2dd) - partition with quorum
2 nodes and 9 resources configured

Online: [ test1 test2 ]

Full list of resources:

 my_fence	(stonith:fence_kdump):	Started test1
 Resource Group: nfsgroup
     my_lvm	(ocf::heartbeat:LVM):	Started test2
     nfsshare	(ocf::heartbeat:Filesystem):	Started test2
     nfs-daemon	(ocf::heartbeat:nfsserver):	Started test2
     nfs-root	(ocf::heartbeat:exportfs):	Stopped
     nfs-export1	(ocf::heartbeat:exportfs):	Stopped
     nfs-export2	(ocf::heartbeat:exportfs):	Stopped
     nfs_ip	(ocf::heartbeat:IPaddr2):	Stopped
     nfs-notify	(ocf::heartbeat:nfsnotify):	Stopped

PCSD Status:
  test1: Online
  test2: Online

Daemon Status:
  corosync: active/enabled
  pacemaker: active/enabled
  pcsd: active/enabled

运行测试循环代码。

$ while :; do date +"%s %c -- $i" | tee -a ~/nfsshare/nfstest.log; sleep 1; (( ++i )); done

挂起Test2主机。

$ pcs cluster standby test2

查看集群运行状态，当前服务全部运行在Test1节点上。

$ pcs status
Cluster name: my_cluster
Last updated: Tue Dec 13 15:26:16 2016		Last change: Tue Dec 13 15:25:47 2016 by root via crm_attribute on test1
Stack: corosync
Current DC: test2 (version 1.1.13-10.el7_2.4-44eb2dd) - partition with quorum
2 nodes and 9 resources configured

Node test2: standby
Online: [ test1 ]

Full list of resources:

 my_fence	(stonith:fence_kdump):	Started test1
 Resource Group: nfsgroup
     my_lvm	(ocf::heartbeat:LVM):	Started test1
     nfsshare	(ocf::heartbeat:Filesystem):	Started test1
     nfs-daemon	(ocf::heartbeat:nfsserver):	Started test1
     nfs-root	(ocf::heartbeat:exportfs):	Started test1
     nfs-export1	(ocf::heartbeat:exportfs):	Started test1
     nfs-export2	(ocf::heartbeat:exportfs):	Started test1
     nfs_ip	(ocf::heartbeat:IPaddr2):	Started test1
     nfs-notify	(ocf::heartbeat:nfsnotify):	Started test1

PCSD Status:
  test1: Online
  test2: Online

Daemon Status:
  corosync: active/enabled
  pacemaker: active/enabled
  pcsd: active/enabled

在Test2主机上。

$ dmesg -c
[ 3145.065649] nfsd: last server has exited,flushing export cache

在Test1主机上。

$ dmesg -c
[ 4423.429239] EXT4-fs (dm-2): mounted filesystem with ordered data mode. Opts: (null)
[ 4424.169604] NFSD: starting 90-second grace period (net ffffffff81a26d80)

在Develop主机上。

$ cat ~/nfsshare/nfstest.log 
...
1481613943 2016年12月13日 星期二 15时25分43秒 -- 71
1481613944 2016年12月13日 星期二 15时25分44秒 -- 72
1481613945 2016年12月13日 星期二 15时25分45秒 -- 73
1481613946 2016年12月13日 星期二 15时25分46秒 -- 74
1481613947 2016年12月13日 星期二 15时25分47秒 -- 75
1481614054 2016年12月13日 星期二 15时27分34秒 -- 76
1481614055 2016年12月13日 星期二 15时27分35秒 -- 77
1481614056 2016年12月13日 星期二 15时27分36秒 -- 78
1481614057 2016年12月13日 星期二 15时27分37秒 -- 79
1481614058 2016年12月13日 星期二 15时27分38秒 -- 80
1481614059 2016年12月13日 星期二 15时27分39秒 -- 81
...

$ dmesg -c
...
[39697.057079] nfs: server 192.168.195.136 not responding,still trying
[39701.648036] nfs: server 192.168.195.136 not responding,still trying
[39738.902904] nfs: server 192.168.195.136 not responding,timed out
[39918.946359] nfs: server 192.168.195.136 not responding,timed out
[39923.889380] nfs: server 192.168.195.136 not responding,timed out
...

$ cat /proc/fs/nfsfs/servers
NV SERVER   PORT USE HOSTNAME
v4 c0a8c3c8  801   1 192.168.195.200

$ cat /proc/fs/nfsfs/volumes 
NV SERVER   PORT DEV     FSID              FSC
v4 c0a8c3c8  801 0:42    0:0               no

可以看到，在切换主机前后后，Develop主机上的写入进程大概被阻塞107秒（多次反复测试，均在95秒到110秒之间），之后可以正常进行读写。

在读写时进行主备切换，查看文件是否能够正确读写。

$ cp /Data/Software/OS/CentOS-7-x86_64-Everything-1511.iso .
$ md5sum /Data/Software/OS/CentOS-7-x86_64-Everything-1511.iso CentOS-7-x86_64-Everything-1511.iso
dba29c59117400b111633be2bf2aaf0e  /Data/Software/OS/CentOS-7-x86_64-Everything-1511.iso
dba29c59117400b111633be2bf2aaf0e  CentOS-7-x86_64-Everything-1511.iso

参考文档

Red Hat Enterprise Linux 7 High Availability Add-On Administration