最近接触了下GlusterFS,所以就想着在自己的笔记本上的虚拟机里安装个测试环境。起初想要从https://github.com/gluster/glusterfs/上下载一个build然后编译安装， 但是试了很多次，在make时总是失败，折腾了两天后，彻底死心了...

1. 先介绍下我的实验环境，由于笔记本配置不是很高，所以我就只开了两个CentOS7的虚拟机，网络选择NAT,以确保能够连接到外网，都做server,其中一台还要兼做client,没有单独的client端。还有两个server要能够相互解析hostname,而我这里又没有DNS服务器，所以要把下面的两行信息加入到/etc/hosts文件里。

192.168.133.145 node01.lab.example.com

192.168.133.135 node02.lab.exampe.com

2. 下载安装yum源头，非特殊说明，以下操作步骤在两台server上均要执行，贴出的命令以node01为例

[root@node01 ~]# wget -P /etc/yum.repos.d/ http://download.gluster.org/pub/gluster/glusterfs/LATEST/CentOS/glusterfs-epel.repo

3. 安装glusterfs的主要组件：

[root@node01 ~]# yum install -y glusterfs glusterfs-server glusterfs-fuse

[root@node01 ~]# rpm -qa | grep gluster
glusterfs-fuse-3.11.1-1.el7.x86_64
glusterfs-3.11.1-1.el7.x86_64
glusterfs-cli-3.11.1-1.el7.x86_64
glusterfs-server-3.11.1-1.el7.x86_64
glusterfs-client-xlators-3.11.1-1.el7.x86_64
glusterfs-api-3.11.1-1.el7.x86_64
glusterfs-libs-3.11.1-1.el7.x86_64

4. 启动glusterfs service,并设置为开机自启动

[root@node01 ~]# systemctl start glusterd
[root@node01 ~]# systemctl enable glusterd
Created symlink from /etc/systemd/system/multi-user.target.wants/glusterd.service to /usr/lib/systemd/system/glusterd.service.

至此，glusterfs已经成功安装到两台server上了，接下来做一些简单使用测试

5. 创建trust storage pool(信任存储池？不知道这个翻译准不准确，暂且这样用吧)

1）如果开启了firewall或者iptables服务，我们需要先放开相应的服务，以firewall为例：

[root@node01 ~]# firewall-cmd --add-service=glusterfs

[root@node01 ~]# firewall-cmd --runtime-to-permanent

2）在node01上创建信任池，也可以在node02上执行，总之只需在一台服务器上执行以下命令即可：

[root@node01 ~]# gluster peer probe node02.lab.example.com

[root@node01 ~]# gluster peer status
Number of Peers: 1

Hostname: node02.lab.example.com
Uuid: 707099ff-5c39-467e-950c-9fef9ca7f701
State: Peer in Cluster (Connected)
[root@node01 ~]# gluster pool list
UUID Hostname State
707099ff-5c39-467e-950c-9fef9ca7f701 node02.lab.example.com Connected
2be7bf8f-fba4-4b3f-a510-31d99c7c9ccf localhost Connected
[root@node01 ~]#

6. 创建Volume以便进行挂载测试，glusterfs上可以创建多种类型的volume，例如简单点的distributed volume,replicated volume,复杂点的dispersed volume,当然也可以创建复合volume,如distributed-replicated volume.今次我们先来个简单的，创建一个2副本的replicated volume.

---我这里使用的是瘦逻辑卷做的底层存储，所以开始前先把瘦逻辑卷做出来：

[root@node01 ~]# pvs
PV VG Fmt Attr PSize PFree
/dev/sdb vg_bricks lvm2 a-- 20.00g 17.99g
[root@node01 ~]# vgs
VG #PV #LV #SN Attr VSize VFree
vg_bricks 1 2 0 wz--n- 20.00g 17.99g
[root@node01 ~]# lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
pool1 vg_bricks twi-aotz-- 2.00g 0.55 1.17
thinvol1 vg_bricks Vwi-a-tz-- 2.00g pool1 0.55
[root@node01 ~]#

---格式化逻辑卷并进行挂载,在格式化时注意要加参数-i size=512,这个是glusterfs需要的

[root@node01 ~]# mkfs -t xfs -i size=512 /dev/mapper/vg_bricks-thinvol1

[root@node01 ~]# mkdir /bricks/thinvol1/

[root@node01 ~]# mount /dev/mapper/vg_bricks-thinvol1 /bricks/thinvol1/

建议将挂载步骤写入到/etc/fstab里，以确保实现开机自动挂载

glusterfs是基于brick的，而且我们的brick不能是mount point，所以还要创建一个brick目录在挂载目录下

[root@node01 ~]# mkdir /bricks/thinvol1/brick/

如果开启了selinux,还需要配置安全上下文

[root@node01 ~]# chcon -R -t glusterd_brick_t /bricks/thinvol1/

7. Create and start volume

准备工作到此可以告一段落了，现在我们可以创建volume了

[root@node01 ~]# gluster volume create RepVol replica 2 \
> node01.lab.example.com:/bricks/thinvol1/brick \
> node02.lab.example.com:/bricks/thinvol1/brick

创建完后，volume还不能立即使用，我们还需要start volume

[root@node01 ~]# gluster volume start RepVol

[root@node01 ~]# gluster volume info RepVol

Volume Name: RepVol
Type: Replicate
Volume ID: 2ae04508-a5ec-47f6-a436-e3a87ee39ced
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node01.lab.example.com:/bricks/thinvol1/brick
Brick2: node02.lab.example.com:/bricks/thinvol1/brick

...

8. 在Client端使用Volume，这里我们假设我们的node02是一个Client节点

Glusterfs支持的挂载类型根据挂载方式不同可以分为以下三类：

1）Native mount，需要安装glusterfs-fuse，本身支持高可用

2）NFS 方便简单，在创建完 volume后，glusterfs会自动启动一个nfs共享进程，server端只需在firewall中打开nfs相关的access即可，无需其他配置

firewall-cmd --add-service=nfs

firewall-cmd --add-service=rpc-bind

3）Samba 配置较上面两种类型稍显复杂，但也有优点，就是可以支持Windows挂载，这里我们不做详细介绍了

---使用Native mount挂载gluster volume 到node02节点的/test目录下

[root@node02 glusterfs]# mount -t glusterfs node02.lab.example.com:RepVol /test/
[root@node02 glusterfs]# df -h | grep test
node02.lab.example.com:RepVol 2.0G 33M 2.0G 2% /test

[root@node02 ~]# cd /test
[root@node02 test]# touch file{1..100}.txt

[root@node02 test]# ls -l /test/ | grep -v total | wc -l
100

分别在node01 和node02 上验证下，发现在两个节点的brick里面都存在100个测试文件：

[root@node01 ~]# ls -l /bricks/thinvol1/brick/ | grep -v total | wc -l
100

[root@node02 test]# ls -l /bricks/thinvol1/brick/ | grep -v total | wc -l100