GFS有两种缩写,既然是说centos,Google的就不提了。
说的是Redhat 的GFS(Global File System)
其实就是多个机器,共享同一块磁盘,正式应用来说,比如光纤接入,或者iscsi。
在windows下,同时访问同一块磁盘会出问题,第一个接入的磁盘的机器,写入的文件,其它机器看不见。
Linux的GFS系统就是解决这个问题。
目前GFS已经是GFS2了。
它必须运行在集群下,所以先要搞好一个集群的环境。
先做好2台机器,编写好/etc/hosts文件,域名和IP的两台机器的解析都写入进去。
然后开始安装
之前要把所以机器的防火墙关闭
iptables -F
service iptables save
关闭selinux
vim /etc/sysconfig/selinux
把SELINUX这个项目改成disbaled SELINUX=disabled
为了简化操作,用ricci操控,每台机器上安装ricci
yum -y install ricci
开机运行
chkconfig ricci on
运行
ricci start
给ricci账户配密码为shenxu
echoshenxu | passwd --stdin ricci
关闭NetworkManager
chkconfig NetworkManager off
安装luci在作为控制界面,只安装一台即可
yum -y install luci
开机运行
chkconfig luci on
通过浏览器访问
https://IP:8084
login:root 密码就是root的
进入界面后点击Manage Clusters点击creat,创建一个新的集群,名字随便这我建立一个叫cluster1214,Use the Same Password for All Nodes这个点击上,Node Name就是每台机器的域名,password就是刚才为ricci设置的密码,刚才设的shenxu,然后选择Download Packages,用最新的嘛,
Reboot Nodes Before Joining Cluster和Enable Shared Storage Support也选上
然后ricci就开始安装集群的各个组件cman,rgmanager,modclusterd,clvmd,安装完了就会把所有节点的机器都重启。
我刚开始一直都起不来,直接去启动cman失败,提示是NetworkManager问题,stop也不行,后来必须chkconfig NetworkManager off才起动起来。
然后我启动了rgmanager和clvmd,当然查看一下chkconfig --list,看看是否都配置成了自动启动,没有的话手动配置一下。
另外要确认一下cat /etc/lvm/lvm.conf | grep locking_type是不是已经配置成了3,修改fallback_to_local_locking=0,以禁止回写。
看看所有机器的/etc/cluster/cluster.conf 是否已经同步了,正常情况ricci会完成cluster.conf以及lvm.conf里locking_type的修改,fallback_to_local_locking=0不会改。
没有配置Fence,是个硬件的东西,就是机器失败了给踢出集群去的一个东西,以后再说吧。
下面说一下GFS2文件系统的建立。
我用虚拟机ESXi建立的两个虚拟机,一个硬盘是普通安装系统的,另外一个盘是共享的,追加一个盘,scsi的接口,一定要和第一个盘总线分离,比如第一个是0:0,那么追加的共享盘一定要1:0,然后找到接共享盘的scsi控制器,选scsi的bus共享,可以选虚拟和物理,虚拟的意思是所有要共享的虚拟机都在同一台ESXi上,如果是vcenter控制的多台ESXi,虚拟机分布在多个物理的ESXi上,那么选物理。
在每台机器上fdisk -l看看,是不是都是/dev/sda,或许是sdb,然后在一台机器上
建立物理券
pvcreate /dev/sda
建立名字为gfs2cluster卷组
vgcreate gfs2cluster /dev/sda
看看出来了没
pvs
PV VG Fmt Attr PSize PFree
/dev/sda gfs2cluster lvm2 a--u 2.00g 0
建立名为gfs2data的逻辑券,并把gfs2cluster卷组加入,分配100%的容量
lvcreate -n gfs2data -l 100%FREE gfs2cluster
查看一下
lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
gfs2data gfs2cluster -wi-ao---- 2.00g
lv_root vg_gfs1 -wi-ao---- 13.91g
lv_swap vg_gfs1 -wi-ao---- 1.60g
查看一下挂载点的名字
ll /dev/mapper/
total 0
crw-rw---- 1 root root 10,58 Dec 19 23:14 control
lrwxrwxrwx 1 root root 7 Dec 19 23:14 gfs2cluster-gfs2data -> ../dm-2
lrwxrwxrwx 1 root root 7 Dec 19 23:14 vg_gfs1-lv_root -> ../dm-0
lrwxrwxrwx 1 root root 7 Dec 19 23:14 vg_gfs1-lv_swap -> ../dm-1
gfs2cluster-gfs2data就是刚做出来的
建立gfs2的文件系统
mkfs.gfs2 -j 2 -p lock_dlm -t cluster1214:gfs2data /dev/mapper/gfs2cluster-gfs2data
-j 2是两个节点,-p lock_dlm是锁定方式,cluster1214是集群的名字,gfs2data是逻辑券,好像这个不这么写也可以,重要的是挂在点不能搞错了/dev/mapper/gfs2cluster-gfs2data
clustat看看集群的情况
做一目录,好挂载
mkdir /mnt/gfs2
写入fstab,自动挂载
echo "/dev/mapper/gfs2cluster-gfs2data /mnt/gfs2 gfs2 defaults,noatime,nodiratime,noquota 0 0" >> /etc/fstab
启动gfs2,挂载
service gfs2 start
然后就到/mnt/gfs2下面做个文件看看,在其它机器上是否也能看见,在其它机器上修改了,这边的机器是否能看见修改过的内容。