搞了好多oracle rac,都用的是共享存储。双控制器加满配磁盘,15000转的sas插满插槽,做成raid 10,代价还是挺大的。近期在做开源超融合测试,取得了非常理想的效果:去中心化、高可用、开源且成本低,能实现任意一物理机故障时,运行其上的虚拟机自动漂移。不光解决了服务器虚拟化的高可用性,同时也可把桌面虚拟化也整合进来。
于是乎,我就想用这套平台部署oracle 12c rac,不需要共享存储,可用性比外挂存储高了很多,而且io负荷也远比共享存储低。大致的规划是这样的:
1、准备3-4个物理服务器,配置完全相同,至少两个网卡。
2、物理服务器组成去中心化的集群,并部署好集成的分布式文件系统ceph。
3、创建若干虚拟机,分布于不同的物理宿主机。
4、选择三个虚拟机,这几个虚拟机位于不同的物理宿主服务器。其中两个用于安装oracle 软件,剩下一个虚拟机安装openfiler,做为iscsi服务。本来ceph可以直接提供给oracle使用,但配置起来还是很繁复的。
假定任意物理服务器发生故障,运行其上的虚拟机,不管是啥应用,都会自动故障转移,从而保证业务的可用性。有幸得到志超兄弟的大力支持,提高了一个性能强悍的proxmox集群环境。
好家伙,六个节点,只要有2个物理服务器活着,其它机器随便死都没事。在安装部署之前,先来看看存储的情况,耶!2T多,足够我测试使用呢!
接下来,创建三个虚拟机。这些虚拟机,全部创建在分布式存储上,才可用实现虚拟机的高可用。由于已经准备好前边所需的环境,关于proxmox集群、pveceph部署及创建存储池,我就没必要再来一遍。当然,我后边打算写文档,介绍这些过程。
创建虚拟机
从proxmox的web管理界面,创建两个虚拟机,其配置如下图所示:
使用了两个磁盘,一个磁盘安装centos7,另外一个用来oracle软件的安装目录。两个网卡,有一个是用于oracle心跳检测的。在虚拟机上安装centos7不是什么难事,这里不再描述。
创建好的虚拟机,两个oracle 、一个openfiler,创建完毕以后,都需要加入高可用集群里。操作方法是:选中虚拟机-->更多(在管理界面右上角)-->管理ha,选取事先创建好的高可用组,并对请求状态进行选择(默认是start,代表虚拟机漂移后处于启动状态)。
只有加入高可用集群组,物理节点发生故障,运行其上的虚拟机才会自动漂移到正常的其它物理节点。
检查虚拟机的网络连接情况,保证各虚拟机的互通性。计划安装oracle rac的两节点,心跳网络也要是通常的。
openfiler存储配置
以iscsi服务把磁盘空间提供给安装oracle rac的系统,openfiler安装过程比较简单,也不再进行描述。
以web界面登录openfiler管理后台,启用iscsi服务。
创建物理卷、逻辑卷、逻辑单元映射,皆在此web界面上完成。只要规划合理,一次就可以完成全部配置。如果觉得不合适,删除掉再来一遍即可。
挂载iscsi磁盘
只需简单几个步骤,即可在主机上挂接好iscsi共享磁盘,并且使之随系统开机启动。
○启动iscsi服务。Centos默认可能没有安装熟悉而好用的ntsysv,yum安装一个吧。执行ntsysv吧iscsi项选上,下次开机,iscsi服务就自动起来了。
○扫描iscsi目标,并记录下输出信息,指令如下:
[root@db115 ~]# iscsiadm -m discovery -t sendtargets -p 172.16.35.107
172.16.35.107:3260,1 iqn.2006-01.com.openfiler:tsn.3ceca0a95110
需要的就是数字“1”后边加粗的部分信息。
○挂接目标磁盘,指令如下:
# iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.3ceca0a95110 –l
Logging in to [iface: default,target: iqn.2006-01.com.openfiler:tsn.3ceca0a95110,portal: 172.16.35.107,3260] (multiple)
Login to [iface: default,3260] successful.
○磁盘挂接验证,两个主机都执行一次,指令如下:
[root@db115 ~]# fdisk –l
...……………………………省略…………………………………
Disk /dev/sdc: 51.2 GB,51170508800 bytes,99942400 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk /dev/sdd: 122.9 GB,122876329984 bytes,23×××832 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk /dev/sde: 10.2 GB,10234101760 bytes,19988480 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
以此法共享出三个卷,并挂接在每一个节点上。
部署oracle 12c rac
鉴于本人曾经发布过oracle 12c rac部署的文章,而且非常详细,这里就不打算再重新写一次或者再来个复制粘贴。猛搓此处可直达目标
测试oracle可用性
实例、监听器等都正常运行以后,暴力关掉任意一个物理节点。从proxmox的web管理界面观察虚拟机漂移状况。同时试着访问oralce集群实例,故障转移完毕,再把关闭了的物理节点加入集群(开机就自动加入了),检查整个集群的状态。稳定后,再换一台物理节点暴力关机,检查oracle rac集群的可用性是否正常。