安装 Oracle 11gR2 RAC on Linux 6
本文介绍如何在Oracle Linux 6上安装2节点Oracle 11gR2 Real Application Cluster（RAC）。
前置条件：
通过安装Oracle Linux 6来准备所有节点。关于如何安装linux6在本分区的另外一个页面有讲解。
所有节点上都有私有连接和共享存储。我有3个磁盘（每个10G大小）用于CRS磁盘组用来存储OCR和Voting，以及1个磁盘（20G）用于DATA磁盘组来存储数据库。
在示例里面，我们有2个公共IP，2个虚IP，2个专有IP和1个 SCAN IP（从公共子网取出），我们将在安装过程中使用。
本文中，节点名称如下：
Public zichuan1.zichuan.com zichuan2.zichuan.com Virtual zichuan1-vip.zichuan.com zichuan2-vip.zichuan.com Private zichuan1-priv.zichuan.com zichuan2.priv.zichuan.com SCAN zichuan-scan.zichuan.com |
SCAN配置的推荐方法是具有通过DNS解析的3个IP地址。 由于我的环境里面没有DNS服务，我配置主机文件中的配置项进行SCAN配置，最后则使用单个SCAN IP地址。
下载并解压缩软件：
下载11g Grid 软件。
在本次操作中，我把软件压缩包提取到了/u02/11.2.0/目录下。
现在我们开始安装。以下便是在Linux上安装Oracle 11g RAC的步骤：
1）在每个节点上编辑 /etc/selinux/config ，将SELINUX的值设置为"permissive"或"disabled"：
SELINUX=permissive |
2）在每个节点上，配置共享内存文件系统。在共享内存文件系统的 /etc/fstab 文件中添加以下行。根据您将要用于SGA的内存量修改"size"的值。
tmpfs /dev/shm tmpfs rw,exec,size=8g 0 0 |
3）在每个节点上，禁用防火墙。
[root@zichuan1 ~]# service iptables stop [root@zichuan1 ~]# chkconfig iptables off [root@zichuan1 ~]# service ip6tables stop [root@zichuan1 ~]# chkconfig ip6tables off [root@zichuan1 ~]# setenforce 0 [root@zichuan1 ~]# getenforce |
4）重启每个节点
5）在每个节点的 /etc/host 文件中，添加RAC的每个节点的IP地址和完全限定名称，包括公共IP; 虚拟IP; 私有IP和SCAN IP。
#Public 10.158.172.78 zichuan1.zichuan.com zichuan1 10.158.172.79 zichuan2.zichuan.com zichuan2 #Virtual 10.158.172.101 zichuan1-vip.zichuan.com zichuan1-vip 10.158.172.102 zichuan2-vip.zichuan.com zichuan2-vip #Private 10.10.10.10 zichuan1-priv.zichuan.com zichuan1-priv 10.10.10.11 zichuan2-priv.zichuan.com zichuan2-priv #SCAN 10.158.172.120 zichuan-scan.zichuan.com zichuan-scan |
确保每个节点的公共接口和专用接口具有相同的名称，并且在所有节点上在ifconfig命令下，以相同的顺序列出，（我的公共接口名称为eth0，专用接口名称为eth1）。
注：如果没有特殊需求，测试环境可以用共享网段的IP作为私有网，不影响使用。
6）测试保证每个节点到另一个节点的ping命令可以连通。
节点zichuan1
[root@zichuan1 ~]# ping zichuan1 [root@zichuan1 ~]# ping zichuan1-priv [root@zichuan1 ~]# ping zichuan2 [root@zichuan1 ~]# ping zichuan2-priv |
节点zichuan2
[root@zichuan2 ~]# ping zichuan2 [root@zichuan2 ~]# ping zichuan2-priv [root@zichuan2 ~]# ping zichuan1 [root@zichuan2 ~]# ping zichuan1-priv |
7）我们可以使用"yum"命令执行节点的自动配置。
自动配置将执行以下任务：
安装所需的RPM包
在/etc/sysctl.conf文件中设置内核参数
创建OS组（oinstall，dba）和OS用户（oracle）
为安装用户"oracle" 设置限制
在每个节点上，执行以下命令以自动执行所有预设置：
[root@zichuan1 ~]# yum install oracle-rdbms-server-11gR2-preinstall -y |
如果计划通过创建"grid"用户安装和管理grid以实现角色分离，并为数据库软件使用"oracle"用户，您将需要手动创建更多的OS组和"grid"用户，如下所示（在每个节点上）：
增加组
[root@zichuan1 ~]# groupadd -g 54323 oper [root@zichuan1 ~]# groupadd -g 54325 asmdba [root@zichuan1 ~]# groupadd -g 54328 asmadmin [root@zichuan1 ~]# groupadd -g 54329 asmoper |
[root@zichuan1 ~]# useradd -u 54322 -g oinstall -G dba,asmdba,asmadmin,asmoper grid |
为用户设置密码(oracle 和 grid)
[root@zichuan1 ~]# passwd oracle [root@zichuan1 ~]# passwd grid |
将oracle 用户加入oper 和 asmdba 组
[root@zichuan1 ~]# usermod -g oinstall -G dba,oper,asmdba oracle |
如果您为grid安装创建了用户"grid"，则还需要为grid用户手动设置这些限制。 您可以在 /etc/security/limits.d 目录下创建一个单独的 oracle-rdbms-server-11gR2-preinstall.conf 文件:
grid soft nofile 1024 grid hard nofile 65536 grid soft nproc 16384 grid hard nproc 16384 grid soft stack 10240 grid hard stack 32768 grid hard memlock 134217728 grid soft memlock 134217728 |
8）在每个节点上，安装 oracleasm-support 和 oracleasmlib，然后配置 oracleasm 。
从yum源或Linux本地包安装oracleasm，然后从以下URL下载oracleasmlib包，然后安装。
http://www.oracle.com/technetwork/server-storage/linux/asmlib/ol7-2352094.html
安装oracleasmlib和oracleasm-support：
[root@zichuan1 ~]# yum install oracleasm-support [root@zichuan1 ~]# rpm -ivh oracleasmlib-2.0.12-1.el7.x86_64.rpm |
配置 oracleasm（高亮显示为配置中的输入）
[root@zichuan1 ~]# /etc/init.d/oracleasm configure Configuring the Oracle ASM library driver.
This will configure the on-boot properties of the Oracle ASM library driver. The following questions will determine whether the driver is loaded on boot and what permissions it will have. The current values will be shown in brackets ('[]'). Hitting <ENTER> without typing an answer will keep that current value. Ctrl-C will abort.
Default user to own the driver interface []: grid Default group to own the driver interface []: asmadmin Start Oracle ASM library driver on boot (y/n) [n]: y Scan for Oracle ASM disks on boot (y/n) [y]: y Writing Oracle ASM library driver configuration: done Initializing the Oracle ASMLib driver: [ OK ] Scanning the system for Oracle ASMLib disks: [ OK ]
检查配置 [root@zichuan1 ~]# /usr/sbin/oracleasm configure ORACLEASM_UID=grid ORACLEASM_GID=asmadmin ORACLEASM_SCANBOOT=true ORACLEASM_SCANORDER="" ORACLEASM_SCANEXCLUDE="" ORACLEASM_USE_LOGICAL_BLOCK_SIZE="false" |
9）在每个节点上，如果不存在，请在 /etc/pam.d/login 文件中添加以下内容：
10）在每个节点上，停止并禁用NTP,在安装过程中,将安装并使用群集时间同步服务。
[root@zichuan1 ~]# /sbin/service ntpd stop [root@zichuan1 ~]# chkconfig ntpd off [root@zichuan1 ~]# mv /etc/ntp.conf /etc/ntp.conf.org [root@zichuan1 ~]# rm /var/run/ntpd.pid |
11）在每个节点上，确保 /etc/resolv.conf 文件包含以下内容。将您的域名替换为 zichuan.com。
search zichuan.com |
12）在每个节点，安装cvuqdisk RPM。
这对于 cluvfy （群集验证实用程序）的正常工作用以发现共享磁盘是必需的，否则将在运行 cluvfy 时报告错误。以 root 身份登录，并执行以下步骤：
设置环境变量 CVUQDISK_GRP 并指向拥有 cvuqdisk 的 oinstall 组
[root@zichuan1 ~]# export CVUQDISK_GRP=oinstall |
解压的 gird 软件下找到 cvuqdisk 包，并安装 cvuqdisk
[root@zichuan1 ~]# cd /u02/11.2.0/grid/rpm [root@zichuan1 ~]# rpm -ivh cvuqdisk-1.0.9-1.rpm |
13）在每个节点，创建目录并更改相应的用户的权限（grid 和 oracle）。
[root@zichuan1 ~]# mkdir -p /u01/app/11.2.0/grid [root@zichuan1 ~]# mkdir -p /u01/app/grid [root@zichuan1 ~]# mkdir -p /u01/app/oracle [root@zichuan1 ~]# chown -R grid:oinstall /u01 [root@zichuan1 ~]# chown oracle:oinstall /u01/app/oracle [root@zichuan1 ~]# chmod -R 775 /u01/ |
14）从任一节点，分出一个共享磁盘。如最初所描述的，我共有4个磁盘，3个用于OCR和Voting磁盘，1个用于DATA磁盘组。高亮显示的磁盘是我将使用此磁盘创建分区，然后使用oracleasm创建ASM磁盘。
[root@zichuan1 ~]# ls -l /dev/vd* brw-rw----. 1 root disk 8,0 Apr 7 11:38 /dev/vda brw-rw----. 1 root disk 8,1 Apr 7 11:38 /dev/vda1 brw-rw----. 1 root disk 8,2 Apr 7 11:38 /dev/vda2 brw-rw----. 1 root disk 8,16 Apr 7 11:38 /dev/vdb brw-rw----. 1 root disk 8,32 Apr 7 11:38 /dev/vdc brw-rw----. 1 root disk 8,48 Apr 7 11:38 /dev/vdd brw-rw----. 1 root disk 8,64 Apr 7 11:38 /dev/vde |
使用以下步骤来为每个磁盘（/dev/sdc,/dev/sdd,/dev/sde,/dev/sdf）分区。
为了简单起见，在为每个磁盘执行命令fdisk后，按下列顺序键 n，p，1，<enter>，<enter>，w为每个磁盘创建新的分区。
[root@zichuan1 ~]# fdisk /dev/vdb Welcome to fdisk (util-linux 2.23.2). Changes will remain in memory only,until you decide to write them. Be careful before using the write command.
Device does not contain a recognized partition table Building a new DOS disklabel with disk identifier 0x457c3565.
Command (m for help): n Partition type: p primary (0 primary,0 extended,4 free) e extended Select (default p): p Partition number (1-4,default 1): 1 First sector (2048-25165823,default 2048): Using default value 2048 Last sector,+sectors or +size{K,M,G} (2048-25165823,default 25165823): Using default value 25165823 Partition 1 of type Linux and of size 12 GiB is set
Command (m for help): w The partition table has been altered!
Calling ioctl() to re-read partition table. Syncing disks. |
分区完成后，以下是我的分区磁盘：
[root@zichuan1 ~]# ls -l /dev/vd* … … … brw-rw----. 1 root disk 8,80 Apr 7 12:08 /dev/vdb brw-rw----. 1 root disk 8,81 Apr 7 12:08 /dev/vdb1 brw-rw----. 1 root disk 8,32 Apr 7 12:04 /dev/vdc brw-rw----. 1 root disk 8,33 Apr 7 12:04 /dev/vdc1 brw-rw----. 1 root disk 8,48 Apr 7 12:08 /dev/vdd brw-rw----. 1 root disk 8,49 Apr 7 12:08 /dev/vdd1 brw-rw----. 1 root disk 8,64 Apr 7 12:08 /dev/vde brw-rw----. 1 root disk 8,65 Apr 7 12:08 /dev/vde1 |
15）从任一节点，使用oracleasm命令创建ASM磁盘。
[root@zichuan1 ~]# oracleasm createdisk crs1 /dev/vdb1 Writing disk header: done Instantiating disk: done [root@zichuan1 ~]# oracleasm createdisk crs2 /dev/vdc1 Writing disk header: done Instantiating disk: done [root@zichuan1 ~]# oracleasm createdisk crs3 /dev/vdd1 Writing disk header: done Instantiating disk: done [root@zichuan1 ~]# oracleasm createdisk data /dev/vde1 Writing disk header: done Instantiating disk: done [root@zichuan1 sys]# oracleasm scandisks Reloading disk partitions: done Cleaning any stale ASM disks... Scanning system for ASM disks... [root@zichuan1 sys]# oracleasm listdisks CRS1 CRS2 CRS3 DATA |
在所有其他节点上执行"oracleasm scandisks" 和"oracleasm listdisks"命令也可以看到所有的ASM磁盘。
从其他节点，以root用户身份执行以下命令：
[root@zichuan2 ~]# oracleasm scandisks Reloading disk partitions: done Cleaning any stale ASM disks... Scanning system for ASM disks... [root@zichuan2 ~]# oracleasm listdisks CRS1 CRS2 CRS3 DATA |
16）在每个节点上，为ASM磁盘添加IO调度程序。修改高亮显示的磁盘名称以匹配您的环境。
[root@zichuan1 ~]# echo deadline > /sys/block/vdb/queue/scheduler [root@zichuan1 ~]# echo deadline > /sys/block/vdc/queue/scheduler [root@zichuan1 ~]# echo deadline > /sys/block/vdd/queue/scheduler [root@zichuan1 ~]# echo deadline > /sys/block/vde/queue/scheduler |
17）在每个节点上，在两个用户，"grid" 和"oracle" 的 /home/<username>/.bash_profile 文件中添加以下内容。在这个步骤，我们不需要设置其他环境变量，即ORACLE_BASE 或 ORACLE_HOME。
umask 022 |
18）选择要启动安装的节点( 任一节点 )，以"grid"用户身份登录桌面系统。
19）从提取的软件目录（/u02/11.2.0/grid），执行"./runInstaller"开始安装。
20）开始安装
选择"Advance Installation"，然后单击下一步
如果需要，更改集群名称和SCAN名称和SCAN端口。确保SCAN名称与/ etc / host文件中指定的相同。取消选中"Configure GNS"。点击下一步
您将只看到第一个节点（您启动安装的位置）。单击添加以打开一个窗口以提供第二个节点的详细信息。您需要通过单击 add 按钮添加 RAC 环境中每个节点的详细信息。
单击SSH Connectivity。如果您已经通过SSH配置无密码登录到远程节点，则应该跳过下一个设置。
点击SSH连接后，您将看到文本框提供用户名（grid）和密码来设置SSH连接。提供密码并点击设置按钮。配置SSH需要几秒钟的时间。
为公共网络和专有网络选择正确的网络接口，然后单击下一步
提供磁盘组名称。由于将 OCR 和 Voting 磁盘存储在这个磁盘组上，所以需要提供CRS。选择"External"。应使用正常（至少需要2个磁盘）或高冗余（至少需要3个磁盘）来防止磁盘故障。选择ASM磁盘作为此磁盘组的一部分。
为用户SYS（SYSASM ）提供密码，然后单击下一步
如果需要，根据上一步创建的目录修改路径。或者您可以继续使用默认位置。点击下一步
如果您看到任何先决条件检查失败/警告，请在单击下一步之前进行修复。在我的情况下，我忽略了所有这些，因为以下原因。
i） 警告，还不知道原因。
执行完脚本后，点击next。
单击关闭，安装成功完成。
21）在每个节点上，在 .bash_profile 文件中添加以下环境变量。
在node2上，ORACLE_SID值应为+ ASM2，依此类推，并用source命令使其生效。
##grid user environment variables ORACLE_SID=+ASM1; export ORACLE_SID ORACLE_BASE=/u01/app/grid; export ORACLE_BASE ORACLE_HOME=/u01/app/11.2.0/grid; export ORACLE_HOME ORACLE_TERM=xterm; export ORACLE_TERM PATH=$ORACLE_HOME/bin:$PATH; export PATH LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:/usr/local/lib; export LD_LIBRARY_PATH CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib; export CLASSPATH export TEMP=/tmp export TMPDIR=/tmp |
22）在每个节点上，检查CRS的健康状况。一切似乎都可以正常工作
[root@zichuan1 ~]# crsctl stat res -t -------------------------------------------------------------------------------- NAME TARGET STATE SERVER STATE_DETAILS -------------------------------------------------------------------------------- Local Resources -------------------------------------------------------------------------------- ora.CRS.dg ONLINE ONLINE zichuan1 ONLINE ONLINE zichuan2 ora.LISTENER.lsnr ONLINE ONLINE zichuan1 ONLINE ONLINE zichuan2 ora.asm ONLINE ONLINE zichuan1 Started ONLINE ONLINE zichuan2 Started ora.gsd OFFLINE OFFLINE zichuan1 OFFLINE OFFLINE zichuan2 ora.net1.network ONLINE ONLINE zichuan1 ONLINE ONLINE zichuan2 ora.ons ONLINE ONLINE zichuan1 ONLINE ONLINE zichuan2 -------------------------------------------------------------------------------- Cluster Resources -------------------------------------------------------------------------------- ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE zichuan1 ora.cvu 1 ONLINE ONLINE zichuan1 ora.oc4j 1 ONLINE ONLINE zichuan1 ora.scan1.vip 1 ONLINE ONLINE zichuan1 ora.zichuan1.vip 1 ONLINE ONLINE zichuan1 ora.zichuan2.vip 1 ONLINE ONLINE zichuan2
[root@zichuan1 grid]# srvctl status scan SCAN VIP scan1 is enabled SCAN VIP scan1 is running on node zichuan1 [root@zichuan1 grid]# srvctl status scan_listener SCAN Listener LISTENER_SCAN1 is enabled SCAN listener LISTENER_SCAN1 is running on node zichuan1
[grid@zichuan2 ~]$ srvctl status scan SCAN VIP scan1 is enabled SCAN VIP scan1 is running on node zichuan1
[grid@zichuan2 ~]$ srvctl status scan_listener SCAN Listener LISTENER_SCAN1 is enabled SCAN listener LISTENER_SCAN1 is running on node zichuan1 |
23）安装数据库软件
在开始数据库软件安装之前，首先我们创建一个用于存储数据库的磁盘组DATA; 我们将在数据库软件安装期间正式创建。
打开终端并以操作系统用户"grid"登录。现在使用 sqlPLUS 以 SYSASM 权限登录到 ASM 实例，然后创建磁盘组 DATA。
[grid@zichuan1 ~]$ sqlplus
sql*Plus: Release 11.2.0.4.0 Production on Tue Sep 19 22:45:42 2017
Copyright (c) 1982,2013,Oracle. All rights reserved.
Enter user-name: sys as sysasm Enter password:
Connected to: Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production With the Real Application Clusters and Automatic Storage Management options
sql> select name,path from v$asm_disk;
NAME ------------------------------ PATH --------------------------------------------------------------------------------
ORCL:DATA
CRS1 ORCL:CRS1
CRS2 ORCL:CRS2
CRS3 ORCL:CRS3
创建磁盘组。
sql> create diskgroup DATA external redundancy disk 'ORCL:DATA' ATTRIBUTE 'compatible.asm'='11.2.0.0.0','compatible.rdbms'='11.2.0.0.0';
Diskgroup created.
If you created this diskgroup from node1,use srvctl command to start this new disk resource on all other nodes [grid@zichuan1 ~]$ srvctl start diskgroup -g DATA -n zichuan2 |
由于我在这里使用2个不同的操作系统用户，所以从任一节点，都可以使用桌面系统以用户"oracle"身份登录，并从数据库软件已被提取的目录启动安装。
[oracle@zichuan1 database]$cd /u02/11.2.0/database
[oracle@zichuan1 database]$./runInstaller |
跳过软件更新
在安装过程中创建一个新的数据库。 点击下一步。
选择Server类数据库。点击下一步
默认情况下，选择所有节点进行数据库软件安装，单击"SSH Connectivity"按钮，以前在 grid 基础架构安装期间配置了 grid 用户，需要配置SSH连接。这次SSH将被配置为"oracle"用户。配置完成后，单击下一步。
如果需要修改路径的话，请先修改路径，这个与后面oracle环境变量里面的参数有关系，注意路径需要一致。
选择要创建的数据库类型，单击下一步。
根据实际情况，指定数据库实例的内存分配详细信息，一般而言使用推荐的大小就可以。
选择"Oracle自动存储管理"，因为我们已经创建了一个用于存储数据库的ASM磁盘。
这个密码不知道是干嘛的，反正和数据库密码设置成同一个了。
设置数据库自动备份策略以及数据库recover密码，这个密码一定要记住。
另：这个可以选择不备份。
第一个警告仍然不知道为什么，网上查了应该是不需要管他。
第二个是因为
数据库正在安装实例。
如果没有这一步的话，实例将无法正确运行。
这个过程相当漫长，需要耐心等待。
在安装过程中，将提示您以root身份在两个节点上执行root.sh。
当提示时，逐个在两个节点上执行，单击确定关闭该框，以便进一步安装。
[root@zichuan1 dbhome]# ./root.sh Performing root user operation for Oracle 11g
The following environment variables are set as: ORACLE_OWNER= oracle ORACLE_HOME= /u01/app/oracle/product/11.2.0/dbhome
Enter the full pathname of the local bin directory: [/usr/local/bin]: The contents of "dbhome" have not changed. No need to overwrite. The contents of "oraenv" have not changed. No need to overwrite. The contents of "coraenv" have not changed. No need to overwrite.
Entries will be added to the /etc/oratab file as needed by Database Configuration Assistant when a database is created Finished running generic part of root script. Now product-specific root actions will be performed. Finished product-specific root actions |
至此，安装成功。
24）在两个节点上的"oracle"用户的 .bash_profile 中添加以下环境变量设置，并source使之生效。
相应地为每个节点修改ORACLE_SID的值。
ORACLE_SID=zichuan1; export ORACLE_SID ORACLE_BASE=/u01/app/oracle; export ORACLE_BASE ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome; export ORACLE_HOME ORACLE_TERM=xterm; export ORACLE_TERM PATH=$ORACLE_HOME/bin:$PATH; export PATH LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:/usr/local/lib; export LD_LIBRARY_PATH CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib; export CLASSPATH export TEMP=/tmp export TMPDIR=/tmp |
25）RAC安装成功完成。检查所有资源和数据库实例的状态
[grid@zichuan1 dbhome]$ crsctl stat res -t -------------------------------------------------------------------------------- NAME TARGET STATE SERVER STATE_DETAILS -------------------------------------------------------------------------------- Local Resources -------------------------------------------------------------------------------- ora.CRS.dg ONLINE ONLINE zichuan1 ONLINE ONLINE zichuan2 ora.DATA.dg ONLINE ONLINE zichuan1 ONLINE ONLINE zichuan2 ora.LISTENER.lsnr ONLINE ONLINE zichuan1 ONLINE ONLINE zichuan2 ora.asm ONLINE ONLINE zichuan1 Started ONLINE ONLINE zichuan2 Started ora.gsd OFFLINE OFFLINE zichuan1 OFFLINE OFFLINE zichuan2 ora.net1.network ONLINE ONLINE zichuan1 ONLINE ONLINE zichuan2 ora.ons ONLINE ONLINE zichuan1 ONLINE ONLINE zichuan2 -------------------------------------------------------------------------------- Cluster Resources -------------------------------------------------------------------------------- ora.LISTENER_SCAN1.lsnr 1 ONLINE ONLINE zichuan1 ora.cvu 1 ONLINE ONLINE zichuan1 ora.oc4j 1 ONLINE ONLINE zichuan1 ora.scan1.vip 1 ONLINE ONLINE zichuan1 ora.zichuan1.vip 1 ONLINE ONLINE zichuan1 ora.zichuan2.vip 1 ONLINE ONLINE zichuan2 ora.zichuandb.db 1 ONLINE ONLINE zichuan1 Open 2 ONLINE ONLINE zichuan2 Open
[grid@zichuan1 dbhome]$ srvctl status database -d zichuandb Instance zichuan1 is running on node zichuan1 Instance zichuan2 is running on node zichuan2 |
