Oracle 11gR2 RAC 的安装。 这个实验采用的架构：
虚拟机VMServer 2.0 + REDHAT 5.4 +Oracle 11gR2+openfiler存储 + DNS server (scan)，openfiler通过iscsi 连接到虚拟机上，作为共享设备。
参考Oracle 官方文档：
在 Oracle Enterprise Linux 和 iSCSI 上构建您自己的 Oracle RAC 11g 集群
http://www.oracle.com/technology/global/cn/pub/articles/hunter-rac11gr2-iscsi.html
一． 准备工作
1. 存储的分配：
这里对在openfiler上划分了3个target。 CRS, FRA和 Data。 然后在服务器上通过multipath进行绑定。虚拟机的安装和openfiler 的安装及配置， 具体参考Blog：
openfiler 搭建虚拟存储 并 配置服务端
http://blog.csdn.net/tianlesoftware/archive/2010/10/29/5973222.aspx
Multipath实现LUN设备名称的持久化
http://blog.csdn.net/tianlesoftware/archive/2010/11/01/5979061.aspx
Oracle 11gR2 RAC 新特性说明
http://blog.csdn.net/tianlesoftware/archive/2010/11/02/5982972.aspx
配置完之后的信息如下：
[root@rac1 ~]# multipath -ll
crs (14f504e46494c4500315a6b5774512d4c5136482d6a424447) dm-0 OPNFILER,VIRTUAL-DISK
[size=2.0G][features=1 queue_if_no_path][hwhandler=0][rw]
/_ round-robin 0 [prio=2][active]
/_ 9:0:0:0 sdb 8:16 [active][ready]
/_ 10:0:0:0 sde 8:64 [active][ready]
fra (14f504e46494c450039396b35564d2d643574372d33414c4a) dm-1 OPNFILER,VIRTUAL-DISK
[size=3.0G][features=1 queue_if_no_path][hwhandler=0][rw]
/_ round-robin 0 [prio=2][active]
/_ 7:0:0:0 sdc 8:32 [active][ready]
/_ 8:0:0:0 sdd 8:48 [active][ready]
data (14f504e46494c45004d574c6870432d756654352d33347766) dm-2 OPNFILER,VIRTUAL-DISK
[size=9.6G][features=1 queue_if_no_path][hwhandler=0][rw]
/_ round-robin 0 [prio=2][active]
/_ 11:0:0:0 sdf 8:80 [active][ready]
/_ 12:0:0:0 sdg 8:96 [active][ready]
[root@rac1 mapper]# ls -lrt /dev/mapper/*
crw------- 1 root root 10, 62 Nov 12 04:42 /dev/mapper/control
brw-rw---- 1 root disk 253, 0 Nov 12 05:24 /dev/mapper/crs
brw-rw---- 1 root disk 253, 1 Nov 12 05:24 /dev/mapper/fra
brw-rw---- 1 root disk 253, 2 Nov 12 05:24 /dev/mapper/data
2. 安装所需要的安装包：
binutils-2.17.50.0.6
compat-libstdc++-33-3.2.3
elfutils-libelf-0.125
elfutils-libelf-devel-0.125
elfutils-libelf-devel-static-0.125
gcc-4.1.2
gcc-c++-4.1.2
glibc-2.5-24
glibc-common-2.5
glibc-devel-2.52
glibc-headers-2.5
kernel-headers-2.6.18
ksh-20060214
libaio-0.3.106
libaio-devel-0.3.106
libgcc-4.1.2
libgomp-4.1.2
libstdc++-4.1.2
libstdc++-devel-4.1.2
make-3.81
sysstat-7.0.2
unixODBC-2.2.11
unixODBC-devel-2.2.11
用rpm -q 命令检查一下，如果没有，到系统安装盘里查找并安装一下
二. 设备进行格式化：
[root@rac1 mapper]# fdisk /dev/mapper/crs
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel. Changes will remain in memory only,
until you decide to write them. After that, of course, the previous
content won't be recoverable.
Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)
Command (m for help): n
Command action
e extended
p primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-257, default 1): --直接敲回车，用默认值
Using default value 1
Last cylinder or +size or +sizeM or +sizeK (1-257, default 257): --直接敲回车，用默认值
Using default value 257
Command (m for help): w
The partition table has been altered!
Calling ioctl() to re-read partition table.
WARNING: Re-reading the partition table failed with error 22: Invalid argument.
The kernel still uses the old table.
The new table will be used at the next reboot.
Syncing disks.
[root@rac1 mapper]# fdisk /dev/mapper/fra
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel. Changes will remain in memory only,
until you decide to write them. After that, of course, the previous
content won't be recoverable.
Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)
Command (m for help): n
Command action
e extended
p primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-387, default 1):
Using default value 1
Last cylinder or +size or +sizeM or +sizeK (1-387, default 387):
Using default value 387
Command (m for help): w
The partition table has been altered!
Calling ioctl() to re-read partition table.
WARNING: Re-reading the partition table failed with error 22: Invalid argument.
The kernel still uses the old table.
The new table will be used at the next reboot.
Syncing disks.
[root@rac1 mapper]# fdisk /dev/mapper/data
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel. Changes will remain in memory only,
until you decide to write them. After that, of course, the previous
content won't be recoverable.
The number of cylinders for this disk is set to 1248.
There is nothing wrong with that, but this is larger than 1024,
and could in certain setups cause problems with:
1) software that runs at boot time (e.g., old versions of LILO)
2) booting and partitioning software from other OSs
(e.g., DOS FDISK, OS/2 FDISK)
Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)
Command (m for help): n
Command action
e extended
p primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-1248, default 1):
Using default value 1
Last cylinder or +size or +sizeM or +sizeK (1-1248, default 1248):
Using default value 1248
Command (m for help): w
The partition table has been altered!
Calling ioctl() to re-read partition table.
WARNING: Re-reading the partition table failed with error 22: Invalid argument.
The kernel still uses the old table.
The new table will be used at the next reboot.
Syncing disks.
[root@rac1 mapper]# multipath -F -- 刷新一下multipath ，不然信息不能更新
[root@rac1 mapper]# ls -lrt /dev/mapper/*
crw------- 1 root root 10, 62 Nov 12 04:42 /dev/mapper/control
brw-rw---- 1 root disk 253, 0 Nov 12 05:33 /dev/mapper/crs
brw-rw---- 1 root disk 253, 1 Nov 12 05:33 /dev/mapper/fra
brw-rw---- 1 root disk 253, 2 Nov 12 05:33 /dev/mapper/data
brw-rw---- 1 root disk 253, 3 Nov 12 05:33 /dev/mapper/crsp1
brw-rw---- 1 root disk 253, 4 Nov 12 05:33 /dev/mapper/datap1
brw-rw---- 1 root disk 253, 5 Nov 12 05:33 /dev/mapper/frap1
这里多了一下/dev/mapper/frap1，datap1 和crsp1 的分区，这些就是已经格式化之后的磁盘。 我们可以直接使用。 下面我来看安装ASM，并将上面创建的几个分区创建成ASM 磁盘组。
这里要注意一个问题，权限问题。 现在看到的用户是root。 我们需要在Oracle 用户。修改rc.local. 让系统每次在启动时修改文件属性：
[root@rac1 mapper]# cat /etc/rc.d/rc.local
#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.
touch /var/lock/subsys/local
chown oracle:oinstall /dev/mapper/fra*
chown oracle:oinstall /dev/mapper/data*
chown oracle:oinstall /dev/mapper/crs*
执行下脚本：
[root@rac1 mapper]# sh /etc/rc.d/rc.local
[root@rac1 mapper]# ll
total 0
crw------- 1 root root 10, 62 Nov 13 08:47 control
brw-rw---- 1 oracle oinstall 253, 0 Nov 13 08:50 crs
brw-rw---- 1 oracle oinstall 253, 3 Nov 13 08:50 crsp1
brw-rw---- 1 oracle oinstall 253, 2 Nov 13 08:50 data
brw-rw---- 1 oracle oinstall 253, 4 Nov 13 08:50 datap1
brw-rw---- 1 oracle oinstall 253, 1 Nov 13 08:50 fra
brw-rw---- 1 oracle oinstall 253, 5 Nov 13 08:50 frap1
三. 创建用户和目录
1. 在所有节点上创建用户、组、目录结构和权限的建立
|
描述 |
OS 组名 |
分配给该组的 OS 用户 |
Oracle 权限 |
Oracle 组名 |
|
Oracle 清单和软件所有者 |
oinstall |
grid、oracle |
|
|
|
Oracle 自动存储管理组 |
asmadmin |
grid |
SYSASM |
OSASM |
|
ASM 数据库管理员组 |
asmdba |
grid、oracle |
ASM 的 SYSDBA |
OSDBA for ASM |
|
ASM 操作员组 |
asmoper |
grid |
ASM 的 SYSOPER |
OSOPER for ASM |
|
数据库管理员 |
dba |
oracle |
SYSDBA |
OSDBA |
|
数据库操作员 |
oper |
oracle |
SYSOPER |
OSOPER |
GRID 用户：
#groupadd -g 1000 oinstall
#groupadd -g 1200 asmadmin
#groupadd -g 1201 asmdba
#groupadd -g 1202 asmoper
#useradd -m -u 1100 -g oinstall -G asmadmin,asmdba,asmoper -d /home/grid -s /bin/bash -c "Grid Infrastructure Owner" grid
# id grid
Oracle 用户：
# groupadd -g 1301 oper
# useradd -m -u 1101 -g oinstall -G dba,oper,asmdba -d /home/oracle -s /bin/bash -c "Oracle Software Owner" oracle
# id oracle
修改密码：
passwd oracle
passwd grid
安装软件之前，执行以下过程，以验证在两个 Oracle RAC 节点上存在用户 nobody，要确定该用户是否存在，输入以下命令：
# id nobody
uid=99(nobody) gid=99(nobody) groups=99(nobody)
如果该命令显示了 nobody 用户的信息，则无需创建该用户。如果用户 nobody 不存在，则输入以下命令进行创建：
# /usr/sbin/useradd nobody
2. 在所有节点上创建安装目录
mkdir -p /u01/app/grid
mkdir -p /u01/app/11.2.0/grid
chown -R grid:oinstall /u01
mkdir -p /u01/app/oracle
chown -R oracle:oinstall /u01/app/oracle
chmod -R 775 /u01
chown -R oracle:oinstall /u01
3. 修改grid 和 Oracle 用户的登陆脚本：bash_profile 文件
Grid 用户：
以 grid 用户帐户分别登录到两个 Oracle RAC 节点并创建以下登录脚本 (.bash_profile)。在为每个 Oracle RAC 节点设置 Oracle 环境变量时，确保为每个 RAC 节点指定唯一的 Oracle SID。如：
racnode1：ORACLE_SID=+ASM1
racnode2：ORACLE_SID=+ASM2
# su - grid
#vi ~/.bash_profile
# ---------------------------------------------------
# .bash_profile
# ---------------------------------------------------
# OS User: grid
# Application: Oracle Grid Infrastructure
# Version: Oracle 11g release 2
# ---------------------------------------------------
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
ORACLE_SID=+ASM1; export ORACLE_SID
JAVA_HOME=/usr/local/java; export JAVA_HOME
ORACLE_BASE=/u01/app/grid; export ORACLE_BASE
ORACLE_HOME=/u01/app/11.2.0/grid; export ORACLE_HOME
ORACLE_PATH=/u01/app/oracle/common/oracle/sql; export ORACLE_PATH
# SQLPATH=/u01/app/common/oracle/sql; export SQLPATH
ORACLE_TERM=xterm; export ORACLE_TERM
NLS_DATE_FORMAT="DD-MON-YYYY HH24:MI:SS"; export NLS_DATE_FORMAT
TNS_ADMIN=$ORACLE_HOME/network/admin; export TNS_ADMIN
ORA_NLS11=$ORACLE_HOME/nls/data; export ORA_NLS11
PATH=.:${JAVA_HOME}/bin:${PATH}:$HOME/bin:$ORACLE_HOME/bin
PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin
PATH=${PATH}:/u01/app/common/oracle/bin
export PATH
LD_LIBRARY_PATH=$ORACLE_HOME/lib
LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib
LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib
export LD_LIBRARY_PATH
CLASSPATH=$ORACLE_HOME/JRE
CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib
CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib
CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib
export CLASSPATH
THREADS_FLAG=native; export THREADS_FLAG
export TEMP=/tmp
export TMPDIR=/tmp
# ---------------------------------------------------
# Set the default file mode creation mask
# (umask) to 022 to ensure that the user performing
# the Oracle software installation creates files
# with 644 permissions.
# ---------------------------------------------------
umask 022
Oracle 用户：
以 oracle 用户帐户分别登录到两个 Oracle RAC 节点并创建以下登录脚本 (.bash_profile)，在为每个 Oracle RAC 节点设置 Oracle 环境变量时，确保为每个 RAC 节点指定唯一的 Oracle SID。如：
racnode1：ORACLE_SID=racdb1
racnode2：ORACLE_SID=racdb2
# su - oracle
#vi ~/.bash_profile
# ---------------------------------------------------
# .bash_profile
# ---------------------------------------------------
# OS User: oracle
# Application: Oracle Database Software Owner
# Version: Oracle 11g release 2
# ---------------------------------------------------
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
ORACLE_SID=racdb1; export ORACLE_SID
ORACLE_UNQNAME=racdb; export ORACLE_UNQNAME
JAVA_HOME=/usr/local/java; export JAVA_HOME
ORACLE_BASE=/u01/app/oracle; export ORACLE_BASE
ORACLE_HOME=$ORACLE_BASE/product/11.2.0/dbhome_1; export ORACLE_HOME
ORACLE_PATH=/u01/app/common/oracle/sql; export ORACLE_PATH
ORACLE_TERM=xterm; export ORACLE_TERM
NLS_DATE_FORMAT="DD-MON-YYYY HH24:MI:SS"; export NLS_DATE_FORMAT
TNS_ADMIN=$ORACLE_HOME/network/admin; export TNS_ADMIN
ORA_NLS11=$ORACLE_HOME/nls/data; export ORA_NLS11
PATH=.:${JAVA_HOME}/bin:${PATH}:$HOME/bin:$ORACLE_HOME/bin
PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin
PATH=${PATH}:/u01/app/common/oracle/bin
export PATH
LD_LIBRARY_PATH=$ORACLE_HOME/lib
LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib
LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib
export LD_LIBRARY_PATH
CLASSPATH=$ORACLE_HOME/JRE
CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib
CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib
CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib
export CLASSPATH
THREADS_FLAG=native; export THREADS_FLAG
export TEMP=/tmp
export TMPDIR=/tmp
# ---------------------------------------------------
# UMASK
# ---------------------------------------------------
# Set the default file mode creation mask
# (umask) to 022 to ensure that the user performing
# the Oracle software installation creates files
# with 644 permissions.
# ---------------------------------------------------
umask 022
4. 为 Oracle 软件安装用户设置资源限制
要改善 Linux 系统上的软件性能，必须对 Oracle 软件所有者用户（grid、oracle）增加以下资源限制：
|
Shell 限制 |
limits.conf 中的条目 |
硬限制 |
|
打开文件描述符的最大数 |
nofile |
65536 |
|
可用于单个用户的最大进程数 |
nproc |
16384 |
|
进程堆栈段的最大大小 |
stack |
10240 |
以 root 用户身份，在每个 Oracle RAC 节点上，在 /etc/security/limits.conf 文件中添加以下几行代码：
[root@rac1 ~]# cat >> /etc/security/limits.conf <<EOF
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
EOF
-- 说明，绿色部分一起执行
在每个 Oracle RAC 节点上，在 /etc/pam.d/login 文件中添加或编辑下面一行内容：
[root@rac1 ~]# cat >> /etc/pam.d/login <<EOF
session required pam_limits.so
EOF
-- 说明，绿色部分一起执行
对默认的 shell 启动文件进行以下更改，以便更改所有 Oracle 安装所有者的 ulimit 设置：
（1）对于 Bourne、Bash 或 Korn shell，通过运行以下命令将以下行添加到 /etc/profile 文件：
[root@racnode1 ~]# cat >> /etc/profile <<EOF
if [ /$USER = "oracle" ] || [ /$USER = "grid" ]; then
if [ /$SHELL = "/bin/ksh" ]; then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
umask 022
fi
EOF
-- 说明，绿色部分一起执行
对于 C shell（csh 或 tcsh），通过运行以下命令将以下行添加到 /etc/csh.login 文件：
[root@racnode1 ~]# cat >> /etc/csh.login <<EOF
if ( /$USER == "oracle" || /$USER == "grid" ) then
limit maxproc 16384
limit descriptors 65536
endif
EOF
-- 说明，绿色部分一起执行
四. 安装配置 ASM
1. 安装ASM包
先安装ASM 包，这个几个包可以从Oracle 官网下载：
http://www.oracle.com/technology/tech/linux/asmlib/index.html
[root@rac1 mapper]# uname -rm
2.6.18-164.el5xen i686
[root@rac2 mnt]# ls -lrt
total 223
-rwxrwSrwx 1 root root 127565 Aug 8 23:38 oracleasm-2.6.18-164.el5xen-2.0.5-1.el5.i686.rpm
-rwxrwSrwx 1 root root 85382 Aug 8 23:38 oracleasm-support-2.1.3-1.el5.i386.rpm
-rwxrwSrwx 1 root root 13929 Aug 8 23:39 oracleasmlib-2.0.4-1.el5.i386.rpm
[root@rac2 mnt]# rpm -Uvh *.rpm
warning: oracleasm-2.6.18-164.el5xen-2.0.5-1.el5.i686.rpm: Header V3 DSA signature: NOKEY, key ID 1e5e0159
Preparing... ########################################### [100%]
1:oracleasm-support ########################################### [ 33%]
2:oracleasm-2.6.18-164.el########################################### [ 67%]
3:oracleasmlib ########################################### [100%]
2. 配置ASM
oracleasm 命令的默认路径为 /usr/sbin。以前版本中使用的 /etc/init.d 路径并未被弃用，但该路径下的 oracleasm 二进制文件现在一般用于内部命令。如果输入 oracleasm configure 命令时不带 -i 标志，则显示当前配置。
[root@rac1 mnt]# oracleasm configure
ORACLEASM_ENABLED=false
ORACLEASM_UID=
ORACLEASM_GID=
ORACLEASM_SCANBOOT=true
ORACLEASM_SCANORDER=""
ORACLEASM_SCANEXCLUDE=""
[root@rac2 mnt]# oracleasm configure -i -- 在所有节点都要执行。
Configuring the Oracle ASM library driver.
This will configure the on-boot properties of the Oracle ASM library
driver. The following questions will determine whether the driver is
loaded on boot and what permissions it will have. The current values
will be shown in brackets ('[]'). Hitting <ENTER> without typing an
answer will keep that current value. Ctrl-C will abort.
Default user to own the driver interface []: grid
Default group to own the driver interface []: asmadmin
Start Oracle ASM library driver on boot (y/n) [n]: y
Scan for Oracle ASM disks on boot (y/n) [y]: y
Writing Oracle ASM library driver configuration: done
You have new mail in /var/spool/mail/root
该脚本完成以下任务：
创建 /etc/sysconfig/oracleasm 配置文件
创建 /dev/oracleasm 挂载点
挂载 ASMLib 驱动程序文件系统
输入以下命令以加载 oracleasm 内核模块：
[root@rac1 mnt]# oracleasm init -- 在所有节点都要执行。
Creating /dev/oracleasm mount point: /dev/oracleasm
Loading module "oracleasm": oracleasm
Mounting ASMlib driver filesystem: /dev/oracleasm
如果这里没有配置，在安裝Clusterware后执行root.sh脚本时可能会触发错误，具体参考Blog：
oracle 11gR2 RAC root.sh 错误 ORA-15072 ORA-15018
http://blog.csdn.net/tianlesoftware/archive/2010/11/11/6001696.aspx
3. 创建ASM磁盘
创建过程在一个节点执行即可。 另一个节点扫描一下就可以识别到了。
在node1：
oracleasm createdisk CRS /dev/mapper/crsp1
oracleasm createdisk DATA /dev/mapper/datap1
oracleasm createdisk FRA /dev/mapper/frap1
node2：
[root@rac2 mnt]# oracleasm scandisks
Reloading disk partitions: done
Cleaning any stale ASM disks...
Scanning system for ASM disks...
Instantiating disk "CRS"
Instantiating disk "FRA"
Instantiating disk "DATA"
[root@rac2 mnt]# oracleasm listdisks
CRS
DATA
FRA
如果创建错误，可以用deletedisk参数，如：oracleasm deletedisk DATA
[root@rac2 mnt]# oracleasm querydisk DATA
Disk "DATA" is a valid ASM disk
到此，ASM的安装配置结束。
五. 配置时间同步
在集群中的两个 Oracle RAC 节点上执行以下集群时间同步服务配置。 Oracle Clusterware 11g 第 2 版及更高版本要求在部署了 Oracle RAC 的集群的所有节点上实现时间同步。
Oracle 提供了两种方法来实现时间同步：
一种方法是配置了网络时间协议 (NTP) 的操作系统，
另一种方法是新的 Oracle 集群时间同步服务 (CTSS)。Oracle 集群时间同步服务 (ctssd) 旨在为那些 Oracle RAC 数据库无法访问 NTP 服务的组织提供服务。
1. 配置集群时间同步服务 — (CTSS)
使用集群时间同步服务在集群中提供同步服务，需要卸载网络时间协议 (NTP) 及其配置。
要停用 NTP 服务，必须停止当前的 ntpd 服务，从初始化序列中禁用该服务，并删除 ntp.conf 文件。要在 Oracle Enterprise Linux 上完成这些步骤，以 root 用户身份在两个 Oracle RAC 节点上运行以下命令：
[root@racnode1 ~]# /sbin/service ntpd stop
[root@racnode1 ~]# chkconfig ntpd off
[root@racnode1 ~]# mv /etc/ntp.conf /etc/ntp.conf.original
还要删除以下文件：
[root@racnode1 ~]# rm /var/run/ntpd.pid
此文件保存了 NTP 后台程序的 pid。
当安装程序发现 NTP 协议处于非活动状态时，安装集群时间同步服务将以活动模式自动进行安装并通过所有节点的时间。如果发现配置了 NTP，则以观察者模式启动集群时间同步服务，Oracle Clusterware 不会在集群中进行活动的时间同步。
在安装后，要确认 ctssd 处于活动状态，请作为网格安装所有者 (grid) 输入以下命令：
[grid@racnode1 ~]$ crsctl check ctss
CRS-4701: The Cluster Time Synchronization Service is in Active mode.
CRS-4702: Offset (in msec): 0
2. 配置网络时间协议 —（仅当不按如上所述使用 CTSS 时）
如果正在使用 NTP，并且愿意继续使用它而不是集群时间同步服务，那么您需要修改 NTP 初始化文件，在其中设置 -x 标志，这样可避免向后调整时间。完成此任务后，重启网络时间协议后台程序。
为了在 Oracle Enterprise Linux、Red Hat Linux 和 Asianux 系统上完成此任务，编辑 /etc/sysconfig/ntpd 文件，添加 -x 标志，如下例所示：
[root@rac1 mapper]# cat /etc/sysconfig/ntpd
# Drop root to id 'ntp:ntp' by default.
OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"
# Set to 'yes' to sync hw clock after successful ntpdate
SYNC_HWCLOCK=no
# Additional options for ntpdate
NTPDATE_OPTIONS=""
然后，重启 NTP 服务。
# /sbin/service ntp restart
六. 修改内核参数和Hosts 文件
6.1 内核参数：
RHEL/OEL 5 上的 Oracle Database 11g 第 2 版需要如下所示的内核参数设置。给出的值都是最小值，因此如果您的系统使用更大的值，则不要更改。
#vi /etc/sysctl.conf
kernel.shmmax = 4294967295
kernel.shmall = 2097152
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
fs.file-max = 6815744
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default=262144
net.core.rmem_max=4194304
net.core.wmem_default=262144
net.core.wmem_max=1048576
fs.aio-max-nr=1048576
RHEL/OEL 5 已经配置了为以下内核参数定义的默认值：
kernel.shmall
kernel.shmmax
如果这些默认值等于或大于必需值，则使用这些默认值。
使修改的参数生效：
[root@rac1 ~]# sysctl -p
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 4294967295
kernel.shmall = 268435456
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
fs.file-max = 6815744
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
fs.aio-max-nr = 1048576
6.2 修改hosts文件
[root@rac2 ~]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1 localhost
# Public Network - (eth0)
192.168.6.223 rac1
192.168.6.226 rac2
# Private Interconnect - (eth1)
192.168.6.224 rac1-priv
192.168.6.227 rac2-priv
# Public Virtual IP (VIP) addresses - (eth0:1)
192.168.6.225 rac1-vip
192.168.6.228 rac2-vip
6.3 配置SCAN IP
这里我们配置2个SCAN IP。
192.168.6.233 rac-scan.tianlesoftware.com
192.168.6.232 rac-scan.tianlesoftware.com
关于Linux DNS Server 的配置参考：
Linux DNS Server 配置 -- for Oracle 11gR2 RAC SCAN IP
http://blog.csdn.net/tianlesoftware/archive/2010/11/13/6006247.aspx
配置完后，我们修改每个节点的dns：
[root@rac1 named]# vim /etc/resolv.conf
nameserver 192.168.6.223
七. 安装Clusterware
用mount命令将安装文件挂载到linux系统上：
mount -o username=administrator,password=888 //192.168.6.80/Software /mnt
用NoMachine 工具连接上节点1. 关于Nomachine工具的使用，参考blog：
远程桌面工具 -- NoMachine
http://blog.csdn.net/tianlesoftware/archive/2010/11/11/6003610.aspx
11g中Grid用户管理cluster 和 ocr。 所以这两个也是用grid用户来安装的。 运行./runInstaller命令，弹出安装界面。
开始安装：
1. Install and Configure Grid infrastructure a Cluster
2. Advanced Installation
3. 配置SCAN。 我们选择在DNS中定义域名的方式来解决，不配置GNS。
SCAN Name: rac-scan.tianlesoftware.com
SCAN Port : 1521
4. 添加Hostname 和 Virtual IP Name
5. 设置SSH 连接。 在10g里我们需要手工的去配置。 在11g中集成到安装中。 点击ssh connectivety. 然后输入密码，在设置一下，最后测试成功即可。设置的过程要等一会。
6. 选择网卡类型：eth0： public； eth1： private
7. 选择ASM 来存放OCR
8. 创建一个ASM 磁盘组来存放OCR。
9. 设置ASM 实例密码。 这个密码设置后会在$ORACLE_HOME/dbs/ 下生成一个orcl_+ASM的口令文件，如果忘记密码，可以用orapwd命令来修改。
10. 下一步，在安装之前会有个检测，如果有条件失败，就修改它，在检测。完全通过之后，进入安装。
这里物理内存提示至少需要1.5G。 我的虚拟机给了1G。 报错，忽略，继续安装。
还有要注意的， 对于交换区， 在安装操作系统的时候，最好设置在3G 以上。 不然也会有警告。
11. 安装技术提示执行2个脚本。 如果在第二个节点出现错误，用命令：
[root@rac2 ~]# /u01/app/11.2.0/grid/crs/install/roothas.pl -delete -force -verbose
删除相关信息，在执行，具体参考我的Blog：
oracle 11gR2 RAC root.sh 错误 ORA-15072 ORA-15018
http://blog.csdn.net/tianlesoftware/archive/2010/11/11/6001696.aspx
12. 执行完，点ok。 结束Clusterware的安装
八. 创建ASM 磁盘组
在安装Clusterware 的时候，会创建ASM 实例，但是它只创建了一个CRS 组来安装OCR 和Voting Disk。 在我们继续安装Oracle 数据库之前，我们需要创建一个DATA 和 FRA 的ASM 磁盘组来存放这些文件。 创建过程很简单。
运行asmca（ASM Configuration Assistant）命令就可以弹出创建窗口。
在窗口中创建完DATA 和 FRA 组后，退出窗口即可。
九. 安装数据库软件
1. 用Oracle 用户运行安装软件
2. 选择只安装软件
3. 选择集群安装，并选中所有节点。
4. 验证SSH
5. 选择语言。
6. 选择数据库版本： 企业版
7. 选择数据库安装的位置
8. 选择用户组。
9. 开始安装， 安装结束之后提示运行一个脚本。
10. 脚本运行完， 结束安装。
十. 创建实例
1. 用Oracle用户运行dbca命令
2. 选择Oracle 集群
3. 选择数据库类型： custom database
4. 选择配置类型：admin-Managed， 实例名，最后选中所有节点， 下一步
5. 设置密码
6. 选择存储类型，Database Area 选我们刚才在ASM 实例中创建的DATA组。
7. 指定ASM 实例的 ASMSNMP 口令，就是我们在安装Clusterware时指定的ASM密码。
8. 创建FRA，指定位置，ASM实例中的FRA组，指定FRA 大小。
9. 设置内存和字符集等参数。
10. 开始创建实例。 创建结束后退出。 安装结束。
到此安装已经结束。
关于11gR2 下RAC进程的说明，参考我的Blog：
Oracle 11gR2 RAC 进程说明
http://blog.csdn.net/tianlesoftware/archive/2010/11/15/6009962.aspx
在Linux 下，Oracle 11gR2 多了一个MEMORY_TARGET 参数。 该参数用来管理SGA和PGA。 但是当设置超过一定值的时候，Oracle 实例就不能启动。 我之前设置的是12G。 就报错了。 解决方法如下：
Oracle 11gR2 RAC ORA-00845 MEMORY_TARGET not supported on this system 解决方法
http://blog.csdn.net/tianlesoftware/archive/2010/11/17/6013777.aspx
在客户端连接实例的使用，监听配置中使用SCAN IP 就可以了。 因为这个IP是固定的。 所以维护起来要简单一点。
------------------------------------------------------------------------------
Blog： http://blog.csdn.net/tianlesoftware
网上资源： http://tianlesoftware.download.csdn.net
相关视频：http://blog.csdn.net/tianlesoftware/archive/2009/11/27/4886500.aspx
DBA1 群：62697716(满); DBA2 群：62697977(满)
DBA3 群：62697850 DBA 超级群：63306533;
聊天 群：40132017
--加群需要在备注说明Oracle表空间和数据文件的关系，否则拒绝申请