1、安全環(huán)境與網(wǎng)絡(luò)規(guī)劃

1.1、安裝環(huán)境

RAC節(jié)點(diǎn)操作系統(tǒng)：Linux 6.4 x8664
Cluster software：Oracle Grid Infrastructure 11gr2(11.2.0.4)
Oracle Database software：Oracle11gr2(11.2.0.4)
共享存儲(chǔ)：ASM

成都創(chuàng)新互聯(lián)公司是一家專業(yè)提供如東企業(yè)網(wǎng)站建設(shè),專注與成都網(wǎng)站建設(shè)、成都做網(wǎng)站、HTML5、小程序制作等業(yè)務(wù)。10年已為如東眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站建設(shè)公司優(yōu)惠進(jìn)行中。

1.2、網(wǎng)絡(luò)規(guī)劃

節(jié)點(diǎn)名稱 Public IP Private IP Virtual IP SCAN 名稱 SCAN IP

注意：Oracle11g新增SCAN-IP，為VIP的一個(gè)池概念

1.3、Oracle軟件組

1.4、RAC節(jié)點(diǎn)

1.5、存儲(chǔ)組件

2、創(chuàng)建虛擬機(jī)

2.1、VMware vSphere

以administrator用戶登錄虛擬化主機(jī)：



對(duì)主機(jī)右鍵點(diǎn)擊“新建虛擬機(jī)”

選擇自定義配置，下一步

給虛擬機(jī)命名 rac1，下一步

選擇虛擬機(jī)存放位置，下一步

選擇虛擬機(jī)文件存放位置(盡量放于共享存儲(chǔ)上，空間大且防止數(shù)據(jù)丟失)，下一步

選擇高版本，下一步

選擇操作系統(tǒng)為Linux，版本為Red Hat Enterprise Linux 6(64位)，下一步

配置CPU、內(nèi)存，下一步


選擇網(wǎng)卡，配置兩塊網(wǎng)卡，一塊作為Public，另一塊作為Private，下一步


選擇SCSI驅(qū)動(dòng)器類型：LSI Logic并行，下一步

選擇創(chuàng)建新磁盤，下一步

配置磁盤大小，下一步

上述三個(gè)選項(xiàng)的解釋：

選擇虛擬設(shè)備節(jié)點(diǎn)，默認(rèn)為SCSI(0:0)，選擇模式為非獨(dú)立，下一步

選擇在虛擬機(jī)創(chuàng)建之前編輯選項(xiàng)，繼續(xù)

編輯光驅(qū)設(shè)備，選擇ISO文件，完成

查看新建虛擬機(jī)配置

以相同方式創(chuàng)建另一個(gè)節(jié)點(diǎn)rac2。

2.2、VMware Workstation

新建虛擬機(jī)rac1，選擇自定義，下一步


選擇安裝操作系統(tǒng)ISO，下一步

命名虛擬機(jī)，選擇存放位置，下一步


配置內(nèi)存大小，下一步

選擇網(wǎng)絡(luò)類型為橋接網(wǎng)絡(luò)，下一步

選擇I/O控制器類型為LSI Logic，下一步

選擇磁盤類型為SCSI，下一步


配置磁盤大小，并選擇將虛擬磁盤拆分多個(gè)文件，下一步

指定磁盤文件，下一步


以相同方式創(chuàng)建另一個(gè)節(jié)點(diǎn)rac2。

2.3、Virtual BOX

新建虛擬機(jī)rac1，命名虛擬機(jī)，選擇系統(tǒng)類型為Linux，版本為Red Hat （64bit），下一步

配置內(nèi)存大小，下一步

創(chuàng)建虛擬硬盤，創(chuàng)建

選擇虛擬磁盤文件類型，下一步

選擇動(dòng)態(tài)分配，下一步

選擇文件位置和大小，下一步

創(chuàng)建完成

設(shè)置虛擬機(jī)參數(shù)

選擇存儲(chǔ)，在右側(cè)屬性，點(diǎn)擊分配光驅(qū)右邊的 ，選擇安裝操作系統(tǒng)ISO文件


以相同方式創(chuàng)建另一個(gè)節(jié)點(diǎn)rac2。

3、安裝系統(tǒng)

3.1、安裝系統(tǒng)(兩節(jié)點(diǎn))

系統(tǒng)安裝過程都是一致，因此不予詳述。本文只針對(duì)安裝過程中部分容易出錯(cuò)的地方簡述
選擇基本存儲(chǔ)設(shè)備

提示是否丟棄所有的數(shù)據(jù)，yes,discard any data

選擇自定義分區(qū)，Create Custom Layout

進(jìn)入分區(qū)界面

選擇標(biāo)準(zhǔn)分區(qū)模式，Standard Partition

分別創(chuàng)建虛擬內(nèi)存(swap)、boot分區(qū)、/分區(qū)



分區(qū)結(jié)果

選擇確定格式化

選擇寫入磁盤

選擇默認(rèn)即可

選擇系統(tǒng)模式，Software Development Workstation，Customize Later，其他默認(rèn)

開始安裝系統(tǒng)

安裝后，提示重啟系統(tǒng)，并有一系列配置，其中啟動(dòng)Kdump

根據(jù)提示，再次重啟系統(tǒng)，系統(tǒng)安裝完畢！

3.2、配置網(wǎng)絡(luò)(兩節(jié)點(diǎn))

此步驟，需要虛擬機(jī)有兩塊網(wǎng)卡，分別為Public和Private網(wǎng)卡。

使用root用戶登錄虛擬機(jī)，右鍵，選擇Edit Connection

按以下步驟操作，分別配置兩塊網(wǎng)卡IP為上表對(duì)應(yīng)項(xiàng)

3.3、刪除自動(dòng)生成的虛擬網(wǎng)卡(兩節(jié)點(diǎn))

所謂虛擬網(wǎng)卡，即執(zhí)行 ifconfig命令列出的virbr0，如圖

執(zhí)行以下命令來刪除該虛擬網(wǎng)卡
virsh net-list
virsh net-destroy default
virsh net-undefine default
service libvirtd restart

再次使用ifconfig命令查看，該虛擬網(wǎng)卡已不存在

3.4、測試網(wǎng)絡(luò)(兩節(jié)點(diǎn))

1、物理機(jī)ping兩臺(tái)虛擬機(jī)rac1、rac2的Public IP
2、rac1節(jié)點(diǎn) ping rac2節(jié)點(diǎn)的Public IP和Private IP
3、rac2節(jié)點(diǎn) ping rac1節(jié)點(diǎn)的Public IP和Private IP
以上三步完全可以ping通即可。

4、添加共享存儲(chǔ)

4.1、VMware vSphere

4.1.1、配置rac1節(jié)點(diǎn)

關(guān)閉rac1節(jié)點(diǎn)，右鍵rac1節(jié)點(diǎn)選擇編輯設(shè)置，進(jìn)入配置界面，點(diǎn)擊添加

選擇硬盤，下一步

創(chuàng)建新的虛擬磁盤

配置磁盤大小，選擇厚置備置零（集群專用），指定磁盤的存放位置，下一步

驅(qū)動(dòng)器設(shè)備選擇SCSI 1:0，模式選擇獨(dú)立（集群必須選擇此項(xiàng)），下一步


在虛擬機(jī)屬性中，選擇剛添加的SCSI controller 1 驅(qū)動(dòng)器，配置其為物理模式（用于支持共享），以保證rac1、rac2節(jié)點(diǎn)的共享訪問

重復(fù)執(zhí)行上述步驟，添加另外兩塊磁盤，將其驅(qū)動(dòng)器設(shè)備選擇為SCSI 1:1；SCSI 1:2。
添加3塊共享磁盤的rac1節(jié)點(diǎn)配置信息如下：

4.1.2、配置rac2節(jié)點(diǎn)

關(guān)閉rac2節(jié)點(diǎn)，右鍵rac2節(jié)點(diǎn)選擇編輯設(shè)置，進(jìn)入配置界面，點(diǎn)擊添加

選擇硬盤，下一步

選擇已有虛擬磁盤，下一步

選擇指定的存儲(chǔ)設(shè)備，此處需要注意：選擇在rac1節(jié)點(diǎn)中創(chuàng)建的第一塊磁盤

驅(qū)動(dòng)器設(shè)備選擇SCSI 1:0，模式選擇獨(dú)立，下一步

同rac1節(jié)點(diǎn)一樣，在rac2節(jié)點(diǎn)屬性中，選擇剛添加的SCSI controller 1驅(qū)動(dòng)器，配置其為物理模式用于共享

重復(fù)執(zhí)行以上步驟，添加剩余的2塊磁盤。注意，驅(qū)動(dòng)器編號(hào)要依次選擇SCSI 1:1、SCSI 1:2。
添加3塊共享磁盤的rac2節(jié)點(diǎn)配置信息如下：

4.2、VMware Workstation

4.2.1、物理機(jī)中添加共享磁盤

vmware-vdiskmanager.exe -c -s 5G -a lsilogic -t 2 "d:\Virtual Machines\RAC\shared"\asm1.vmdk
vmware-vdiskmanager.exe -c -s 5G -a lsilogic -t 2 "d:\Virtual Machines\RAC\shared"\asm2.vmdk
vmware-vdiskmanager.exe -c -s 20G -a lsilogic -t 2 "d:\Virtual Machines\RAC\shared"\asm3.vmdk

注意：-a 指定磁盤類型 –t 2表示直接劃分一個(gè)預(yù)分配空間的文件。

4.2.2、關(guān)閉節(jié)點(diǎn)，用記事本編輯vmx文件，例如：rac1.vmx(兩節(jié)點(diǎn))

添加如下內(nèi)容：
#shared disks configure
disk.EnableUUID = "TRUE"
disk.locking = "FALSE"
diskLib.dataCacheMaxSize = "0"
diskLib.dataCacheMaxReadAheadSize = "0"
diskLib.dataCacheMinReadAheadSize = "0"
diskLib.maxUnsyncedWrites = "0"

scsi1.present = "TRUE"
scsi1.virtualDev = "lsilogic"
scsil.sharedBus = "VIRTUAL"

scsi1:0.present = "TRUE"
scsi1:0.mode = "independent-persistent"
scsi1:0.fileName = "D:\Virtual Machines\RAC\shared\asm1.vmdk"
scsi1:0.deviceType = "disk"
scsi1:0.redo = ""

scsi1:1.present = "TRUE"
scsi1:1.mode = "independent-persistent"
scsi1:1.fileName = "D:\Virtual Machines\RAC\shared\asm2.vmdk"
scsi1:1.deviceType = "disk"
scsi1:1.redo = ""

scsi1:2.present = "TRUE"
scsi1:2.mode = "independent-persistent"
scsi1:2.fileName = "D:\Virtual Machines\RAC\shared\asm3.vmdk"
scsi1:2.deviceType = "disk"
scsi1:2.redo = ""
注意：
1、 此處添加了3塊共享盤，因此添加3段內(nèi)容scsi1:0，scsi1:1，scsi1:2，也即要增加幾塊盤，就要增加相應(yīng)段數(shù)的內(nèi)容
2、 scsi 1:.fileName=后面的內(nèi)容要與你在物理主機(jī)使用vmware-vdiskmanager.exe創(chuàng)建的磁盤存儲(chǔ)位置一致
3、 重啟兩節(jié)點(diǎn)，查看虛擬機(jī)配置，確認(rèn)共享磁盤文件加載成功（不重啟系統(tǒng)可能不能識(shí)別出磁盤）

4.3、Virtual BOX

4.3.1、配置rac1節(jié)點(diǎn)

方法1：
rac1節(jié)點(diǎn)的配置也中，選擇存儲(chǔ)，選擇"SATA 控制器"，然單擊"添加硬盤"圖標(biāo)

創(chuàng)建新的磁盤，create new disk

選擇默認(rèn)VDI磁盤模式

選擇固定大小（共享磁盤必須選擇此選項(xiàng)），下一步

配置共享磁盤存儲(chǔ)路徑及大小

新建的磁盤，已經(jīng)連接到rac1虛擬機(jī)
選擇此新磁盤。

單擊"修改（modify）"圖標(biāo)并選擇"Shareable"

重復(fù)以上步驟，創(chuàng)建另外2塊磁盤。
最后，增加磁盤后的配置信息

方法2：
1、在物理主機(jī)命令行中執(zhí)行以下語句，創(chuàng)建磁盤
VBoxManage.exe createhd -filename asm1.vdi -size 5120 -format VDI -variant Fixed
VBoxManage.exe createhd -filename asm2.vdi -size 5120 -format VDI -variant Fixed
VBoxManage.exe createhd -filename asm3.vdi -size 204800 -format VDI -variant Fixed

2、連接rac1虛擬機(jī)
VBoxManage.exe storageattach rac1 --storagectl "SATA 控制器" --port 1 --device 0 --type hdd --medium asm1.vdi --mtype shareable
VBoxManage.exe storageattach rac1 --storagectl "SATA 控制器" --port 2 --device 0 --type hdd --medium asm2.vdi --mtype shareable
VBoxManage.exe storageattach rac1 --storagectl "SATA 控制器" --port 3 --device 0 --type hdd --medium asm3.vdi --mtype shareable
3、設(shè)置磁盤共享
VBoxManage.exe modifyhd asm1.vdi --type shareable
VBoxManage.exe modifyhd asm2.vdi --type shareable
VBoxManage.exe modifyhd asm3.vdi --type shareable
4、查看rac1配置信息

4.3.2、配置rac2節(jié)點(diǎn)

rac2節(jié)點(diǎn)只需配置磁盤驅(qū)動(dòng)器與虛擬機(jī)的連接即可，如下：
VBoxManage.exe storageattach rac2 --storagectl "SATA 控制器" --port 1 --device 0 --type hdd --medium asm1.vdi --mtype shareable
VBoxManage.exe storageattach rac2 --storagectl "SATA 控制器" --port 2 --device 0 --type hdd --medium asm2.vdi --mtype shareable
VBoxManage.exe storageattach rac2 --storagectl "SATA 控制器" --port 3 --device 0 --type hdd --medium asm3.vdi --mtype shareable

5、實(shí)現(xiàn)共享存儲(chǔ)

5.1、劃分共享磁盤(單節(jié)點(diǎn))

fdisk –l

三個(gè)分區(qū)作用解釋：
fdisk /dev/sdb --作為ocr和voting disk存放文件
fdisk /dev/sdc --存放快速恢復(fù)區(qū)文件
fdisk /dev/sdd --存放數(shù)據(jù)庫文件
fdisk /dev/sdb[c|d]
依次n → p → 1 → Enter → Enter → w，實(shí)現(xiàn)分區(qū)

fdisk –l --再次查看并在rac2節(jié)點(diǎn)查看，確保與rac1完全一致

分區(qū)完畢，不要對(duì)新加磁盤進(jìn)行格式化，保持裸設(shè)備。

5.2、配置ASM磁盤(兩節(jié)點(diǎn))

使用udev管理配置磁盤方式
rpm -qa|grep udev --查看是否安裝udev

執(zhí)行以下命令，獲取scsi id信息
scsiid -g -u -d /dev/sdb [c|d]
36000c292f99f2349911c3766f3cc53d7
36000c293f4c9f2c1fdd38a63e5861ad3
36000c2994d5eda8fbefc5922b14ab651

編輯udev配置文件，添加rules文件（/etc/udev/rules.d/）并授權(quán)添加以下參數(shù)。
方法1：
vi /etc/udev/rules.d/99-x-asmdisk.rules
KERNEL=="sdb1", BUS=="scsi", PROGRAM="scsiid -g -u -d /dev/$parent",RESULT=="36000c292f99f2349911c3766f3cc53d7", NAME="asmdiskOCR", OWNER:="grid", GROUP:="dba",MODE="0660"

KERNEL=="sdc1", BUS=="scsi", PROGRAM="scsiid -g -u -d /dev/$parent",RESULT=="36000c293f4c9f2c1fdd38a63e5861ad3", NAME="asmdiskDATA", OWNER:="grid", GROUP:="dba",MODE="0660"

KERNEL=="sdd1", BUS=="scsi", PROGRAM="scsiid -g -u -d /dev/$parent",RESULT=="36000c2994d5eda8fbefc5922b14ab651", NAME="asmdiskFRA", OWNER:="grid", GROUP:="dba",MODE="0660"

注意：
1、 一行為一條規(guī)則
2、 , 與下一個(gè)關(guān)鍵詞要有空格
3、 GROUP:=后面不確定值，dba與asmadmin都可以
啟動(dòng)udev
startudev

ls /dev/asmdisk

方法2：
vi /etc/udev/rules.d/99-oracle-asmdevices.rules
直接在命令行下輸入并執(zhí)行以下循環(huán)
for i in b c d;
do
echo "KERNEL==\"sd\", BUS==\"scsi\", PROGRAM==\"/sbin/scsiid --whitelisted --replace-whitespace --device=/dev/\$name\", RESULT==\"/sbin/scsiid --whitelisted --replace-whitespace --device=/dev/sd$i\", NAME=\"asm-disk$i\", OWNER=\"grid\", GROUP=\"asmadmin\", MODE=\"0660\"" >>/etc/udev/rules.d/99-oracle-asmdevives.rules
done
注意：此處的b、c、d是sdb、sdc、sdd去掉sd
啟動(dòng)udev
startudev

ls /dev/asm

6、配置Linux系統(tǒng)

6.1、用戶組及用戶設(shè)置(兩節(jié)點(diǎn)，root用戶)

6.1.1、創(chuàng)建Oracle軟件組

groupadd -g 601 oinstall
groupadd -g 602 dba
groupadd -g 603 oper
groupadd -g 604 asmadmin
groupadd -g 605 asmdba
groupadd -g 606 asmoper

6.1.2、創(chuàng)建grid、oracle用戶

useradd -u 601 -g oinstall -G asmadmin,asmdba,asmoper grid
useradd -u 602 -g oinstall -G dba,oper,asmdba oracle

6.1.3、為grid、oracle用戶設(shè)置密碼

passwd grid
passwd oracle

6.2、主機(jī)名IP映射文件設(shè)置(兩節(jié)點(diǎn))

vi /etc/hosts --加入以下內(nèi)容
#public:
192.168.2.231 rac1
192.168.2.232 rac2

#vip:
192.168.2.233 rac1-vip
192.168.2.234 rac2-vip

#priv
1.1.6.231 rac1-priv
1.1.6.232 rac2-priv

#SCAN
192.168.2.235 rac-scan

6.3、配置Linux內(nèi)核參數(shù)(兩節(jié)點(diǎn))

vi /etc/sysctl.conf --加入以下內(nèi)容
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.iplocalportrange = 9000 65500
net.core.rmemdefault = 262144
net.core.rmemmax = 4194304
net.core.wmemdefault = 262144
net.core.wmemmax = 1048576

sysctl –p --使以上設(shè)置生效

6.4、設(shè)置grid、oracle用戶設(shè)置shell limits(兩節(jié)點(diǎn))

vi /etc/security/limits.conf --加入以下內(nèi)容
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
grid soft stack 10240
grid hard stack 32768

oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
oracle soft stack 10240
oracle hard stack 32768

vi /etc/pam.d/login --加入以下內(nèi)容
session required pamlimits.so

6.5、創(chuàng)建Oracle Inventory Directory(兩節(jié)點(diǎn))

mkdir -p /u01/app/oraInventory
chown -R grid.oinstall /u01/app/oraInventory
chmod -R 775 /u01/app/oraInventory

6.6、創(chuàng)建Oracle Grid Infrastructure Home目錄(兩節(jié)點(diǎn))

mkdir -p /u01/app/grid
mkdir -p /u01/app/grid/crs
mkdir -p /u01/app/grid/11.2.0
chown -R grid.oinstall /u01/app/grid
chmod -R 775 /u01/app/grid

6.7、創(chuàng)建Oracle RDBMS Home目錄(兩節(jié)點(diǎn))

mkdir -p /u01/app/oracle
chown -R oracle.oinstall /u01/app/oracle
chmod -R 775 /u01/app/oracle

mkdir -p /u01/app/oracle/product/11.2.0/db1
chown -R oracle.oinstall /u01/app/oracle/product/11.2.0/db1
chmod -R 775 /u01/app/oracle/product/11.2.0/db1

6.8、安裝相應(yīng)系統(tǒng)支持包(兩節(jié)點(diǎn)64&32bit)

binutils
compat-libstdc++-33
elfutils-libelf
elfutils-libelf-devel
gcc gcc-c++
glibc
glibc-common
glibc-devel
glibc-headers
ksh
libaio
libaio-devel
libgcc
libstdc++
libstdc++-devel
make
numactl-devel
sysstat
unixODBC
unixODBC-devel

方法1：
拷貝系統(tǒng)光盤內(nèi)容到本地目錄
mkdir /yum/
cp /media/ /yum/
刪除/etc/yum.repos.d/下內(nèi)容并創(chuàng)建yum.repo
vi /etc/yum.repos.d/yum.repo
[yum]
name=yum
baseurl=file:///yum/
enabled=1

方法2：
rpm –ivh –nodeps –force rpm

6.9、修改grid、oracle用戶環(huán)境變量(兩節(jié)點(diǎn))

Su – grid --切換到grid用戶，修改環(huán)境變量
Vi .bashprofile --刪除重復(fù)內(nèi)容，加入以下內(nèi)容
export ORACLEHOSTNAME=rac1(rac2)
export ORACLEUNQNAME=rac
export ORACLEBASE=/u01/app/grid/crs
export ORACLEHOME=/u01/app/grid/11.2.0
export ORACLESID=+ASM1(+ASM2)
export ORACLETERM=xterm
export PATH=$ORACLEHOME/bin:/usr/sbin:$PATH
export LDLIBRARYPATH=$ORACLEHOME/lib:/lib:/usr/lib
export CLASSPATH=$ORACLEHOME/JRE:$ORACLEHOME/jlib:$ORACLEHOME/rdbms/jlib
export TMP=/tmp
export TMPDIR=$TMP

Su – oracle --切換到oracle用戶，修改環(huán)境變量
Vi .bashprofile --刪除重復(fù)內(nèi)容，加入以下內(nèi)容
export ORACLEHOSTNAME=rac1(rac2)
export ORACLEUNQNAME=rac
export ORACLEBASE=/u01/app/oracle
export ORACLEHOME=$ORACLEBASE/product/11.2.0/db1
export ORACLESID=rac1(rac2)
export ORACLETERM=xterm
export PATH=$ORACLEHOME/bin:/usr/sbin:$PATH
export LDLIBRARYPATH=$ORACLEHOME/lib:/lib:/usr/lib
export CLASSPATH=$ORACLEHOME/JRE:$ORACLEHOME/jlib:$ORACLEHOME/rdbms/jlib
export TMP=/tmp
export TMPDIR=$TMP

7、關(guān)閉防火墻

7.1、設(shè)置SELinux(兩節(jié)點(diǎn))

1、立即生效
setenforce 0 --立即關(guān)閉SELinux
getenforce --查看SELinux狀態(tài)
2、永久生效
vi /etc/selinux/config --關(guān)閉selinux
替換SELinux=enforcing為SELinux=disabled

7.2、關(guān)閉防火墻iptables(兩節(jié)點(diǎn))

service iptables save
service iptables stop --關(guān)閉iptables
chkconfig iptables off --設(shè)置iptables不隨系統(tǒng)啟動(dòng)
chkconfig --list iptables --查看防火墻狀態(tài)列表

8、設(shè)置grid、oracle用戶ssh等效性

ssh等效性操作過程一樣，因此只需切換到相應(yīng)用戶執(zhí)行即可

su – grid --兩節(jié)點(diǎn)
cd /home/grid
rm -rf ~/.ssh
mkdir ~/.ssh
chmod 700 ~/.ssh

ssh-keygen -t rsa
ssh-keygen -t dsa

配置同步
rac1節(jié)點(diǎn)
cat ~/.ssh/idrsa.pub >> ~/.ssh/authorizedkeys
cat ~/.ssh/iddsa.pub >> ~/.ssh/authorizedkeys
scp ~/.ssh/authorizedkeys rac2:~/.ssh/authorizedkeys

rac2節(jié)點(diǎn)
cat ~/.ssh/idrsa.pub >> ~/.ssh/authorizedkeys
cat ~/.ssh/iddsa.pub >> ~/.ssh/authorizedkeys
scp ~/.ssh/authorizedkeys rac1:~/.ssh/authorizedkeys

檢測連通性 --兩節(jié)點(diǎn)
ssh racdb1 date
ssh racdb2 date
ssh racdb1-priv date
ssh racdb2-priv date
注意：第一次詢問是否要連接，輸入yes即可。

9、時(shí)鐘同步

9.1、使用Linux系統(tǒng)的NTP服務(wù)同步時(shí)鐘(兩節(jié)點(diǎn))

vi /etc/ntp.conf --主節(jié)點(diǎn)rac1加入以下內(nèi)容
Server 127.127.1.0
Fudge 127.127.1.0 stratum 11
Broadcastdelay 0.008

vi /etc/ntp.conf --其他節(jié)點(diǎn)rac2加入以下內(nèi)容
Server 192.168.2.231 prefer
Driftfile /var/lib/ntp/drift
Broadcastdelay 0.008

vi /etc/sysconfig/ntpd --配置NTP服務(wù)
SYNCHWCLOCK=yes
OPTIONS="-x -u ntp:ntp -p /var/run/ntpd.pid"

/etc/init.d/ntpd restart --啟動(dòng)NTP服務(wù)
chkconfig ntpd on --設(shè)置NTP服務(wù)隨系統(tǒng)啟動(dòng)
netstat -an |grep 123 --確保該端口以u(píng)dp方式開放
ntpstat --查看NTP服務(wù)狀態(tài)

9.2、使用oracle集群軟件ctss服務(wù)同步時(shí)鐘(兩節(jié)點(diǎn))

11G R2 默認(rèn)有自己的時(shí)間同步機(jī)制，沒有NTP也是可以的。有NTP的話ctss應(yīng)該一直運(yùn)行觀察模式的。使用集群時(shí)間同步服務(wù)在集群中提供同步服務(wù)，需要卸載網(wǎng)絡(luò)時(shí)間協(xié)議 (NTP) 及其配置。
service ntpd stop
chkconfig ntpd off
mv /etc/ntp.conf /etc/ntp.conf.original --有/etc/ntp.conf這個(gè)文件，ctss是不會(huì)啟用的
rm /var/run/ntpd.pid --此文件保存NTP后臺(tái)程序的pid

10、安裝前準(zhǔn)備

本操作需要兩節(jié)點(diǎn)分別執(zhí)行??！

上傳安裝文件，本次安裝的是Oracle 11.2.0.4版本，共3個(gè)安裝包，其中1、2是database包，3是grid包。

分別解壓3個(gè)包，解壓后產(chǎn)生兩個(gè)目錄/setup/database、/setup/grid
注意：rac2節(jié)點(diǎn)只上傳grid包，解壓即可。

在兩個(gè)rac節(jié)點(diǎn)上安裝操作系統(tǒng)程序包c(diǎn)vuqdisk(安裝包在/setup/grid/下)。如果沒有cvuqdisk，集群驗(yàn)證實(shí)用程序就無法發(fā)現(xiàn)共享磁盤(/dev/asm)，且在安裝后期會(huì)收到”Package cvuqdisk not installed”的錯(cuò)誤。

root用戶下安裝cvuqdisk-1.0.9-1.rpm包
export CVUQDISKGRP=oinstall
cd /setup/grid/rpm
rpm –ivh cvuqdisk-1.0.9-1.rpm

su – grid --切換到grid用戶
cd /setup/grid
./runcluvfy.sh stage -pre crsinst -n rac1,rac2 -fixup -verbose > 1.log --輸入1.log，方便查看

如有報(bào)錯(cuò)，則執(zhí)行下面命令后再次執(zhí)行此命令
/tmp/CVU11.2.0.1.0grid/runfixup.sh
rm -rf /tmp/bootstrap
./runcluvfy.sh stage -pre crsinst -n rac1,rac2 -fixup -verbose
注意：以上命令執(zhí)行結(jié)果中，提示網(wǎng)絡(luò)問題、時(shí)間同步、DNS問題可忽略?。?！

./runcluvfy.sh stage –post hwos –n rac1,rac2 –verbose
注意：
1、 兩條CVU檢查命令的結(jié)果均為passed才能繼續(xù)安裝(網(wǎng)絡(luò)、時(shí)間、DNS問題可忽略)。
2、 此時(shí)要保證兩節(jié)點(diǎn)4個(gè)IP（Public、Private）可以互相ping通

11、安裝Oracle Grid Infrastructure

11.1、安裝流程

本操作只需在一個(gè)節(jié)點(diǎn)分別執(zhí)行?。?/p>

圖形界面安裝需要在root用戶執(zhí)行如下命令
xhost +

出現(xiàn)如上輸出，即可繼續(xù)進(jìn)行圖形安裝。

su – grid
cd /setup/grid
./runInstaller

跳過更新

選擇安裝選項(xiàng)

選擇高級(jí)安裝（方便設(shè)置參數(shù)）


Cluster Name可以隨意命名；SCAN Name需要與/etc/hosts中配置一致；端口默認(rèn)1521。不配置GNS

添加節(jié)點(diǎn)2信息


網(wǎng)絡(luò)信息

采用ASM存儲(chǔ)管理

配置ocr及voting disk存儲(chǔ)磁盤組，此處為磁盤組名為CRS

更改發(fā)現(xiàn)路徑/dev/asm，以找到共享磁盤

選擇規(guī)劃好的磁盤加入CRS組

設(shè)置ASM管理密碼（為了方便采用統(tǒng)一設(shè)置密碼）

密碼不符合oracle規(guī)則警告，選擇yes繼續(xù)

不適用IPMI


選擇grid軟件ORACLEBASE及ORACLEHOME（事先配置了.bashprofile，這里會(huì)自動(dòng)找到路徑）

選擇oraInventory目錄（該目錄主要存放安裝日志等）

安裝預(yù)檢。
如果兩節(jié)點(diǎn)ll /dev/asm，可以查看到一致內(nèi)容，則Device Checks for ASM警告可以忽略；
如果使用Linux系統(tǒng)NTP服務(wù)，則出現(xiàn)Network Time Protocol警告（使用ctss則不會(huì)報(bào)警）
可能還會(huì)有一些關(guān)于DNS、網(wǎng)絡(luò)的警告，忽略即可

略過警告提醒，選擇yes繼續(xù)

安裝概覽

安裝

提示以root用戶分別在兩節(jié)點(diǎn)執(zhí)行root.sh腳本。注意最后的提示，需要在安裝節(jié)點(diǎn)先執(zhí)行root.sh完畢后，再在其他節(jié)點(diǎn)執(zhí)行（此時(shí)可以并行執(zhí)行）?。?！

rac1節(jié)點(diǎn)執(zhí)行完畢

接下來在其他節(jié)點(diǎn)執(zhí)行root.sh

INS-20802是監(jiān)聽錯(cuò)誤。其原因是/etc/hosts中配置了SCAN的地址，此步如果可以ping通SCAN-IP，那么忽略此錯(cuò)誤即可。點(diǎn)擊OK繼續(xù)，安裝grid完成。

11.2、安裝后檢查

su – grid
檢查CRS狀態(tài)
crsctl check crs

檢查Cluster資源
crsstat –t

檢查CRS節(jié)點(diǎn)信息
olsnodes –n

檢查兩節(jié)點(diǎn)Oracle TNS監(jiān)聽進(jìn)程
ps -ef|grep lsnr |grep -v 'grep'|grep -v 'ocfs'|awk '{print$9}'

確認(rèn)針對(duì)Oracle Cluster文件的Oracle ASM功能：
su – grid
srvctl status asm –a

11.3、配置ASM磁盤組

grid用戶下，執(zhí)行asmca，添加物理盤到ASM磁盤組


創(chuàng)建Oracle數(shù)據(jù)存放盤

?

配置oracle數(shù)據(jù)盤完成

重復(fù)以上操作，創(chuàng)建閃回盤。
最后配置結(jié)果：

12、安裝Oracle DataBase

12.1、安裝流程

本操作只需在一個(gè)節(jié)點(diǎn)分別執(zhí)行??！

圖形界面安裝需要在root用戶執(zhí)行如下命令
xhost +

出現(xiàn)如上輸出，即可繼續(xù)進(jìn)行圖形安裝。

su – oracle
cd /setup/database
./runInstaller