oracle 12c 發(fā)布用很長一段時間了，雖然在近期部署了幾套單實例oracle 12c，但一直都沒有機會在生產環(huán)境實施12c rac，當然，既不能把現(xiàn)有的11g rac干掉，替換成12c rac，又沒有新的項目找上來，但總不能等需要干活的時候再學習測試，未雨綢繆，正好從青龍那里化緣來一臺配置不錯的技嘉迷你pc，正好用它來做測試，安裝上proxmox，虛擬出一堆系統(tǒng)，然后就有條件測試部署oracle 12c rac 。

Oracle實現(xiàn)負載均衡，完全不依賴于其它第三方工具，自己全部搞定，真是牛啊！部署oracle負載均衡高可用，實際上就是部署oracle RAC。在開始部署之前，得先做好規(guī)劃。規(guī)劃涉及到的主要有以下幾個方面：

1、共享存儲：是oracle RAC最關鍵的設施了，許多重要的數(shù)據(jù)文件、歸檔、仲裁等文件都存放于此，因此需要考慮可用性、容量、性能、成本等因素。在以前的多個項目中，我選用的存儲多為外接陣列，雙控制器、10000轉2.5寸sas或者15000轉3.5寸sas盤，插槽全部插滿，不考慮短期擴容。

2、服務器：計算資源依托于服務器，也需要綜合考慮可用性、性能及成本因素。在過去實施的一些項目中，一般采用1u機架式服務器，內存64G、多核心多線程cpu、雙ssd盤（做raid容錯）、四個網(wǎng)絡接口卡。

3、網(wǎng)絡規(guī)劃：至少分兩個網(wǎng)段，交換機獨立（至少兩個交換機），且為全千兆速率交換機，網(wǎng)線也要用機制六類線。說起這個網(wǎng)線，踩過一次坑，記憶深刻--一個網(wǎng)絡color ticket的項目，服務器塞滿了兩個機柜，各類設施在當時都算是比較高端的。特別交代采購，一定要買機制網(wǎng)線。一幫人沒日沒夜的折騰，終于調試完畢，上線運行正常?？墒菦]多久，oracle RAC集群就出現(xiàn)一會好一會壞的情形，登錄查日志，查應用，都找不出問題，最后只好親自去機房。前前后后瞧來瞧去，看各指示燈的顯示情況；這一看還真發(fā)現(xiàn)問題：心跳交換機的端口有一個指示燈一會綠、一會黃的，肯定是速率不匹配的問題。再擼線，跟其它機制線不同??！詢問得知，采購的時候，供貨商存活比計劃采購數(shù)少了一條，于是就讓機房給手工做了一條頂上去。換上新的機制六類網(wǎng)線，問題得以解決。

曾經(jīng)寫了一篇“Oracle 11g rac 生產環(huán)境部署詳錄”文章，發(fā)布在51cto博客，地址為https://blog.51cto.com/sery/1546346，歡迎參考。本篇文章，由于沒有真實環(huán)境可以提供（不能拿已有的生產環(huán)境來搞，我怕老板來砍我），因此只能在虛擬環(huán)境下進行，不過這并不影響大家學習和借鑒，畢竟基本思路和方法是相同的，也利于做實驗和測試。

準備基礎環(huán)境

我此次進京，化緣來一個迷你主機，配置為cpu 8線程、1TB硬盤、12G內存，拿來做虛擬化非常合適，省電省地又安靜。看看，是不是很小巧？

用此迷你主機虛擬化，創(chuàng)建2個虛擬機，安裝oracle，另外創(chuàng)建一個虛擬機安裝openfiler，做為oracle的共享存儲。

◎主機虛擬化處理

強烈推薦使用proxmox，當然我自己也用。當前的版本是proxmox5.2，支持ceph超融合，巨好用，iso一鍵安裝。官方網(wǎng)站（www.proxmox.com）下載鏡像包，用ultraIso寫入u盤，使其可以開機引導。如果u盤無法引導加載的情況，可再做一次ultraISO寫入操作，寫入格式選“raw”，如下圖所示：

Proxmox安裝過程很簡單，也很容易完成，這里不再多說。Proxmox底層是基于debian的，在運行過程中，系統(tǒng)會執(zhí)行apt-get update去做包更新，為避免出現(xiàn)“TASK ERROR: command 'apt-get update' failed: exit code 100”這樣的錯誤，需要以ssh登錄系統(tǒng)（debian），修改文件/etc/apt/sources.list.d/pve-enterprise.list ，把里邊的唯一一行內容注釋掉。當然，你也可以無視。

○多網(wǎng)卡處理

也許你的實驗環(huán)境跟我一樣，只有一個物理網(wǎng)卡，但要實現(xiàn)oracle rac至少得兩個網(wǎng)卡，怎辦？增加一塊就好，具體方法如下：

1、proxmox管理界面選擇“創(chuàng)建”，再選“Linux Bridge”，填寫ip地址和掩碼（網(wǎng)關等其它項不用填寫）

2、使網(wǎng)絡設置生效。Ssh登錄debain，重啟系統(tǒng)。再登錄系統(tǒng)，用指令“ip add”，就可以看到剛創(chuàng)建的虛擬網(wǎng)絡接口。如下圖所示：

同樣，在proxmox的web管理界面，也能看到這個效果。

○準備操作系統(tǒng)鏡像文件

據(jù)我掌握，有兩種方法可以上傳操作系統(tǒng)ios鏡像，一種是proxmox web管理界面，另一種是登錄debian系統(tǒng)，進入鏡像文件設定的目錄，用wget一類的工具直接獲取。

1、web界面上傳ios文件（需要在本地電腦上下載好文件）：

在幾次實踐中，總覺得這個方法麻煩，而且速度慢，現(xiàn)在一般不采用了。

2、登錄系統(tǒng)直接下載，只下載一次，如果是機房服務器的話，比下載到本地再傳上去，節(jié)省大量的時間。

root@pve99:~# cd /var/lib/vz/template/iso

root@pve99:/var/lib/vz/template/iso# wget http://mirrors.163.com/centos/7.5.1804/isos/x86_64/CentOS-7-x86_64-DVD-1804.iso

root@pve99:/var/lib/vz/template/iso# wget http://mirrors.cn99.com/centos/6.10/isos/x86_64/CentOS-6.10-x86_64-bin-DVD1.iso

下載完以后，到web管理界面檢查一下，是否出現(xiàn)在項目中。

◎創(chuàng)建虛擬機

由于安裝oracle rac需要的主機資源配置完全一樣，因此可以先創(chuàng)建好一個虛擬機，并安裝好系統(tǒng)（不要安裝oracle喲），再以克隆方式生成第二個虛擬機，改一下網(wǎng)絡設置即可投入使用。

○創(chuàng)建第一個虛擬機

Proxmox web管理界面點擊“創(chuàng)建虛擬機”，給虛擬機設置一個容易辨識的名字，比如db107，然后進行下一步。

“操作系統(tǒng)”欄目下，選“使用cd/dvd光盤鏡像文件（ISO）”，下來列表框選定預先上傳的操作系統(tǒng)iso。如下圖所示：

 一下步分配磁盤（給32G）、cpu（4core）、內存（8G），創(chuàng)建完以后，還不能滿足需求。需要再增加硬盤，用來做oracle的安裝目錄及創(chuàng)建交換分區(qū)；增加網(wǎng)絡接口，用以oracle節(jié)點間做心跳檢測。

1、給虛擬機增加硬盤：

管理界面選中剛創(chuàng)建的虛擬機，在選級聯(lián)菜單“硬件”，點擊按鈕“添加”；

設置大小為50G，計劃16G用于swap，其余為安裝軟件目錄使用。

2、添加網(wǎng)絡接口：

跟添加硬盤的步驟基本相同，只是到了“添加”這個下拉列表這里，選“網(wǎng)絡設備”，具體選擇如下圖所示：

◎安裝虛擬機操作系統(tǒng)

在創(chuàng)建好虛擬機之后，web管理界面啟動虛擬機，然后再點擊頁面里的“>_控制臺”按鈕，即可進入操作系統(tǒng)安裝界面，如圖所示：

余下的步驟，跟常規(guī)的系統(tǒng)安裝毫無差別，不再贅述。

◎安裝共享存儲openfiler

Openfiler跟proxmox一樣，也是以iso形式提供的，同樣，openfiler也需要至少兩個磁盤，一個安裝系統(tǒng)，一個做數(shù)據(jù)共享。規(guī)劃好容量分配以后，就可以開始安裝，安裝過程很簡單，不再啰嗦。

下圖為我安裝好的openfiler磁盤使用情況，其中容量大的那個磁盤用于iscsi共享。

接下來，開始配置存儲。鼠標點“Service”項，把iscsi服務打開。

在空閑的那個大容量磁盤創(chuàng)建分區(qū)（Linux Physical Volume），接著創(chuàng)建卷組vg-data（命名自己定）及邏輯卷；創(chuàng)建邏輯卷時，F(xiàn)ilesystem / Volume type（文件系統(tǒng)/卷類型）要從下拉列表框選定“block（ISCSI，F(xiàn)S，etc）”。完成這個操作以后，鼠標點右側“iSCSI Targets”菜單，添加一個新的issci目標（Add new iSCSI Target），如果沒有啟動iscsi服務，則添加按鈕（Add）是灰色的，無法進行下一步操作。

完成邏輯單元（LUN）映射，操作如下圖：

因為是內部網(wǎng)絡，因此可以不對訪問做限制。到此，存儲端配置完畢。

◎服務器掛接iscsi磁盤（需要在兩個主機都操作）

只需簡單幾個步驟，即可在主機上掛接好iscsi共享磁盤，并且使之隨系統(tǒng)開機啟動。

○啟動iscsi服務。Centos默認可能沒有安裝熟悉而好用的ntsysv，yum安裝一個吧。執(zhí)行ntsysv吧iscsi項選上，下次開機，iscsi服務就自動起來了。

○掃描iscsi目標，并記錄下輸出信息，指令如下：

[root@db115 ~]# iscsiadm -m discovery -t sendtargets -p 172.16.35.107

172.16.35.107:3260,1 iqn.2006-01.com.openfiler:tsn.3ceca0a95110

需要的就是數(shù)字“1”后邊加粗的部分信息。

○掛接目標磁盤，指令如下：

# iscsiadm -m node -T iqn.2006-01.com.openfiler:tsn.3ceca0a95110 –l

Logging in to [iface: default, target: iqn.2006-01.com.openfiler:tsn.3ceca0a95110, portal: 172.16.35.107,3260] (multiple)

Login to [iface: default, target: iqn.2006-01.com.openfiler:tsn.3ceca0a95110, portal: 172.16.35.107,3260] successful.

○磁盤掛接驗證，兩個主機都執(zhí)行一次，指令如下：

[root@db115 ~]# fdisk –l

...……………………………省略…………………………………

Disk /dev/sdc: 51.2 GB, 51170508800 bytes, 99942400 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk /dev/sdd: 122.9 GB, 122876329984 bytes, 23×××832 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk /dev/sde: 10.2 GB, 10234101760 bytes, 19988480 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

以此法共享出三個卷，并掛接在每一個節(jié)點上。

部署oracle 12c rac

分三個階段：安裝前的準備、安裝軟件、創(chuàng)建數(shù)據(jù)庫。

◎安裝前的準備

主要步驟有：準備交換分區(qū)及數(shù)據(jù)分區(qū)、設置相關主機名及 ip 映射、修改系統(tǒng)相關配置及依賴包、準備桌面環(huán)境。

◆準備交換分區(qū)，需要在每一個節(jié)點執(zhí)行。

fdisk /dev/sdb

mkswap /dev/sdb1

swapon /dev/sdb1

fdisk操作過程中，分區(qū)代碼選“82”，大小為18G。執(zhí)行完上述操作后，用命令free –m檢查是否生效。為了讓交換分區(qū)隨系統(tǒng)開機加載，需要修改文件/etc/fstab,加入的內容等描述完加數(shù)據(jù)分區(qū)以后，一并貼出。

更多內容，請參看專欄文章“負載均衡高手練成記”，猛戳此處即可直達。

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。