ORACLE RAC在設(shè)計的時候是沒有考慮跨數(shù)據(jù)中心雙活的，它的設(shè)計目的是為一個數(shù)據(jù)中心內(nèi)有著共享存儲的多個主機實現(xiàn)負(fù)載均衡和高可用性。但是由于它的架構(gòu)確實有著跨數(shù)據(jù)中心實現(xiàn)負(fù)載均衡和高可用性的潛力，所以有幾家存儲設(shè)備供應(yīng)商對它的使用環(huán)境做了擴展，提出了跨數(shù)據(jù)中心的解決方案。ORACLE對此采取了默認(rèn)的態(tài)度，但是建議所有的解決方案在投入客戶生產(chǎn)之前進行仔細(xì)的測試。
目前成都創(chuàng)新互聯(lián)公司已為成百上千的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)頁空間、網(wǎng)站托管、企業(yè)網(wǎng)站設(shè)計、海滄網(wǎng)站維護等服務(wù)，公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。對于RAC而言，跨數(shù)據(jù)中心解決方案的大瓶頸是節(jié)點之間的interconnect，因為它對時延和帶寬的要求都非常高。一般而言，本地interconnect傳輸時延在1~2ms之間，本地IO的延時則在8~15ms之間。這兩個時延對性能的影響相當(dāng)大，如果使用雙數(shù)據(jù)中心方案，隨著機房距離的增長，它們都會嚴(yán)重影響性能。而且由于interconnect的時延基數(shù)低（1~2ms），導(dǎo)致機房距離產(chǎn)生的時延對整個interconnect影響的占比更大：想想如果因為距離延長導(dǎo)致2ms的傳輸延遲，對于interconnect就是100%~200%的延遲增長，對于IO則只有15%~25%的增長。當(dāng)然，隨著SSD在存儲中的大量使用，距離對IO的影響也在加大。
為了直觀展示傳輸距離對IO和interconnect延時的影響，圖一和圖二顯示了HP的測試結(jié)果作為參考：
圖一
圖一顯示的是IO時延受距離影響的結(jié)果，這個測試結(jié)果是在Buffer-to-Buffer Credits(BBC)功能打開情況下取得的。BBC功能可以讓大量的未應(yīng)答的數(shù)據(jù)包保存在緩存的同時繼續(xù)發(fā)送數(shù)據(jù)包。在數(shù)據(jù)流量很大的情況下，距離越遠(yuǎn)，BBC的作用越大。
如果在距離100km的情況下，打開BBC，IO延遲與本地相比大約為增加43%；如果不打開BBC，IO延遲大約增長120~140%。另一個廠家的測試表明，在20km的距離下，不打開BBC將會導(dǎo)致流量下降20~24%。
圖二則是分別使用高負(fù)荷和低負(fù)荷對配置一條或者兩條interconnect的RAC進行測試，考察了距離對interconnect的影響。
圖二
圖二這個測試有兩個發(fā)現(xiàn)：
1. 兩條鏈路與一條鏈路相比，在高負(fù)荷情況下可以大約降低50%時延
2. 100km可以帶來大約1ms的時延增加。
圖一和圖二顯示的是距離對鏈路的影響，下面的圖三和圖四則展示距離對RAC整體性能的影響。
由于在遠(yuǎn)距離傳輸過程中，Buffer-to-Buffer Credits(BBC)功能對傳輸性能影響很大，所以需要強調(diào)圖三展示了兩個廠家在打開BBC功能情況下取得的測試結(jié)果。同時作為對比，圖四展示的是沒有打開BBC功能的測試結(jié)果。
從圖三和圖四中可以看到，打開BBC的情況下，兩個測試廠商在的方案性能都相當(dāng)不錯。但是如果不打開BBC，隨著距離延長，性能會有劇烈下滑。考慮到同機房配置比較好的雙節(jié)點RAC性能大約比單節(jié)點高30~60%，如果因為遠(yuǎn)程機房RAC集群出現(xiàn)大于20%的性能下降，就要慎重考慮是否使用RAC方案了。
還有兩點需要注意的是：
1. 各廠家給出的測試結(jié)果往往是在極致優(yōu)化的情況下測得的最佳數(shù)據(jù)，實際客戶現(xiàn)場的優(yōu)化程度往往大幅低于廠家測試環(huán)境
2. 廠家往往只會給出對自己最優(yōu)的測試結(jié)果。比如圖三中兩個廠家給出的測試距離范圍是不一樣的，原因可能是超出該范圍，性能會有較大的下滑。
基于上述測試，ORACLE建議基于連接機房的線纜的距離考慮是否采用RAC雙活方案：
1. 距離小于50km的機房，可以考慮使用雙活RAC。
2. 距離大于50km，小于100km的機房，慎重考慮使用雙活RAC。如要使用，需要進行非常慎重的測試。
3. 距離大于100km，不建議使用雙活RAC，可以考慮RAC one node做高可靠集群①。
① RAC one node是RAC的一個變種，效果有點類似傳統(tǒng)的HP MC/SG + oracle方案，由于同時只會有一個節(jié)點在運行，不會有大量數(shù)據(jù)跑在interconnect上。
如果決定使用跨數(shù)據(jù)中心的RAC，如下配置建議需要慎重考慮：
1. interconnect和IO鏈路使用非共享的，端到端線纜直連，英語稱之為”Dark Fibre”。
2. 強烈建議在傳輸通路上打開BBC功能。
3. 在ORACLE clustware里配置3個voting disk或者voting file。兩個數(shù)據(jù)中心各配一個voting disk，另外在第三機房配置一個基于NFS或者ISCSI的voting file以提高RAC系統(tǒng)可靠性。
通過之前的測試結(jié)果，前兩點建議比較容易理解，下面我們對對第三點建議做一個詳細(xì)闡述：
如果不配置基于第三機房的voting file，當(dāng)兩個數(shù)據(jù)機房的鏈接斷開之后，兩邊的主機都只能訪問本地存儲，而不知道對方狀態(tài)。此時因為沒有第三方仲裁，兩邊的RAC主機都會退出集群，從而導(dǎo)致業(yè)務(wù)中斷。因為如果不這樣，將會導(dǎo)致數(shù)據(jù)紊亂，后果更加嚴(yán)重。
遠(yuǎn)程voting file的配置考量：
一般而言， Oracle clustware每秒通過讀寫少于1千字節(jié)的數(shù)據(jù)方式訪問Voting file一次。每個寫請求IO的應(yīng)答應(yīng)該在200秒內(nèi)（缺省，long disk timeout）或者27秒內(nèi)（可配置，short disk timeout）返回。為此，oracle建議voting fiel的寫IO應(yīng)該在14（27/2）秒內(nèi)的時間內(nèi)返回，傳輸帶寬至少128k bps。
存儲雙活與RAC集群的仲裁競爭問題
l 對于HP XP7而言，因為使用了虛擬磁盤陣列技術(shù)，只需要把voting disk/file配置到虛擬磁盤陣列上，就可以避免出現(xiàn)競爭。因為訪問不了虛擬磁盤陣列上的voting disk的RAC節(jié)點是不可能被RAC clusterware仲裁為活著的。這種情況下不需要RAC配置遠(yuǎn)程voting file。
l 對于HP 3par這種使用ALUA協(xié)議的準(zhǔn)存儲雙活方案，因為RAC節(jié)點只同時使用一個物理陣列，結(jié)果與XP7類似，只要把voting disk都配置為peer persistence卷，就可以避免仲裁沖突。這種情況下不需要RAC配置遠(yuǎn)程voting file。
l 對于其它沒有使用虛擬磁盤陣列技術(shù)的存儲雙活方案提供商，特別是做了本地讀寫優(yōu)化的提供商，這是一個需要非常慎重考慮的問題。因為大部分這種存儲雙活方案提供商的仲裁是使用第三地點的虛擬機實現(xiàn)的，個人建議將這個虛擬機與RAC的第三個Voting file盡可能物理接近，減少物理因素差異造成仲裁結(jié)果沖突的可能性。
l 有的存儲供應(yīng)商提供通過手工調(diào)整仲裁算法的方式保證存儲仲裁結(jié)果與RAC相同。對此因為沒有詳細(xì)資料，所以不便評論，但是oracle官方對此持反對態(tài)度。
參考書目：
《Oracle RAC and Oracle RAC One Node on Extended Distance (Stretched)Clusters》
《Using standard NFS to support a third voting file for extended cluster configurations - OracleClusterware 11g Release 2》
《Oracle Clusterware Administration and Deployment Guide》
《HP 3Par Remote Copy Software User's guide》
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
重慶分公司
重慶分公司
