PostgreSQL兩個(gè)數(shù)據(jù)庫(kù)同步

你說的類似oracle中的RAC嗎？目前postgre沒有。

成都創(chuàng)新互聯(lián)是一家網(wǎng)站設(shè)計(jì)公司，集創(chuàng)意、互聯(lián)網(wǎng)應(yīng)用、軟件技術(shù)為一體的創(chuàng)意網(wǎng)站建設(shè)服務(wù)商，主營(yíng)產(chǎn)品：響應(yīng)式網(wǎng)站建設(shè)、品牌網(wǎng)站建設(shè)、成都全網(wǎng)營(yíng)銷。我們專注企業(yè)品牌在網(wǎng)站中的整體樹立，網(wǎng)絡(luò)互動(dòng)的體驗(yàn)，以及在手機(jī)等移動(dòng)端的優(yōu)質(zhì)呈現(xiàn)。成都做網(wǎng)站、成都網(wǎng)站制作、移動(dòng)互聯(lián)產(chǎn)品、網(wǎng)絡(luò)運(yùn)營(yíng)、VI設(shè)計(jì)、云產(chǎn)品.運(yùn)維為核心業(yè)務(wù)。為用戶提供一站式解決方案，我們深知市場(chǎng)的競(jìng)爭(zhēng)激烈，認(rèn)真對(duì)待每位客戶，為客戶提供賞析悅目的作品，網(wǎng)站的價(jià)值服務(wù)。

現(xiàn)在postgre只有類似oracle中的DG，并且主庫(kù)是可讀寫，從庫(kù)是只讀（低版本的postgre不能讀）。

當(dāng)主庫(kù)發(fā)生錯(cuò)誤，需要手動(dòng)切換

5分鐘搞定MySQL/PostgreSQL/Oracle到StarRocks數(shù)據(jù)遷移同步-CloudCanal實(shí)戰(zhàn)

CloudCanal 2.1.0.x 版本開始支持 StarRocks 作為對(duì)端的數(shù)據(jù)遷移同步能力

本文通過 MySQL-StarRocks 的數(shù)據(jù)遷移同步案例簡(jiǎn)要介紹這個(gè)源端的能力。鏈路特點(diǎn)：

StarRocks 提供了多種導(dǎo)入方式。CloudCanal 采用了 StreamLoad 的方式進(jìn)行導(dǎo)入，源端的消息會(huì)轉(zhuǎn)成字節(jié)流，通過 HTTP 協(xié)議發(fā)往 StarRocks。

相比直接通過 SQL 寫入的方式，StreamLoad 方式會(huì)有更好的性能，寫入的數(shù)據(jù)直接經(jīng) FE 轉(zhuǎn)發(fā)給 BE 處理。如果直接采用 SQL 寫入，在 FE 側(cè)，會(huì)有額外的 SQL 解析開銷。

CloudCanal 提供了 StreamLoad 可配置的豐富參數(shù)，包括：

過快的寫入會(huì)導(dǎo)致 StarRocks 來不及 compaction，從而產(chǎn)生異常。CloudCanal 提供了兩個(gè)任務(wù)參數(shù)，支持在一批數(shù)據(jù)寫入后自動(dòng)停頓一段時(shí)間，避免這種問題。參數(shù)為：

CloudCanal 任務(wù)詳情頁(yè)，點(diǎn)擊 參數(shù)修改 ，即可調(diào)整

StarRocks 作為實(shí)時(shí)數(shù)倉(cāng)，采用 主鍵模型 或者 聚合模型 較多。CloudCanal默認(rèn)采用 主鍵模型 ，能夠?qū)崟r(shí)同步源端的 INSERT / UPDATE / DELETE 。

基于 StreamLoad 的寫入方式，實(shí)際寫入對(duì)端的操作均為 INSERT。CloudCanal 同步時(shí)會(huì)自動(dòng)將 UPDATE/DELETE 轉(zhuǎn)成INSERT語(yǔ)句，并修改 __ops 值，StarRocks 會(huì)自動(dòng)進(jìn)行compaction。

StarRocks 不支持 \n 等特殊符號(hào)寫入，CloudCanal 任務(wù)通過參數(shù)設(shè)置( enableEscape 參數(shù)) 開啟自動(dòng)轉(zhuǎn)義。

對(duì)于高流量的場(chǎng)景，建議使用 4G 及以上的任務(wù)規(guī)格配置，并且對(duì)相關(guān)參數(shù)進(jìn)行調(diào)優(yōu)，調(diào)優(yōu)建立在任務(wù)無 GC 問題、對(duì)端 StarRocks 沒有 compaction 瓶頸的情況下。

本文簡(jiǎn)單介紹了如何使用 CloudCanal 進(jìn)行MySQL到StarRocks 的數(shù)據(jù)遷移同步。各位讀者朋友，如果你覺得還不錯(cuò)，請(qǐng)點(diǎn)贊、評(píng)論加轉(zhuǎn)發(fā)吧。

默認(rèn)任務(wù)參數(shù)配置下，如果導(dǎo)入數(shù)據(jù)過于頻繁可能會(huì)任務(wù)異常，這時(shí)候可以調(diào)節(jié)上文提到的fullBatchWaitTimeMs和increBatchWaitTimeMs參數(shù)或者調(diào)整StarRocks的Server側(cè)的合并策略。下圖為StarRocks官方提供的常見問題FAQ

CloudCanal-免費(fèi)好用的企業(yè)級(jí)數(shù)據(jù)同步工具，歡迎品鑒。

了解更多產(chǎn)品可以查看 官方網(wǎng)站 ：

CloudCanal社區(qū) ：

PostgreSQL 怎么做數(shù)據(jù)的增量同步到其他PostgreSQL數(shù)據(jù)庫(kù)

安裝PostgreSQL數(shù)據(jù)庫(kù)之后，默認(rèn)是只接受本地訪問連接。如果想在其他主機(jī)上訪問PostgreSQL數(shù)據(jù)庫(kù)服務(wù)器，就需要進(jìn)行相 應(yīng)的配置。配置遠(yuǎn)程連接PostgreSQL數(shù)據(jù)庫(kù)的步驟很簡(jiǎn)單，只需要修改data目錄下的pg_hba.conf和postgresql.conf, 其中pg_hba.conf是用來配置對(duì)數(shù)據(jù)庫(kù)的訪問權(quán)限，postgresql.conf文件用來配置PostgreSQL數(shù)據(jù)庫(kù)服務(wù)器的相應(yīng)的參數(shù)。 下面介紹配置的步驟：

1.修改pg_hba.conf文件，配置用戶的訪問權(quán)限：

# TYPE DATABASE USER CIDR-ADDRESS METHOD

# "local" is for Unix domain socket connections only

local all all trust

# IPv4 local connections:

host all all 127.0.0.1/32 trust

host all all 192.168.1.0/24 md5

# IPv6 local connections:

host all all ::1/128 trust

其中紅色標(biāo)識(shí)的內(nèi)容為新添加的內(nèi)容，表示允許網(wǎng)段192.168.1.0上的所有主機(jī)使用所有合法的數(shù)據(jù)庫(kù)用戶名訪問數(shù)據(jù)庫(kù)，并提供加密的密碼驗(yàn) 證。在我們的環(huán)境中，我們需要在主機(jī)192.168.1.5上使用postgres用戶訪問192.168.1.9上的PostgreSQL數(shù)據(jù)庫(kù)。

2.修改postgresql.conf文件，將數(shù)據(jù)庫(kù)服務(wù)器的監(jiān)聽模式修改為監(jiān)聽所有主機(jī)發(fā)出的連接請(qǐng)求。

定位到#listen_addresses='localhost'。PostgreSQL安裝完成后，默認(rèn)是只接受來在本機(jī)localhost的連接請(qǐng) 求，通過將改行內(nèi)容修改為listen_addresses='*'來允許數(shù)據(jù)庫(kù)服務(wù)器監(jiān)聽來自任何主機(jī)的連接請(qǐng)求：

listen_addresses = '*' # what IP address(es) to listen on;

# comma-separated list of addresses;

# defaults to 'localhost', '*' = all

# (change requires restart)

修改之后，保存并退出，然后重起數(shù)據(jù)庫(kù)，就可以在在遠(yuǎn)程機(jī)器上訪問PostgreSQL數(shù)據(jù)庫(kù)了。

另外，數(shù)據(jù)庫(kù)管理小貼士：

matrix數(shù)據(jù)庫(kù)使用的是PostgreSQL數(shù)據(jù)庫(kù)。你可以安裝一個(gè)類似phpmyadmin的管理