這種架構一般用在以下三類場景
創(chuàng)新互聯是一家集網站建設,香格里拉企業(yè)網站建設,香格里拉品牌網站建設,網站定制,香格里拉網站建設報價,網絡營銷,網絡優(yōu)化,香格里拉網站推廣為一體的創(chuàng)新建站企業(yè),幫助傳統企業(yè)提升企業(yè)形象加強企業(yè)競爭力??沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯網需求。同時我們時刻保持專業(yè)、時尚、前沿,時刻以成就客戶成長自我,堅持不斷學習、思考、沉淀、凈化自己,讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網站。
1. 備份多臺 Server 的數據到一臺如果按照數據切分方向來講,那就是垂直切分。比如圖 2,業(yè)務 A、B、C、D 是之前拆分好的業(yè)務,現在需要把這些拆分好的業(yè)務匯總起來備份,那這種需求也很適用于多源復制架構。實現方法我大概描述下:業(yè)務 A、B、C、D 分別位于 4 臺 Server,每臺 Server 分別有一個數據庫來隔離前端的業(yè)務數據,那這樣,在從庫就能把四臺業(yè)務的數據全部匯總起來,而不需要做額外的操作。那沒有多源復制之前,要實現這類需求,只能在匯總機器上搭建多個 MySQL 實例,那這樣勢必會涉及到跨庫關聯的問題,不但性能急劇下降,管理多個實例也沒有單臺來的容易。
2. 用來聚合前端多個 Server 的分片數據。
同樣,按照數據切分方向來講,屬于水平切分。比如圖 3,按照年份拆分好的數據,要做一個匯總數據展現,那這種架構也非常合適。實現方法稍微復雜些:比如所有 Server 共享同一數據庫和表,一般為了開發(fā)極端透明,前端配置有分庫分表的中間件,比如愛可生的 DBLE。
3. 匯總并合并多個 Server 的數據
第三類和第一種場景類似。不一樣的是不僅僅是數據需要匯總到目標端,還得合并這些數據,這就比第一種來的相對復雜些。比如圖 4,那這樣的需求,是不是也適合多源復制呢?答案是 YES。那具體怎么做呢?
IP的設置:A主機 IP:10.10.0.119;Mask:255.255.0.0;B主機 IP:10.10.8.112;Mask:255.255.0.0
在IP設置完成以后,需要確定兩主機的防火墻確實已經關閉??梢允褂妹顂ervice iptables status查看防火墻狀態(tài)。如果防火墻狀態(tài)。
為仍在運行。使用service iptables stop來停用防火墻。如果想啟動關閉防火墻,可以使用setup命令來禁用或定制。最終以兩臺主機可以相互ping通為佳。
3.2 配置A主(master) B從(slave)模式;3.2.1 配置A 為master。
增加一個用戶同步使用的帳號:
GRANT FILE ON *.* TO ‘backup’@'10.10.8.112' IDENTIFIED BY ‘1234’;
GRANTREPLICATION SLAVE ON *.* TO ‘backup’@'10.10.8.112' IDENTIFIED BY ‘1234’。
賦予10.10.8.112也就是Slave機器有File權限,只賦予Slave機器有File權限還不行,還要給它REPLICATION SLAVE的權限才可以。
增加一個數據庫作為同步數據庫:create database test;
創(chuàng)建一個表結構:create table mytest (username varchar(20),password varchar(20));
修改配置文件:修改A的/etc/my.cnf文件。
在my.cnf配置項中加入下面配置:
server-id = 1 #Server標識
log-bin
binlog-do-db=test #指定需要日志的數據庫
重起數據庫服務:
service mysqld restart
查看server-id:
show variable like ‘server_id’。
具體操作:
1、在分析型數據庫上創(chuàng)建目標表,數據更新類型為實時寫入,字段名稱和MySQL中的建議均相同;
2、在阿里云數據傳輸的控制臺上創(chuàng)建數據訂閱通道,并記錄這個通道的ID;
3、 配置dts-ads-writer/app.conf文件,配置方式如下:所有配置均保存在app.conf中,運行前請保證配置正確;修改配置后,請重啟writer,基本配置:
注意事項:
1、RDS
for
MySQL表和分析型數據庫中表的主鍵定義必須完全一致;如果不一致會出現數據不一致問題。如果需要調整RDS/分析型數據庫表的主鍵,建議先停止writer進程;
2、一個插件進程中分析型數據庫db只能是一個,由adsJdbcUrl指定;
3、一個插件進程只能對應一個數據訂閱通道;如果更新通道中的訂閱對象時,需要重啟進程。
實現兩個Mysql數據庫之間同步同步原理:
MySQL 為了實現replication 必須打開bin-log 項,也是打開二進制的MySQL 日志記錄選項。MySQL 的bin log 二
進制日志,可以記錄所有影響到數據庫表中存儲記錄內容的sql 操作,如insert / update / delete 操作,而不記錄
select 這樣的操作。因此,我們可以通過二進制日志把某一時間段內丟失的數據可以恢復到數據庫中(如果二進制日
志中記錄的日志項,包涵數據庫表中所有數據,那么, 就可以恢復本地數據庫的全部數據了)。 而這個二進制日志,
如果用作遠程數據庫恢復,那就是replication 了。這就是使用replication 而不用sync 的原因。這也是為什么要設
置bin-log = 這個選項的原因。
在同步過程中,最重要的同步參照物,就是同步使用那一個二進制日志文件,從那一條記錄開始同步。下面就介紹
下怎樣實現兩個Mysql數據庫之間的主從同步。
一、 概述
MySQL從3.23.15版本以后提供數據庫復制(replication)功能,利用該功能可以實現兩個數據庫同步、主從模式、
互相備份模式的功能。本文檔主要闡述了如何在linux系統中利用mysql的replication進行雙機熱備的配置。
二、 環(huán)境
操作系統:Linux 2.6.23.1-42.fc8 # SMP(不安裝XEN)
Mysql版本:5.0.45-4.fc8
設備環(huán)境:PC(或者虛擬機)兩臺
三、 配置
數據庫同步復制功能的設置都在MySQL的配置文件中體現,MySQL的配置文件(一般是my.cnf):在本環(huán)境下
為/etc/my.cnf。
3.1 設置環(huán)境:
IP的設置:
A主機 IP:10.10.0.119
Mask:255.255.0.0
B主機 IP:10.10.8.112
Mask:255.255.0.0
在IP設置完成以后,需要確定兩主機的防火墻確實已經關閉??梢允褂妹顂ervice iptables status查看防火墻狀態(tài)
。如果防火墻狀態(tài)為仍在運行。使用service iptables stop來停用防火墻。如果想啟動關閉防火墻,可以使用setup命
令來禁用或定制。
最終以兩臺主機可以相互ping通為佳。
3.2 配置A主(master) B從(slave)模式
3.2.1 配置A 為master
1、增加一個用戶同步使用的帳號:
GRANT FILE ON *.* TO ‘backup’@'10.10.8.112' IDENTIFIED BY ‘1234’;
GRANTREPLICATION SLAVE ON *.* TO ‘backup’@'10.10.8.112' IDENTIFIED BY ‘1234’;
賦予10.10.8.112也就是Slave機器有File權限,只賦予Slave機器有File權限還不行,還要給它REPLICATION SLAVE的權
限才可以。
2、增加一個數據庫作為同步數據庫:
create databbse test;
3、創(chuàng)建一個表結構:
create table mytest (username varchar(20),password varchar(20));
4、修改配置文件:
修改A的/etc/my.cnf文件,在my.cnf配置項中加入下面配置:
server-id = 1 #Server標識
log-bin
binlog-do-db=test #指定需要日志的數據庫
5、重起數據庫服務:
service mysqld restart
查看server-id:
show variable like ‘server_id’;
實例:
mysql show variables like 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id | 1 |
+---------------+-------+
1 row in set (0.00 sec)
6、用show master status/G命令看日志情況。
正常為:
mysql show master status/G
*************************** 1. row ***************************
File: mysqld-bin.000002
positiion: 198
Binlog_Do_DB: test,test
Binlog_Ignore_DB:
1 row in set (0.08 sec)
3.2.2 配置B 為slave
1、增加一個數據庫作為同步數據庫:
create databbse test;
2、創(chuàng)建一個表結構:
create table mytest (username varchar(20),password varchar(20));
3、修改配置文件:
修改B的/etc/my.cnf文件,在my.cnf配置項中加入下面配置:
server-id=2
master-host=10.10. 0.119
master-user=backup #同步用戶帳號
master-password=1234
master-port=3306
master-connect-retry=60 #預設重試間隔60秒
replicate-do-db=test #告訴slave只做backup數據庫的更新
5、重起數據庫服務:
service mysqld restart
查看server-id:
show variables like ‘server_id’;
實例:
mysql show variables like 'server_id';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| server_id | 2 |
+---------------+-------+
1 row in set (0.00 sec)
6、用show slave status/G命令看日志情況。
正常為:
mysql show slave status/G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 10.10.0.119
Master_User: backup
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysqld-bin.000001
Read_Master_Log_Pos: 98
Relay_Log_File: mysqld-relay-bin.000003
Relay_Log_Pos: 236
Relay_Master_Log_File: mysqld-bin.000001
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB: test,test
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 98
Relay_Log_Space: 236
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
1 row in set (0.01 sec)
3.2.3 驗證配置
分別使用insert, delete , update在A主機進行增刪改查數據庫;查看B主機的數據庫是否與A主機一致;若一致,則配
置成功。
3.3雙機互備模式
如果在A主機加入slave設置,在B主機加入master設置,則可以做B-A的同步。
1、在A主機的配置文件中 mysqld配置項加入以下設置:
master-host=10.10.8.112
master-user=backup
master-password=1234
replicate-do-db=test
master-connect-retry=10
2、在B的配置文件中 mysqld配置項加入以下設置:
log-bin
binlog-do-db=test
注意:當有錯誤產生時,*.err日志文件同步的線程退出,當糾正錯誤后,要讓同步機制進行工作,運行slave
start。
重起A、B機器,則可以實現雙向的熱備份。
總之,成功完成以上配置后,在主服務器A的test庫里添加數據或刪除數據,在從服務器B的test庫里馬上也能
看到相應的變更。兩臺服務器的同步操作可以說是瞬間完成的。