前言

成都創(chuàng)新互聯(lián)公司網(wǎng)絡(luò)公司擁有十余年的成都網(wǎng)站開發(fā)建設(shè)經(jīng)驗，成百上千客戶的共同信賴。提供成都網(wǎng)站設(shè)計、成都網(wǎng)站制作、網(wǎng)站開發(fā)、網(wǎng)站定制、賣鏈接、建網(wǎng)站、網(wǎng)站搭建、成都響應(yīng)式網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計師打造企業(yè)風(fēng)格，提供周到的售前咨詢和貼心的售后服務(wù)

在云平臺的日常運(yùn)維工作中，有很多故障排查和數(shù)據(jù)核對的場景，為了給全線運(yùn)維人員（含部分開發(fā)和運(yùn)營分析人員）提供現(xiàn)網(wǎng)數(shù)據(jù)的實時查詢，我們使用MySQL和開源工具otter搭建了一套數(shù)據(jù)查詢和管理系統(tǒng)，可以查詢平臺各資源池現(xiàn)網(wǎng)當(dāng)前的數(shù)據(jù)。并與現(xiàn)網(wǎng)保持準(zhǔn)實時同步（秒級延時）。

查詢模塊的主要組件是MySQL，納管線上業(yè)務(wù)系統(tǒng)的核心數(shù)據(jù)庫，用戶使用頻次極高，此臺MySQL中的部分核心數(shù)據(jù)還作為其他資源池的源數(shù)據(jù)，實時同步給異地機(jī)房。負(fù)責(zé)數(shù)據(jù)實時同步的otter管理節(jié)點與MySQL部署在同一物理機(jī)上，是云平臺所有資源池中查詢模塊的中樞節(jié)點。

首先，介紹一下開源工具Otter（內(nèi)容引自GitHub）

Otter是由阿里提供的基于數(shù)據(jù)庫增量日志解析，準(zhǔn)實時同步到本機(jī)房或異地機(jī)房MySQL數(shù)據(jù)庫的一個分布式數(shù)據(jù)庫同步系統(tǒng)，工作原理如下：

• db：數(shù)據(jù)源以及需要同步到的庫；

• Canal：用戶獲取數(shù)據(jù)庫增量日志；

• manager：配置同步規(guī)則設(shè)置數(shù)據(jù)源同步源等；

• zookeeper：協(xié)調(diào)node進(jìn)行協(xié)調(diào)工作；

• node：負(fù)責(zé)任務(wù)處理處理接受到的部分同步工作。

一、Otter的特性

1、純JAVA開發(fā)，占時資源比較高

2、基于Canal獲取數(shù)據(jù)庫增量日志數(shù)據(jù)，Canal是阿里另一款開源產(chǎn)品

下面是Canal的原理圖：

已經(jīng)為大家精心準(zhǔn)備了大數(shù)據(jù)的系統(tǒng)學(xué)習(xí)資料，從Linux-Hadoop-spark-......，需要的小伙伴可以點擊

基于MySQL主備復(fù)制原理：

• MySQL master 將數(shù)據(jù)變更寫入二進(jìn)制日志( binary log, 其中記錄叫做二進(jìn)制日志事件binary log events，可以通過 show binlog events 進(jìn)行查看)；

• MySQL slave 將 master 的 binary log events 拷貝到它的中繼日志(relay log)；

• MySQL slave 重放 relay log 中事件，將數(shù)據(jù)變更反映它自己的數(shù)據(jù)。

Canal工作原理：

• Canal 模擬 MySQL slave 的交互協(xié)議，偽裝自己為 MySQL slave ，向 MySQL master 發(fā)送dump 協(xié)議；

• MySQL master 收到 dump 請求，開始推送 binary log 給 slave (即 canal )；

• Canal 解析 binary log 對象(原始為 byte 流)。

3、典型管理系統(tǒng)架構(gòu)，manager(web管理)+node(工作節(jié)點)

1）manager運(yùn)行時推送同步配置到node節(jié)點，負(fù)責(zé)配置監(jiān)控

2）node節(jié)點將同步狀態(tài)反饋到manager上，負(fù)責(zé)處理任務(wù)

4、基于zookeeper，解決分布式狀態(tài)調(diào)度的，允許多node節(jié)點之間協(xié)同工作

5、使用aria2多線程傳輸技術(shù)，對網(wǎng)絡(luò)依賴帶寬依賴較低

二、Otter能解決什么問題

1、異構(gòu)庫同步

MySQL -> MySQL/Oracle。(目前開源版本只支持MySQL增量，目標(biāo)庫可以是MySQL或者Oracle，取決于Canal的功能)

2、單機(jī)房同步 (數(shù)據(jù)庫之間RTT < 1ms)

• 數(shù)據(jù)庫版本升級；

• 數(shù)據(jù)表遷移；

• 異步二級索引。

3、異地機(jī)房同步（是Otter最大的亮點之一，可以解決國際化問題把數(shù)據(jù)從國內(nèi)同步到國外提供用戶使用，在國內(nèi)場景可以做到數(shù)據(jù)多機(jī)房容災(zāi))

機(jī)房容災(zāi)

4、雙向同步（雙向同步是在數(shù)據(jù)同步中最難搞的一種場景，Otter可以很好的應(yīng)對這種場景，Otter有避免回環(huán)算法和數(shù)據(jù)一致性算法兩種特性，保證雙A機(jī)房模式下，數(shù)據(jù)保證最終一致性）

1）避免回環(huán)算法 (通用的解決方案，支持大部分關(guān)系型數(shù)據(jù)庫)

2）數(shù)據(jù)一致性算法 (保證雙A機(jī)房模式下，數(shù)據(jù)保證最終一致性，亮點)

5、文件同步

站點鏡像 (進(jìn)行數(shù)據(jù)復(fù)制的同時，復(fù)制關(guān)聯(lián)的圖片，比如復(fù)制產(chǎn)品數(shù)據(jù)，同時復(fù)制產(chǎn)品圖片)

單機(jī)房復(fù)制示意圖：

說明：

• 數(shù)據(jù)on-Fly，盡可能不落地，更快的進(jìn)行數(shù)據(jù)同步. (開啟node loadBalancer算法，如果Node節(jié)點S+ETL落在不同的Node上，數(shù)據(jù)會有個網(wǎng)絡(luò)傳輸過程)；

• node節(jié)點可以有failover / loadBalancer。

異地機(jī)房復(fù)制示意圖：

說明：

• 數(shù)據(jù)涉及網(wǎng)絡(luò)傳輸，S/E/T/L幾個階段會分散在2個或者更多Node節(jié)點上，多個Node之間通過zookeeper進(jìn)行協(xié)同工作 (一般是Select和Extract在一個機(jī)房的Node，Transform/Load落在另一個機(jī)房的Node)；

• node節(jié)點可以有failover / loadBalancer. (每個機(jī)房的Node節(jié)點，都可以是集群，一臺或者多臺機(jī)器)。

關(guān)于Otter的調(diào)度模型、數(shù)據(jù)入庫算法、一致性、高可用性和擴(kuò)展性等內(nèi)容，可以登錄GitHub了解。

已經(jīng)為大家精心準(zhǔn)備了大數(shù)據(jù)的系統(tǒng)學(xué)習(xí)資料，從Linux-Hadoop-spark-......，需要的小伙伴可以點擊

里面有詳細(xì)的介紹，本文不再贅述，下面重點說明一下otter的安裝和使用。

三、安裝部署

移動云業(yè)務(wù)需要數(shù)據(jù)匯總，需將多個主數(shù)據(jù)庫同步匯總到一個從數(shù)據(jù)庫中，方便數(shù)據(jù)統(tǒng)計分析。Otter中間件則滿足了此需求，相對比多源復(fù)制，更加靈活和可塑性。

前面簡單介紹了Otter的基本信息，下面開始搭建一個Otter環(huán)境，因為一個Otter需要Manage+node+數(shù)據(jù)庫還有很多的依賴，這里我們先來搭建Otter的管理服務(wù)器Manager。

1、環(huán)境準(zhǔn)備

1）阿里軟件

Otter(manager、node)軟件：https://github.com/alibaba/otter/releases

Manager數(shù)據(jù)庫初始化腳本：https://raw.githubusercontent.com/alibaba/otter/master/manager/deployer/src/main/resources/sql/otter-manager-schema.sql

2）集群

Zookeeper：http://download.csdn.net/download/jxplus/9451794

3）JAVA

JDK：測試環(huán)境使用yum安裝1.6以上版本

4）數(shù)據(jù)庫

Mysql5.7：http://dev.mysql.com/downloads/mysql/

5）操作系統(tǒng)

CentOS 7.1.1503 (Core)：https://www.centos.org/download/

版本信息

2、軟件安裝

1）操作系統(tǒng)安裝

2）java jdk1.6

安裝完成操作系統(tǒng)后，使用yum安裝jdk1.6以上版本(含1.6)

yum -y install java-1.6.0-openjdk.x86_64

3）安裝MySQL數(shù)據(jù)庫

4）安裝集群軟件ZooKeeper

下載安裝包后解壓即可，不需要編譯安裝。然后進(jìn)行配置：

① 修改tickTime、clientPort、dataDir參數(shù)

vim /zookeeper-3.4.8/conf/zoo.cfg

tickTime ：時長單位為毫秒，為zk使用的基本時間度量單位。例如，1 * tickTime是客戶端與zk服務(wù)端的心跳時間，2 * tickTime是客戶端會話的超時時間。

tickTime的默認(rèn)值為2000毫秒，更低的tickTime值可以更快地發(fā)現(xiàn)超時問題，但也會導(dǎo)致更高的網(wǎng)絡(luò)流量（心跳消息）和更高的CPU使用率（會話的跟蹤處理）。

clientPort ：zk服務(wù)進(jìn)程監(jiān)聽的TCP端口，默認(rèn)情況下，服務(wù)端會監(jiān)聽2181端口。

dataDir ：無默認(rèn)配置，必須配置，用于配置存儲快照文件的目錄。

② 執(zhí)行下面命令啟動server

cd /zookeeper-3.4.8/bin/?

./zkServer.sh start

http://weahome.cn/article/psgoji.html