創(chuàng)新互聯(lián)公司專注于確山網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠為您提供確山營銷型網(wǎng)站建設(shè)，確山網(wǎng)站制作、確山網(wǎng)頁設(shè)計(jì)、確山網(wǎng)站官網(wǎng)定制、微信平臺(tái)小程序開發(fā)服務(wù)，打造確山網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供確山網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

在過去的一年里DataPipeline經(jīng)歷了幾次產(chǎn)品迭代。就最新的2.6版本而言，你知道都有哪些使用場(chǎng)景嗎？接下來將分為上下篇為大家一 一解讀，希望這些場(chǎng)景中能出現(xiàn)你關(guān)心的那一款。

場(chǎng)景一：應(yīng)對(duì)生產(chǎn)數(shù)據(jù)結(jié)構(gòu)的頻繁變更場(chǎng)景

1. 場(chǎng)景說明

在同步生產(chǎn)數(shù)據(jù)時(shí)，因?yàn)闃I(yè)務(wù)關(guān)系，源端經(jīng)常會(huì)有刪除表，增減字段情況。希望在該情況下任務(wù)可以繼續(xù)同步。并且當(dāng)源端增減字段時(shí)，目的地可以根據(jù)設(shè)置選擇是否同源端一起增減字段。

2. 場(chǎng)景適用說明

源/目的地：關(guān)系型數(shù)據(jù)庫

讀取模式：不限制

3. 操作步驟

• 不限制DataPipeline版本

• 在DataPipeline的任務(wù)設(shè)置，數(shù)據(jù)目的地設(shè)置下的高級(jí)選項(xiàng)下有【數(shù)據(jù)源變化設(shè)置】選項(xiàng)，可根據(jù)提示自行選擇

場(chǎng)景二：數(shù)據(jù)任務(wù)結(jié)束后調(diào)用Jenkins任務(wù)

1. 場(chǎng)景說明

數(shù)據(jù)任務(wù)同步結(jié)束，立即啟動(dòng)已定義的Jenkins任務(wù)。保證執(zhí)行的順序性，以及依賴性。

2. 場(chǎng)景適用說明

源/目的地：傳統(tǒng)性數(shù)據(jù)庫（其它需要腳本）

讀取模式：批量全量或增量識(shí)別字段

3. 操作步驟

• 在DataPipeline任務(wù)流中創(chuàng)建任務(wù)流

• 創(chuàng)建定時(shí)數(shù)據(jù)同步任務(wù)

• 添加【遠(yuǎn)程命令執(zhí)行】，添加服務(wù)器IP，編寫python腳本并放置在服務(wù)器指定目錄

詳細(xì)操作細(xì)節(jié)請(qǐng)與DataPipeline人員溝通

場(chǎng)景三：生產(chǎn)數(shù)據(jù)同步給測(cè)試使用

1. 場(chǎng)景說明

MySQL->MySQL實(shí)時(shí)同步，在同步時(shí)，可能測(cè)試組想要對(duì)任務(wù)中的幾張表目的地進(jìn)行測(cè)試，在測(cè)試過程中，目的地會(huì)有INSERT/UPDATE/DELETE操作。希望在測(cè)試前，能以自動(dòng)化方式執(zhí)行腳本暫停某幾張表的同步。測(cè)試結(jié)束后以自動(dòng)化方式執(zhí)行腳本重新同步這幾張表，并且目的地?cái)?shù)據(jù)需要與線上數(shù)據(jù)保持一致（即測(cè)試所產(chǎn)生的臟數(shù)據(jù)需要被全部清理掉）。

2. 場(chǎng)景適用說明

源/目的地：關(guān)系型數(shù)據(jù)庫目的地

讀取模式：不限制（全量/增量識(shí)別字段模式可能需要開啟【每次定時(shí)執(zhí)行批量同步前，允許清除目標(biāo)表數(shù)據(jù)】功能）

3. 操作步驟

• 要求DataPipeline版本>=2.6.0

• 在對(duì)目的地表進(jìn)行測(cè)試前，執(zhí)行DataPipeline所提供的腳本

• 目的地結(jié)束測(cè)試后，再執(zhí)行腳本添加測(cè)試表

• 啟動(dòng)腳本，對(duì)測(cè)試的幾張表進(jìn)行重新同步，保證測(cè)試后的數(shù)據(jù)可以和線上數(shù)據(jù)繼續(xù)保持一致

• 參考DataPipeline swagger接口列表，目前已有腳本模板可供參考

場(chǎng)景四：Hive->GP列存儲(chǔ)同步速率提高方案

1. 場(chǎng)景說明

Hive->GP，如果GP目的地表為手動(dòng)創(chuàng)建的列存儲(chǔ)表，那么在DataPipeline上同步時(shí)速率會(huì)非常慢。這是因?yàn)镚P列存儲(chǔ)本身存在的限制。而目的地若為DataPipeline創(chuàng)建的行表，再通過腳本將行表轉(zhuǎn)換為列表，則效率提高幾十倍。

2. 場(chǎng)景適用說明

源/目的地：Hive源/GP目的地

讀取模式：增量/全量

3. 操作步驟

• 目的地表為DataPipeline自動(dòng)創(chuàng)建的行表

• 編寫腳本將行表轉(zhuǎn)換為列表

• 數(shù)據(jù)任務(wù)同步完成后，通過DataPipeline任務(wù)流調(diào)用行轉(zhuǎn)列腳本

• 再將列表數(shù)據(jù)提供給下游使用

場(chǎng)景五：對(duì)數(shù)據(jù)進(jìn)行加密脫敏處理場(chǎng)景

1. 場(chǎng)景說明

因?yàn)樯婕坝脩綦[私或其它安全原因，需要對(duì)數(shù)據(jù)部分字段進(jìn)行脫敏或加密處理。通過DataPipeline的高級(jí)清洗功能可以完全滿足此類場(chǎng)景。

2. 場(chǎng)景適用說明

源/目的地：不限制

讀取模式：不限制

3. 操作步驟

• 不限制DataPipeline版本

• 正常配置任務(wù)即可，只需開啟高級(jí)清洗功能

• 將已寫好的加密代碼或脫敏代碼打成jar包，上傳到服務(wù)器執(zhí)行目錄下，直接調(diào)用即可

• 高級(jí)清洗代碼可聯(lián)系DataPipeline提供模板

注意事項(xiàng)：所寫的jar包需要分別上傳webservice、sink、manager所在容器的服務(wù)器的/root/datapipeline/code_engine_lib（一般默認(rèn)）目錄。

場(chǎng)景六：通過錯(cuò)誤隊(duì)列，明確上下游數(shù)據(jù)問題責(zé)任及原因

1. 場(chǎng)景說明

作為數(shù)據(jù)部門，需要接收上游數(shù)據(jù)，并根據(jù)下游部門需求將數(shù)據(jù)傳輸給對(duì)應(yīng)部門。因此當(dāng)存在臟數(shù)據(jù)或者數(shù)據(jù)問題時(shí)，有時(shí)很難定位問題原因，劃分責(zé)任。

并且大多時(shí)候都是將臟數(shù)據(jù)直接丟棄，上游無法追蹤臟數(shù)據(jù)產(chǎn)生的原因。通過DP的高級(jí)清洗功能可自定義將不符合的數(shù)據(jù)放入錯(cuò)誤隊(duì)列中。

2. 場(chǎng)景適用說明

源/目的地：不限制

讀取模式：不限制

3. 操作步驟

• 不限制DataPipeline版本

• 正常配置任務(wù)即可，只需開啟高級(jí)清洗功能

• 在高級(jí)清洗中對(duì)對(duì)應(yīng)字段根據(jù)業(yè)務(wù)進(jìn)行邏輯判斷，將不想要的數(shù)據(jù)扔到DP錯(cuò)誤隊(duì)列中

高級(jí)清洗代碼可聯(lián)系DataPipeline提供模板

場(chǎng)景七：更便捷地支持目的地手動(dòng)增加字段

1. 場(chǎng)景說明

由Oracle->SQLServer，想在目的地手動(dòng)添加一列TIMESTAMP類型，自動(dòng)賦予默認(rèn)值，記錄數(shù)據(jù)INSERT時(shí)間。

2. 場(chǎng)景適用說明

源/目的地：關(guān)系型數(shù)據(jù)庫目的地

讀取模式：不限制

3. 操作步驟

• 要求DataPipeline版本>=2.6.0

• 在DataPipeline映射頁面配置時(shí)，添加一列，字段名稱和目的地手動(dòng)添加名稱一致（標(biāo)度類型任意給，無需一致）

• 勾選該字段藍(lán)色按鈕（開啟表示同步該字段數(shù)據(jù)，關(guān)閉表示該字段不傳任何數(shù)據(jù)），點(diǎn)擊保存。如下圖所示：

• 手動(dòng)在目的地添加該列

本篇將集中介紹以上7種場(chǎng)景，如果你在工作中遇到了同樣的問題，歡迎與我們交流。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)頁標(biāo)題：上篇丨數(shù)據(jù)融合平臺(tái)DataPipeline的應(yīng)用場(chǎng)景-創(chuàng)新互聯(lián)
標(biāo)題路徑：http://weahome.cn/article/dsoigo.html