這篇文章主要從數(shù)據(jù)治理的基礎(chǔ)和核心之一：元數(shù)據(jù)入手，從以下幾個(gè)角度展開具體講解：
元數(shù)據(jù)概念
元數(shù)據(jù)的分布和采集
如果我說：元數(shù)據(jù)（Meta Data），就是描述數(shù)據(jù)的數(shù)據(jù)。沒有技術(shù)背景加持的路人粉看到這句「繞口令」，內(nèi)心可能會(huì)浮現(xiàn)這樣的想法：
簡(jiǎn)單點(diǎn)，其實(shí)元數(shù)據(jù)相當(dāng)于數(shù)據(jù)的戶口本。
戶口本是什么？它除了包含個(gè)人姓名、年齡、性別、×××號(hào)碼等各種基本描述信息外，還有這個(gè)人和家人的血緣關(guān)系，比如說父子，兄妹等等。所有的這些信息加起來，構(gòu)成對(duì)這個(gè)人的全面描述，也可以稱之為這個(gè)人的元數(shù)據(jù)。
同樣的，如果我們要描述清楚一個(gè)實(shí)際的數(shù)據(jù)，以某張表為例，我們需要知道表名、表別名、表的所有者、數(shù)據(jù)存儲(chǔ)的物理位置、主鍵、索引、表中有哪些字段、這張表與其他表之間的關(guān)系等等。所有的這些信息加起來，就是這張表的元數(shù)據(jù)。這么一類比，我們對(duì)元數(shù)據(jù)的概念可能就清楚很多了：元數(shù)據(jù)是數(shù)據(jù)的戶口本。
是數(shù)據(jù)治理的核心和基礎(chǔ)
如果讓你帶兵打仗，現(xiàn)在你必須要掌握的信息是什么？沒錯(cuò)，一張戰(zhàn)場(chǎng)的地圖必不可少！而元數(shù)據(jù)在數(shù)據(jù)治理當(dāng)中，就相當(dāng)于所有數(shù)據(jù)的地圖。
在這張關(guān)于數(shù)據(jù)的地圖中，我們可以知道：
我們有哪些數(shù)據(jù)？
數(shù)據(jù)分布在哪里？
這些數(shù)據(jù)分別是什么類型？
數(shù)據(jù)之間有什么關(guān)系？
哪些數(shù)據(jù)經(jīng)常被引用？哪些數(shù)據(jù)無人光顧？
……
所以，如果我們做數(shù)據(jù)治理，卻沒有掌握這張地圖，就猶如瞎子摸象。后續(xù)的文章中我們要講到的數(shù)據(jù)資產(chǎn)管理，知識(shí)圖譜，其實(shí)大部分也是建立在元數(shù)據(jù)之上的。所以我們說：元數(shù)據(jù)是一個(gè)組織內(nèi)的數(shù)據(jù)地圖，它是數(shù)據(jù)治理的核心和基礎(chǔ)。
元模型(Meta Model)，是描述元數(shù)據(jù)的數(shù)據(jù)。它與元數(shù)據(jù)、數(shù)據(jù)之間的關(guān)系，可以用下面這張圖來描述。
對(duì)于元模型的概念，我們不做深入的討論。我們只需要知道下面這些：元數(shù)據(jù)本身的數(shù)據(jù)結(jié)構(gòu)也是需要被定義和規(guī)范的，定義和規(guī)范元數(shù)據(jù)的就是元模型，國(guó)際上元模型的標(biāo)準(zhǔn)是 CWM(Common Warehouse Metamodel，公共倉(cāng)庫(kù)元模型)，一個(gè)成熟的元數(shù)據(jù)管理工具，需要支持 CWM 標(biāo)準(zhǔn)。
以下內(nèi)容理解難度升級(jí)，請(qǐng)各位技術(shù)小白謹(jǐn)慎閱讀
如有不懂，蔣老師后臺(tái)單獨(dú)輔導(dǎo)！
在大數(shù)據(jù)平臺(tái)中，元數(shù)據(jù)貫穿大數(shù)據(jù)平臺(tái)數(shù)據(jù)流動(dòng)的全過程，主要包括數(shù)據(jù)源元數(shù)據(jù)、數(shù)據(jù)加工處理過程元數(shù)據(jù)、數(shù)據(jù)主題庫(kù)專題庫(kù)元數(shù)據(jù)、服務(wù)層元數(shù)據(jù)、應(yīng)用層元數(shù)據(jù)等。下圖以一個(gè)數(shù)據(jù)中心為例，展示了元數(shù)據(jù)的分布范圍：
業(yè)內(nèi)通常把元數(shù)據(jù)分為以下類型：
技術(shù)元數(shù)據(jù)：庫(kù)表結(jié)構(gòu)、字段約束、數(shù)據(jù)模型、ETL 程序、SQL 程序等。
業(yè)務(wù)元數(shù)據(jù)：業(yè)務(wù)指標(biāo)、業(yè)務(wù)代碼、業(yè)務(wù)術(shù)語等。
元數(shù)據(jù)采集是指獲取數(shù)據(jù)生命周期中的元數(shù)據(jù)，對(duì)元數(shù)據(jù)進(jìn)行組織，然后將元數(shù)據(jù)寫入數(shù)據(jù)庫(kù)中的過程。使用包括數(shù)據(jù)庫(kù)直連、接口、日志文件等技術(shù)手段，對(duì)結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)字典、非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)信息、業(yè)務(wù)指標(biāo)、代碼、數(shù)據(jù)加工過程等元數(shù)據(jù)信息進(jìn)行自動(dòng)化和手動(dòng)采集。元數(shù)據(jù)采集完成后，被組織成符合 CWM 模型的結(jié)構(gòu)，存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中。
先看一張?jiān)獢?shù)據(jù)管理的整體功能架構(gòu)圖，有了元數(shù)據(jù)，我們能做些什么，從這張圖里一目了然：
（如果你沒看懂，請(qǐng)來評(píng)論區(qū)告訴我）
① 元數(shù)據(jù)查看
一般是以樹形結(jié)構(gòu)組織元數(shù)據(jù)，按不同類型對(duì)元數(shù)據(jù)進(jìn)行瀏覽和檢索。如我們可以瀏覽表的結(jié)構(gòu)、字段信息、數(shù)據(jù)模型、指標(biāo)信息等。通過合理的權(quán)限分配，元數(shù)據(jù)查看可以大大提升信息在組織內(nèi)的共享。
② 數(shù)據(jù)血緣和影響性分析
數(shù)據(jù)血緣和影響性分析主要解決「數(shù)據(jù)之間有什么關(guān)系」的問題。因其重要價(jià)值，有的廠商會(huì)從元數(shù)據(jù)管理中單獨(dú)提取出來，作為一個(gè)獨(dú)立的重要功能。但是考慮到數(shù)據(jù)血緣和影響性分析其實(shí)是來自于元數(shù)據(jù)信息，所以還是放在元數(shù)據(jù)管理中來描述。
血緣分析指的是獲取到數(shù)據(jù)的血緣關(guān)系，以歷史事實(shí)的方式記錄數(shù)據(jù)的來源，處理過程等。以某張表的血緣關(guān)系為例，血緣分析展示如下信息：
數(shù)據(jù)血緣分析對(duì)于用戶具有重要的價(jià)值，如：當(dāng)在數(shù)據(jù)分析中發(fā)現(xiàn)問題數(shù)據(jù)的時(shí)候，可以依賴血緣關(guān)系，追根溯源，快速地定位到問題數(shù)據(jù)的來源和加工流程，減少分析的時(shí)間和難度。
數(shù)據(jù)血緣分析的典型應(yīng)用場(chǎng)景：某業(yè)務(wù)人員發(fā)現(xiàn)「月度營(yíng)銷分析」報(bào)表數(shù)據(jù)存在質(zhì)量問題，于是向 IT 部門提出異議，技術(shù)人員通過元數(shù)據(jù)血緣分析發(fā)現(xiàn)「月度營(yíng)銷分析」報(bào)表受到上游 FDM 層四張不同的數(shù)據(jù)表的影響，從而快速定位問題的源頭，低成本地解決問題。
除了血緣分析之外，還有一種影響性分析，它能分析出數(shù)據(jù)的下游流向。當(dāng)系統(tǒng)進(jìn)行升級(jí)改造的時(shí)候，如果修改了數(shù)據(jù)結(jié)構(gòu)、ETL 程序等元數(shù)據(jù)信息，依賴數(shù)據(jù)的影響性分析，可以快速定位出元數(shù)據(jù)修改會(huì)影響到哪些下游系統(tǒng)，從而減少系統(tǒng)升級(jí)改造帶來的風(fēng)險(xiǎn)。從上面的描述可以知道：數(shù)據(jù)影響性分析和血緣分析正好相反，血緣分析指向數(shù)據(jù)的上游來源，影響性分析指向數(shù)據(jù)的下游。
影響性分析的典型應(yīng)用場(chǎng)景：某機(jī)構(gòu)因業(yè)務(wù)系統(tǒng)升級(jí)，在“FINAL_ZENT ”表中修改了字段：TRADE_ACCORD 長(zhǎng)度由 8 修改為 64，需要分析本次升級(jí)對(duì)后續(xù)相關(guān)系統(tǒng)的影響。對(duì)元數(shù)據(jù)“FINAL_ZENT”進(jìn)行影響性分析，發(fā)現(xiàn)對(duì)下游 DW 層相關(guān)的表和 ETL 程序都有影響，IT 部門定位到影響之后，及時(shí)修改下游的相應(yīng)程序和表結(jié)構(gòu)，避免了問題的發(fā)生。由此可見，數(shù)據(jù)的影響性分析有利于快速鎖定元數(shù)據(jù)變更帶來的影響，將可能發(fā)生的問題提前消滅在萌芽之中。
③ 數(shù)據(jù)冷熱度分析
冷熱度分析主要是對(duì)數(shù)據(jù)表的被使用情況進(jìn)行統(tǒng)計(jì)，如：表與ETL 程序、表與分析應(yīng)用、表與其他表的關(guān)系情況等，從訪問頻次和業(yè)務(wù)需求角度出發(fā)，進(jìn)行數(shù)據(jù)冷熱度分析，用圖表的方式，展現(xiàn)表的重要性指數(shù)。
數(shù)據(jù)的冷熱度分析對(duì)于用戶有巨大的價(jià)值，典型應(yīng)用場(chǎng)景：我們觀察到某些數(shù)據(jù)資源處于長(zhǎng)期閑置，沒有被任何應(yīng)用調(diào)用，也沒有別的程序去使用的狀態(tài)，這時(shí)候，用戶就可以參考數(shù)據(jù)的冷熱度報(bào)告，結(jié)合人工分析，對(duì)冷熱度不同的數(shù)據(jù)做分層存儲(chǔ)，以更好地利用 HDFS 資源，或者評(píng)估是否對(duì)失去價(jià)值的這部分?jǐn)?shù)據(jù)做下線處理，以節(jié)省數(shù)據(jù)存儲(chǔ)空間。
④ 數(shù)據(jù)資產(chǎn)地圖
通過對(duì)元數(shù)據(jù)的加工，可以形成數(shù)據(jù)資產(chǎn)地圖等應(yīng)用。數(shù)據(jù)資產(chǎn)地圖一般用于在宏觀層面組織信息，以全局視角對(duì)信息進(jìn)行歸并、整理，展現(xiàn)數(shù)據(jù)量、數(shù)據(jù)變化情況、數(shù)據(jù)存儲(chǔ)情況、整體數(shù)據(jù)質(zhì)量等信息，為數(shù)據(jù)管理部門和決策者提供參考。
⑤ 元數(shù)據(jù)管理的其他應(yīng)用
元數(shù)據(jù)管理中還有其他一些重要功能，如：元數(shù)據(jù)變更管理，對(duì)元數(shù)據(jù)的變更歷史進(jìn)行查詢，對(duì)變更前后的版本進(jìn)行比對(duì)等等；元數(shù)據(jù)對(duì)比分析，對(duì)相似的元數(shù)據(jù)進(jìn)行比對(duì)；元數(shù)據(jù)統(tǒng)計(jì)分析，用于統(tǒng)計(jì)各類元數(shù)據(jù)的數(shù)量，如各類數(shù)據(jù)的種類，數(shù)量等，方便用戶掌握元數(shù)據(jù)的匯總信息。諸如此類的應(yīng)用，不一一列舉。
作者簡(jiǎn)介：蔣珍波， 6年+大數(shù)據(jù)治理經(jīng)驗(yàn)，擅長(zhǎng)為客戶提供科學(xué)合理的數(shù)據(jù)治理解決方案。曾先后供職于東南融通、軟通動(dòng)力、普元信息等公司，負(fù)責(zé)過數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、BI、大數(shù)據(jù)平臺(tái)、數(shù)據(jù)治理等售前咨詢等工作，有政府、電力、制造業(yè)等行業(yè)經(jīng)驗(yàn)。目前在數(shù)瀾科技擔(dān)任大數(shù)據(jù)平臺(tái)售前咨詢工作。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
重慶分公司
重慶分公司
