ODS層的設(shè)計(jì)要點(diǎn)如下:
(1)ODS層的表結(jié)構(gòu)設(shè)計(jì)依托于從業(yè)務(wù)系統(tǒng)同步過(guò)來(lái)的數(shù)據(jù)結(jié)構(gòu)。
(2)ODS層要保存全部歷史數(shù)據(jù),故其壓縮格式應(yīng)選擇壓縮比較高的,此處選擇gzip。
(3)ODS層表名的命名規(guī)范為:ods_表名_單分區(qū)增量全量標(biāo)識(shí)(inc/full)。
DIM層設(shè)計(jì)要點(diǎn):
(1)DIM層的設(shè)計(jì)依據(jù)是維度建模理論,該層存儲(chǔ)維度模型的維度表。
(2)DIM層的數(shù)據(jù)存儲(chǔ)格式為orc列式存儲(chǔ)+snappy壓縮。
(3)DIM層表名的命名規(guī)范為dim_表名_全量表或者拉鏈表標(biāo)識(shí)(full/zip)
DWD層設(shè)計(jì)要點(diǎn):
(1)DWD層的設(shè)計(jì)依據(jù)是維度建模理論,該層存儲(chǔ)維度模型的事實(shí)表。
(2)DWD層的數(shù)據(jù)存儲(chǔ)格式為orc列式存儲(chǔ)+snappy壓縮。
(3)DWD層表名的命名規(guī)范為dwd_數(shù)據(jù)域_表名_單分區(qū)增量全量標(biāo)識(shí)(inc/full)
設(shè)計(jì)要點(diǎn):
(1)DWS層的設(shè)計(jì)參考指標(biāo)體系。
(2)DWS層的數(shù)據(jù)存儲(chǔ)格式為ORC列式存儲(chǔ) + snappy壓縮。
(3)DWS層表名的命名規(guī)范為dws_數(shù)據(jù)域_統(tǒng)計(jì)粒度_業(yè)務(wù)過(guò)程_統(tǒng)計(jì)周期(1d/nd/td)
注:1d表示最近1日,nd表示最近n日,td表示歷史至今。
你是否還在尋找穩(wěn)定的海外服務(wù)器提供商?創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級(jí)流量清洗系統(tǒng)配攻擊溯源,準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性,企業(yè)級(jí)服務(wù)器適合批量采購(gòu),新人活動(dòng)首月15元起,快前往官網(wǎng)查看詳情吧