真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

數(shù)據(jù)庫(kù)的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)體系是什么

這篇文章主要介紹“數(shù)據(jù)庫(kù)的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)體系是什么”,在日常操作中,相信很多人在數(shù)據(jù)庫(kù)的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)體系是什么問(wèn)題上存在疑惑,小編查閱了各式資料,整理出簡(jiǎn)單好用的操作方法,希望對(duì)大家解答”數(shù)據(jù)庫(kù)的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)體系是什么”的疑惑有所幫助!接下來(lái),請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧!

專(zhuān)注于為中小企業(yè)提供成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)魏都免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都,凝聚了一批互聯(lián)網(wǎng)行業(yè)人才,有力地推動(dòng)了近1000家企業(yè)的穩(wěn)健成長(zhǎng),幫助中小企業(yè)通過(guò)網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

深入剖析數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)概念:

英文名稱(chēng)為Data Warehouse,可簡(jiǎn)寫(xiě)為DW或DWH。數(shù)據(jù)倉(cāng)庫(kù)的目的是構(gòu)建面向分析的集成化數(shù)據(jù)環(huán)境,為企業(yè)提供決策支持(Decision Support)。它出于分析性報(bào)告和決策支持目的而創(chuàng)建。

數(shù)據(jù)倉(cāng)庫(kù)本身并不“生產(chǎn)”任何數(shù)據(jù),同時(shí)自身也不需要“消費(fèi)”任何的數(shù)據(jù),數(shù)據(jù)來(lái)源于外部,并且開(kāi)放給外部應(yīng)用,這也是為什么叫“倉(cāng)庫(kù)”,而不叫“工廠(chǎng)”的原因。

基本特征:

數(shù)據(jù)倉(cāng)庫(kù)是面向主題的集成的、非易失的時(shí)變的數(shù)據(jù)集合,用以支持管理決策。

注:文章首發(fā)于公眾號(hào):五分鐘學(xué)大數(shù)據(jù)

  1. 面向主題:

傳統(tǒng)數(shù)據(jù)庫(kù)中,最大的特點(diǎn)是面向應(yīng)用進(jìn)行數(shù)據(jù)的組織,各個(gè)業(yè)務(wù)系統(tǒng)可能是相互分離的。而數(shù)據(jù)倉(cāng)庫(kù)則是面向主題的。主題是一個(gè)抽象的概念,是較高層次上企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類(lèi)并進(jìn)行分析利用的抽象。在邏輯意義上,它是對(duì)應(yīng)企業(yè)中某一宏觀(guān)分析領(lǐng)域所涉及的分析對(duì)象。

  1. 集成性:

通過(guò)對(duì)分散、獨(dú)立、異構(gòu)的數(shù)據(jù)庫(kù)數(shù)據(jù)進(jìn)行抽取、清理、轉(zhuǎn)換和匯總便得到了數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù),這樣保證了數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的數(shù)據(jù)關(guān)于整個(gè)企業(yè)的一致性。

數(shù)據(jù)倉(cāng)庫(kù)中的綜合數(shù)據(jù)不能從原有的數(shù)據(jù)庫(kù)系統(tǒng)直接得到。因此在數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)之前,必然要經(jīng)過(guò)統(tǒng)一與綜合,這一步是數(shù)據(jù)倉(cāng)庫(kù)建設(shè)中最關(guān)鍵、最復(fù)雜的一步,所要完成的工作有:

  • 要統(tǒng)一源數(shù)據(jù)中所有矛盾之處,如字段的同名異義、異名同義、單位不統(tǒng)一、字長(zhǎng)不一致,等等。

  • 進(jìn)行數(shù)據(jù)綜合和計(jì)算。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)綜合工作可以在從原有數(shù)據(jù)庫(kù)抽取數(shù)據(jù)時(shí)生成,但許多是在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部生成的,即進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)以后進(jìn)行綜合生成的。

下圖說(shuō)明一個(gè)保險(xiǎn)公司綜合數(shù)據(jù)的簡(jiǎn)單處理過(guò)程,其中數(shù)據(jù)倉(cāng)庫(kù)中與“保險(xiǎn)” 主題有關(guān)的數(shù)據(jù)來(lái)自于多個(gè)不同的操作型系統(tǒng)。這些系統(tǒng)內(nèi)部數(shù)據(jù)的命名可能不同,數(shù)據(jù)格式也可能不同。把不同來(lái)源的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)之前,需要去除這些不一致。

數(shù)據(jù)庫(kù)的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)體系是什么

數(shù)倉(cāng)主題

  1. 非易失性(不可更新性)

數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)反映的是一段相當(dāng)長(zhǎng)的時(shí)間內(nèi)歷史數(shù)據(jù)的內(nèi)容,是不同時(shí)點(diǎn)的數(shù)據(jù)庫(kù)快照的集合,以及基于這些快照進(jìn)行統(tǒng)計(jì)、綜合和重組的導(dǎo)出數(shù)據(jù)。

數(shù)據(jù)非易失性主要是針對(duì)應(yīng)用而言。數(shù)據(jù)倉(cāng)庫(kù)的用戶(hù)對(duì)數(shù)據(jù)的操作大多是數(shù)據(jù)查詢(xún)或比較復(fù)雜的挖掘,一旦數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)以后,一般情況下被較長(zhǎng)時(shí)間保留。數(shù)據(jù)倉(cāng)庫(kù)中一般有大量的查詢(xún)操作,但修改和刪除操作很少。因此,數(shù)據(jù)經(jīng)加工和集成進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)后是極少更新的,通常只需要定期的加載和更新。

  1. 時(shí)變性

數(shù)據(jù)倉(cāng)庫(kù)包含各種粒度的歷史數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)可能與某個(gè)特定日期、星期、月份、季度或者年份有關(guān)。數(shù)據(jù)倉(cāng)庫(kù)的目的是通過(guò)分析企業(yè)過(guò)去一段時(shí)間業(yè)務(wù)的經(jīng)營(yíng)狀況,挖掘其中隱藏的模式。雖然數(shù)據(jù)倉(cāng)庫(kù)的用戶(hù)不能修改數(shù)據(jù),但并不是說(shuō)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是永遠(yuǎn)不變的。分析的結(jié)果只能反映過(guò)去的情況,當(dāng)業(yè)務(wù)變化后,挖掘出的模式會(huì)失去時(shí)效性。因此數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)需要更新,以適應(yīng)決策的需要。從這個(gè)角度講,數(shù)據(jù)倉(cāng)庫(kù)建設(shè)是一個(gè)項(xiàng)目,更是一個(gè)過(guò)程。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)隨時(shí)間的變化表現(xiàn)在以下幾個(gè)方面:

(1) 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)時(shí)限一般要遠(yuǎn)遠(yuǎn)長(zhǎng)于操作型數(shù)據(jù)的數(shù)據(jù)時(shí)限。
(2) 操作型系統(tǒng)存儲(chǔ)的是當(dāng)前數(shù)據(jù),而數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是歷史數(shù)據(jù)。
(3) 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是按照時(shí)間順序追加的,它們都帶有時(shí)間屬性。

1. 數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)的區(qū)別

數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別實(shí)際講的是 OLTP 與 OLAP 的區(qū)別。

操作型處理,叫聯(lián)機(jī)事務(wù)處理 OLTP(On-Line Transaction Processing,),也可以稱(chēng)面向交易的處理系統(tǒng),它是針對(duì)具體業(yè)務(wù)在數(shù)據(jù)庫(kù)聯(lián)機(jī)的日常操作,通常對(duì)少數(shù)記錄進(jìn)行查詢(xún)、修改。用戶(hù)較為關(guān)心操作的響應(yīng)時(shí)間、數(shù)據(jù)的安全性、完整性和并發(fā)支持的用戶(hù)數(shù)等問(wèn)題。傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)作為數(shù)據(jù)管理的主要手段,主要用于操作型處理,像MySQL,Oracle等關(guān)系型數(shù)據(jù)庫(kù)一般屬于OLTP。

分析型處理,叫聯(lián)機(jī)分析處理 OLAP(On-Line Analytical Processing)一般針對(duì)某些主題的歷史數(shù)據(jù)進(jìn)行分析,支持管理決策。

首先要明白,數(shù)據(jù)倉(cāng)庫(kù)的出現(xiàn),并不是要取代數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)是面向事務(wù)的設(shè)計(jì),數(shù)據(jù)倉(cāng)庫(kù)是面向主題設(shè)計(jì)的。數(shù)據(jù)庫(kù)一般存儲(chǔ)業(yè)務(wù)數(shù)據(jù),數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)的一般是歷史數(shù)據(jù)。

數(shù)據(jù)庫(kù)設(shè)計(jì)是盡量避免冗余,一般針對(duì)某一業(yè)務(wù)應(yīng)用進(jìn)行設(shè)計(jì),比如一張簡(jiǎn)單的User表,記錄用戶(hù)名、密碼等簡(jiǎn)單數(shù)據(jù)即可,符合業(yè)務(wù)應(yīng)用,但是不符合分析。數(shù)據(jù)倉(cāng)庫(kù)在設(shè)計(jì)是有意引入冗余,依照分析需求,分析維度、分析指標(biāo)進(jìn)行設(shè)計(jì)

數(shù)據(jù)庫(kù)是為捕獲數(shù)據(jù)而設(shè)計(jì),數(shù)據(jù)倉(cāng)庫(kù)是為分析數(shù)據(jù)而設(shè)計(jì)

以銀行業(yè)務(wù)為例。數(shù)據(jù)庫(kù)是事務(wù)系統(tǒng)的數(shù)據(jù)平臺(tái),客戶(hù)在銀行做的每筆交易都會(huì)寫(xiě)入數(shù)據(jù)庫(kù),被記錄下來(lái),這里,可以簡(jiǎn)單地理解為用數(shù)據(jù)庫(kù)記賬。數(shù)據(jù)倉(cāng)庫(kù)是分析系統(tǒng)的數(shù)據(jù)平臺(tái),它從事務(wù)系統(tǒng)獲取數(shù)據(jù),并做匯總、加工,為決策者提供決策的依據(jù)。比如,某銀行某分行一個(gè)月發(fā)生多少交易,該分行當(dāng)前存款余額是多少。如果存款又多,消費(fèi)交易又多,那么該地區(qū)就有必要設(shè)立ATM了。

顯然,銀行的交易量是巨大的,通常以百萬(wàn)甚至千萬(wàn)次來(lái)計(jì)算。事務(wù)系統(tǒng)是實(shí)時(shí)的,這就要求時(shí)效性,客戶(hù)存一筆錢(qián)需要幾十秒是無(wú)法忍受的,這就要求數(shù)據(jù)庫(kù)只能存儲(chǔ)很短一段時(shí)間的數(shù)據(jù)。而分析系統(tǒng)是事后的,它要提供關(guān)注時(shí)間段內(nèi)所有的有效數(shù)據(jù)。這些數(shù)據(jù)是海量的,匯總計(jì)算起來(lái)也要慢一些,但是,只要能夠提供有效的分析數(shù)據(jù)就達(dá)到目的了。

數(shù)據(jù)倉(cāng)庫(kù),是在數(shù)據(jù)庫(kù)已經(jīng)大量存在的情況下,為了進(jìn)一步挖掘數(shù)據(jù)資源、為了決策需要而產(chǎn)生的,它決不是所謂的“大型數(shù)據(jù)庫(kù)”。

2. 數(shù)據(jù)倉(cāng)庫(kù)分層架構(gòu)

按照數(shù)據(jù)流入流出的過(guò)程,數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)可分為:源數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)應(yīng)用

數(shù)據(jù)庫(kù)的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)體系是什么

范式建模

根據(jù) Inmon 的觀(guān)點(diǎn),數(shù)據(jù)倉(cāng)庫(kù)模型的建設(shè)方法和業(yè)務(wù)系統(tǒng)的企業(yè)數(shù)據(jù)模型類(lèi)似。在業(yè)務(wù)系統(tǒng)中,企業(yè)數(shù)據(jù)模型決定了數(shù)據(jù)的來(lái)源,而企業(yè)數(shù)據(jù)模型也分為兩個(gè)層次,即主題域模型和邏輯模型。同樣,主題域模型可以看成是業(yè)務(wù)模型的概念模型,而邏輯模型則是域模型在關(guān)系型數(shù)據(jù)庫(kù)上的實(shí)例化。

2. 維度建模法(Dimensional Modeling)

維度模型是數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域另一位大師Ralph Kimall所倡導(dǎo),他的《數(shù)據(jù)倉(cāng)庫(kù)工具箱》是數(shù)據(jù)倉(cāng)庫(kù)工程領(lǐng)域最流行的數(shù)倉(cāng)建模經(jīng)典。維度建模以分析決策的需求出發(fā)構(gòu)建模型,構(gòu)建的數(shù)據(jù)模型為分析需求服務(wù),因此它重點(diǎn)解決用戶(hù)如何更快速完成分析需求,同時(shí)還有較好的大規(guī)模復(fù)雜查詢(xún)的響應(yīng)性能。

數(shù)據(jù)庫(kù)的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)體系是什么

實(shí)體建模

上圖表述的是一個(gè)抽象的含義,如果我們描述一個(gè)簡(jiǎn)單的事實(shí):“小明開(kāi)車(chē)去學(xué)校上學(xué)”。以這個(gè)業(yè)務(wù)事實(shí)為例,我們可以把“小明”,“學(xué)校”看成是一個(gè)實(shí)體,“上學(xué)”描述的是一個(gè)業(yè)務(wù)過(guò)程,我們?cè)谶@里可以抽象為一個(gè)具體“事件”,而“開(kāi)車(chē)去”則可以看成是事件“上學(xué)”的一個(gè)說(shuō)明。

維度建模

維度建模是專(zhuān)門(mén)應(yīng)用于分析型數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市建模的方法。數(shù)據(jù)集市可以理解為是一種"小型數(shù)據(jù)倉(cāng)庫(kù)"。

1. 維度建模中表的類(lèi)型

1. 事實(shí)表

發(fā)生在現(xiàn)實(shí)世界中的操作型事件,其所產(chǎn)生的可度量數(shù)值,存儲(chǔ)在事實(shí)表中。從最低的粒度級(jí)別來(lái)看,事實(shí)表行對(duì)應(yīng)一個(gè)度量事件,反之亦然。

事實(shí)表表示對(duì)分析主題的度量。比如一次購(gòu)買(mǎi)行為我們就可以理解為是一個(gè)事實(shí)。

數(shù)據(jù)庫(kù)的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)體系是什么

2. 雪花模式

雪花模式(Snowflake Schema)是對(duì)星形模式的擴(kuò)展。雪花模式的維度表可以擁有其他維度表的,雖然這種模型相比星型更規(guī)范一些,但是由于這種模型不太容易理解,維護(hù)成本比較高,而且性能方面需要關(guān)聯(lián)多層維表,性能也比星型模型要低。所以一般不是很常用

數(shù)據(jù)庫(kù)的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)體系是什么

星座模型

3. 維度建模過(guò)程

我們知道維度建模的表類(lèi)型有事實(shí)表,維度表;模式有星形模型,雪花模型,星座模型這些概念了,但是實(shí)際業(yè)務(wù)中,給了我們一堆數(shù)據(jù),我們?cè)趺茨眠@些數(shù)據(jù)進(jìn)行數(shù)倉(cāng)建設(shè)呢,數(shù)倉(cāng)工具箱作者根據(jù)自身60多年的實(shí)際業(yè)務(wù)經(jīng)驗(yàn),給我們總結(jié)了如下四步,請(qǐng)務(wù)必記??!

數(shù)倉(cāng)工具箱中的維度建模四步走:

數(shù)據(jù)庫(kù)的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)體系是什么

數(shù)據(jù)分層架構(gòu)

數(shù)據(jù)層具體實(shí)現(xiàn)

使用四張圖說(shuō)明每層的具體實(shí)現(xiàn)

  • 數(shù)據(jù)源層ODS

數(shù)據(jù)庫(kù)的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)體系是什么

數(shù)據(jù)明細(xì)層

事實(shí)表中的每行對(duì)應(yīng)一個(gè)度量,每行中的數(shù)據(jù)是一個(gè)特定級(jí)別的細(xì)節(jié)數(shù)據(jù),稱(chēng)為粒度。維度建模的核心原則之一是同一事實(shí)表中的所有度量必須具有相同的粒度。這樣能確保不會(huì)出現(xiàn)重復(fù)計(jì)算度量的問(wèn)題。

維度表一般都是單一主鍵,少數(shù)是聯(lián)合主鍵,注意維度表不要出現(xiàn)重復(fù)數(shù)據(jù),否則和事實(shí)表關(guān)聯(lián)會(huì)出現(xiàn)數(shù)據(jù)發(fā)散問(wèn)題。

有時(shí)候往往不能確定該列數(shù)據(jù)是事實(shí)屬性還是維度屬性。記住最實(shí)用的事實(shí)就是數(shù)值類(lèi)型和可加類(lèi)事實(shí)。所以可以通過(guò)分析該列是否是一種包含多個(gè)值并作為計(jì)算的參與者的度量,這種情況下該列往往是事實(shí);如果該列是對(duì)具體值的描述,是一個(gè)文本或常量,某一約束和行標(biāo)識(shí)的參與者,此時(shí)該屬性往往是維度屬性。但是還是要結(jié)合業(yè)務(wù)進(jìn)行最終判斷是維度還是事實(shí)。

  • 數(shù)據(jù)輕度匯總層DM

數(shù)據(jù)庫(kù)的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)體系是什么

數(shù)據(jù)應(yīng)用層

數(shù)據(jù)應(yīng)用層的表就是提供給用戶(hù)使用的,數(shù)倉(cāng)建設(shè)到此就接近尾聲了,接下來(lái)就根據(jù)不同的需求進(jìn)行不同的取數(shù),如直接進(jìn)行報(bào)表展示,或提供給數(shù)據(jù)分析的同事所需的數(shù)據(jù),或其他的業(yè)務(wù)支撐。

到此,關(guān)于“數(shù)據(jù)庫(kù)的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)體系是什么”的學(xué)習(xí)就結(jié)束了,希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí),快去試試吧!若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí),請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章!


網(wǎng)站題目:數(shù)據(jù)庫(kù)的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)體系是什么
地址分享:http://weahome.cn/article/gcodis.html

其他資訊

在線(xiàn)咨詢(xún)

微信咨詢(xún)

電話(huà)咨詢(xún)

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部