進(jìn)行數(shù)據(jù)分區(qū)將會(huì)極大的提高數(shù)據(jù)查詢的效率，尤其是對(duì)于當(dāng)下大數(shù)據(jù)的運(yùn)用，是一門不可或缺的知識(shí)。那么數(shù)據(jù)怎么創(chuàng)建分區(qū)呢？數(shù)據(jù)怎樣加載到分區(qū)呢？
Impala/Hive按State分區(qū)Accounts
（1）示例：accounts是非分區(qū)表
通過(guò)以上方式創(chuàng)建的話，數(shù)據(jù)就存放在accounts目錄里面。那么，如果Loudacre大部分對(duì)customer表的分析是按state來(lái)完成的？比如：
這種情況下如果數(shù)據(jù)量很大，為了避免全表掃描的發(fā)生，我們可以去創(chuàng)建分區(qū)。如果不創(chuàng)建分區(qū)的話，它會(huì)默認(rèn)所有查詢不得不掃描目錄的所有文件。創(chuàng)建分區(qū)按state將數(shù)據(jù)存儲(chǔ)到不同的子目錄，當(dāng)按照“NY”的條件進(jìn)行查詢的時(shí)候，它只會(huì)掃描到子目錄，下面我具體來(lái)看一下分區(qū)創(chuàng)建。
二、分區(qū)創(chuàng)建
（1）使用PARTITIONED BY來(lái)創(chuàng)建分區(qū)表
在這里注意state是被刪除掉的，因?yàn)樗鳛榉謪^(qū)字段，我們知道分區(qū)數(shù)據(jù)是不會(huì)出現(xiàn)在實(shí)際的文件當(dāng)中的，所以state作為分區(qū)字段是不會(huì)出現(xiàn)在列當(dāng)中的。換句話說(shuō)，分區(qū)鍵就是一個(gè)虛列，它是不會(huì)存在列當(dāng)中的。那么，如何去查看我們分區(qū)的列呢？它會(huì)出現(xiàn)在我們的結(jié)構(gòu)當(dāng)中嗎？會(huì)的。
三、查看分區(qū)列
使用DESCRIBE顯示分區(qū)列，它會(huì)出現(xiàn)在結(jié)構(gòu)最后一列，它是一個(gè)虛列，并不是真實(shí)在數(shù)據(jù)中存在的列。
我們創(chuàng)建單個(gè)分區(qū)，但有時(shí)候會(huì)有嵌套分區(qū)，如何來(lái)處理呢？
四、創(chuàng)建嵌套分區(qū)：
創(chuàng)建好了分區(qū)，我們?cè)趺醇虞d數(shù)據(jù)到分區(qū)呢？有兩種方式動(dòng)態(tài)分區(qū)和靜態(tài)分區(qū)。動(dòng)態(tài)分區(qū)是指Impala/Hive在加載的時(shí)候自動(dòng)添加新的分區(qū)，數(shù)據(jù)基于列值存儲(chǔ)到正確的分區(qū)（子目錄）。而靜態(tài)分區(qū)需要我們通過(guò)ADD PARTITION提前去定義分區(qū)的名稱，當(dāng)加載數(shù)據(jù)的時(shí)候，指定存儲(chǔ)數(shù)據(jù)到哪個(gè)分區(qū)。那么動(dòng)態(tài)分區(qū)和靜態(tài)分區(qū)各有什么特征呢？后續(xù)為大家接著分享。
對(duì)于大數(shù)據(jù)，我們應(yīng)該積極主動(dòng)的去迎合和學(xué)習(xí)，因?yàn)樗鼪](méi)有成熟的體系，還在發(fā)展上升，只有不斷學(xué)習(xí)提升才可以趕上發(fā)展的步伐。建議在平時(shí)大家多學(xué)習(xí)交流，我在平常喜歡關(guān)注“大數(shù)據(jù)cn”這個(gè)微信公眾號(hào)，對(duì)于我個(gè)人而言，很不錯(cuò)，推薦圍觀。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
重慶分公司
重慶分公司
