這篇文章主要介紹了HIVE體系架構(gòu)是怎么樣的，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

我們一直強(qiáng)調(diào)成都做網(wǎng)站、網(wǎng)站設(shè)計(jì)、外貿(mào)營銷網(wǎng)站建設(shè)對于企業(yè)的重要性,如果您也覺得重要,那么就需要我們慎重對待,選擇一個(gè)安全靠譜的網(wǎng)站建設(shè)公司,企業(yè)網(wǎng)站我們建議是要么不做，要么就做好,讓網(wǎng)站能真正成為企業(yè)發(fā)展過程中的有力推手。專業(yè)網(wǎng)站設(shè)計(jì)公司不一定是大公司,成都創(chuàng)新互聯(lián)公司作為專業(yè)的網(wǎng)絡(luò)公司選擇我們就是放心。

*注：本文基于hive-0.8.1寫的

架構(gòu)圖：

一、   service

1、       hive有三種service，分別是cli，hiveserver和hwi。

2、       cli是命令行工具，為默認(rèn)服務(wù)，啟動方式$HIVE_HOME/bin/hive 或 $HIVE_HOME/bin/hive --service cli。

3、       hiverserver通過thrift對外提供服務(wù)，默認(rèn)端口10000，啟動方式為$HIVE_HOME/bin/hive--service hiveserver。

4、       hwi為web接口，可以通過瀏覽器訪問hive，默認(rèn)端口9999，啟動方式為$HIVE_HOME/bin/hive--service hwi。

5、       每個(gè)服務(wù)間互相獨(dú)立，有各自的配置文件(配置metasotre/namenode/jobtracker等)，如果metasotre的配置一樣則物理上對應(yīng)同一hive庫。

6、       Driver用于解釋、編譯、優(yōu)化、執(zhí)行HQL，每個(gè)service的Driver相互獨(dú)立。

7、       CLI為用戶提供命令行接口，每個(gè)CLI獨(dú)享配置，即在一個(gè)CLI里修改配置不影響別的CLI。

8、       多個(gè)JDBC可同時(shí)連到同一HiveServer上，所有會話共享一份配置。(注:從0.9.0起hiveserver配置已經(jīng)從global降為session，即每個(gè)session的配置相互獨(dú)立，見 [HIVE-2503])

9、       多個(gè)瀏覽器可同時(shí)連到同一HWI上，所有會話共享一份配置。

二、MetaStore

MetaStore位置通過參數(shù)javax.jdo.option.ConnectionURL來指定，可在會話中自由修改。相關(guān)的參數(shù)包括：

javax.jdo.option.ConnectionDriverName#數(shù)據(jù)庫驅(qū)動
javax.jdo.option.ConnectionURL          #數(shù)據(jù)庫ip端口庫名等
javax.jdo.option.ConnectionUserName   #用戶名
javax.jdo.option.ConnectionPassword    #密碼

通過修改這些參數(shù)可以在多個(gè)MetaStore間熱切換，可用于HA。

三、NameNode與JobTracker

NameNode由fs.default.name指定，JobTracker由mapred.job.tracker指定，這兩個(gè)參數(shù)都可以在會話中自由修改來指向不同的NameNode和JobTracker。

配合MetaStore可以有多種組合出現(xiàn)，例如在同一個(gè)MetaStore里讓table1的數(shù)據(jù)存在HDFS1，用JobTracker1計(jì)算，table2的數(shù)據(jù)存在HDFS2，用JobTracker2計(jì)算，或者讓兩個(gè)表都在JobTracker3上計(jì)算。

四、注意事項(xiàng)

1、       NameNode和JobTracker最好指向同一個(gè)集群，否則計(jì)算的時(shí)候需要跨集群復(fù)制數(shù)據(jù)。

2、       在MetaStore存儲的是表數(shù)據(jù)文件的絕對路徑，當(dāng)心其與NameNode/JobTracker不再同一個(gè)集群里導(dǎo)致夸集群復(fù)制。

3、       對hiveserver與hwi配置的修改會作用到同一service上的所有會話。 (注:從0.9.0起hiveserver配置已經(jīng)從global降為session，即每個(gè)session的配置相互獨(dú)立

感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“HIVE體系架構(gòu)是怎么樣的”這篇文章對大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!