這篇文章主要為大家展示了“hive架構(gòu)由哪幾部分組成”,內(nèi)容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“hive架構(gòu)由哪幾部分組成”這篇文章吧。
創(chuàng)新互聯(lián)建站是專業(yè)的鄢陵網(wǎng)站建設(shè)公司,鄢陵接單;提供做網(wǎng)站、成都網(wǎng)站建設(shè),網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行鄢陵網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊,希望更多企業(yè)前來合作!
主要分為以下幾個部分:
用戶接口,包括 命令行CLI,Client,Web界面WUI,JDBC/ODBC接口等
中間件:包括thrift接口和JDBC/ODBC的服務(wù)端,用于整合Hive和其他程序。
元數(shù)據(jù)metadata存儲,通常是存儲在關(guān)系數(shù)據(jù)庫如 MySQL, derby 中的系統(tǒng)參數(shù)
底層驅(qū)動:包括HiveQL解釋器、編譯器、優(yōu)化器、執(zhí)行器(引擎)。
Hadoop:用 HDFS 進(jìn)行存儲,利用 MapReduce 進(jìn)行計算。
用戶接口主要有三個:CLI,Client 和 WUI。其中最常用的是 CLI,Cli 啟動的時候,會同時啟動一個 Hive 副本。Client 是 Hive 的客戶端,用戶連接至 Hive Server。在啟動 Client 模式的時候,需要指出 Hive Server 所在節(jié)點,并且在該節(jié)點啟動 Hive Server。 WUI 是通過瀏覽器訪問 Hive。
Hive 將元數(shù)據(jù)存儲在數(shù)據(jù)庫中,如 mysql、derby。Hive 中的元數(shù)據(jù)包括表的名字,表的列和分區(qū)及其屬性,表的屬性(是否為外部表等),表的數(shù)據(jù)所在目錄等。
解釋器、編譯器、優(yōu)化器完成 HQL 查詢語句從詞法分析、語法分析、編譯生成執(zhí)行計劃、優(yōu)化以及生成最佳執(zhí)行計劃。生成的查詢計劃存儲在 HDFS 中,并在隨后有 MapReduce 調(diào)用執(zhí)行。
Hive 的數(shù)據(jù)存儲在 HDFS 中,大部分的查詢由 MapReduce 完成(包含 * 的查詢,比如 select * from tbl 不會生成 MapRedcue 任務(wù))。
以上是“hive架構(gòu)由哪幾部分組成”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對大家有所幫助,如果還想學(xué)習(xí)更多知識,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!