本篇內(nèi)容介紹了“hive組件構(gòu)架是什么”的有關(guān)知識,在實(shí)際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧!希望大家仔細(xì)閱讀,能夠?qū)W有所成!
目前成都創(chuàng)新互聯(lián)已為成百上千的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)絡(luò)空間、綿陽服務(wù)器托管、企業(yè)網(wǎng)站設(shè)計、甘谷網(wǎng)站維護(hù)等服務(wù),公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略,正道將秉承"和諧、參與、激情"的文化,與客戶和合作伙伴齊心協(xié)力一起成長,共同發(fā)展。
Hive執(zhí)行流程圖:
【Pratical Hive.pdf】學(xué)習(xí)筆記,各章節(jié)做主線輔以官網(wǎng)資料整理完成。
組件架構(gòu)
客戶端組件
Hive-cli,
JDBC/ODBC
Toad or SQuirreL
HCatalog
元數(shù)據(jù)管理組件,主要作用如下
官方介紹
? Provides a common schema environment for multiple tools
? Allows for connectors to tools to read data from and write data to Hive’s warehouse
? Lets users share data across tools
? Creates a relational structure to Hadoop data
? Abstracts away the how and where of data storage
? Hides schema and storage changes from users
hiveServer2
接口服務(wù)組件
Execution-Engine
MR
執(zhí)行引擎組件
Tez
執(zhí)行引擎組件,省略shuffle過程
Tez avoids disk IO by avoiding expensive shuffle and shorts while leveraging more efficient map side joins. Tez also utilizes a costbased optimizer, which helps produce faster execution plans. Combine this with the ORC file format geared
toward SQL performance and you have a query engine performing up to 100x faster than native MapReduce–
Hive-on-Spark
Storage: Hadoop
基于hdfs文件存儲http://www.0398hfyy.com
“hive組件構(gòu)架是什么”的內(nèi)容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編將為大家輸出更多高質(zhì)量的實(shí)用文章!