這篇文章主要講解了“hive與hadoop有什么聯(lián)系”,文中的講解內(nèi)容簡單清晰,易于學(xué)習(xí)與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學(xué)習(xí)“hive與hadoop有什么聯(lián)系”吧!
創(chuàng)新互聯(lián)建站從2013年開始,先為興慶等服務(wù)建站,興慶等地企業(yè),進行企業(yè)商務(wù)咨詢服務(wù)。為興慶企業(yè)網(wǎng)站制作PC+手機+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。
解析:
1、提交sql 交給驅(qū)動
2、驅(qū)動編譯:解析相關(guān)的字段表信息
3、去metastore查詢相關(guān)的信息 返回字段表信息
4、編譯返回信息 發(fā)給驅(qū)動
5、驅(qū)動發(fā)送一個執(zhí)行計劃 交給執(zhí)行引擎
6、執(zhí)行計劃 (三種形式: metastore、namenode、metastore+namenode+mapreduce)
形式一 > DDL 對數(shù)據(jù)庫表的操作的 直接和metastore交互 。 比如:create table t1(name string);
形式二 > dfs ops 直接和namenode取數(shù)據(jù) 。 比如: select * from t1;
形式三 > 把job交給job tracker,讓task tracker執(zhí)行 返回執(zhí)行信息 + 完成job返回數(shù)據(jù)信息、找namenode查數(shù)據(jù) 。
比如:select * from t1 where col=X ;
7、返回結(jié)果信息集
總結(jié): hive 運行在 hadoop 之上, 某些操作需要調(diào)用 hdfs 中的 mapreduce 。 hive 元數(shù)據(jù)存儲在 matestore 中, 而非元數(shù)據(jù)(如 table 里的數(shù)據(jù))存儲在hdfs之上。
感謝各位的閱讀,以上就是“hive與hadoop有什么聯(lián)系”的內(nèi)容了,經(jīng)過本文的學(xué)習(xí)后,相信大家對hive與hadoop有什么聯(lián)系這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián),小編將為大家推送更多相關(guān)知識點的文章,歡迎關(guān)注!