小編給大家分享一下Hive源碼編譯的示例分析，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

都昌網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián),都昌網(wǎng)站設(shè)計制作，有大型網(wǎng)站制作公司豐富經(jīng)驗。已為都昌成百上千提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站建設(shè)要多少錢，請找那個售后服務(wù)好的都昌做網(wǎng)站的公司定做！

Hive簡介：

• Hive是一個基于Hadoop的數(shù)據(jù)倉庫，可以將結(jié)構(gòu)化數(shù)據(jù)映射成一張表，并提供類SQL的功能，最初由Facebook提供，使用HQL作為查詢接口、HDFS作為存儲底層、MapReduce作為執(zhí)行層，設(shè)計目的是讓SQL技能良好，但Java技能較弱的分析師可以查詢海量數(shù)據(jù)，2008年facebook把Hive項目貢獻給Apache。Hive提供了比較完整的SQL功能（本質(zhì)是將SQL轉(zhuǎn)換為MapReduce），自身最大的缺點就是執(zhí)行速度慢。Hive有自身的元數(shù)據(jù)結(jié)構(gòu)描述，可以使用MySQL\ProstgreSql\oracle 等關(guān)系型數(shù)據(jù)庫來進行存儲，但請注意Hive中的所有數(shù)據(jù)都存儲在HDFS中。Hive具有比較好的靈活性和擴展性，支持UDF，自定義存儲格式，適合離線數(shù)據(jù)處理。

Hive體系架構(gòu)：

• 1.用戶接口：包括 CLI, Client, WUI。其中最常用的是 CLI，CLI為shell命令行，Cli 啟動的時候，會同時啟動一個 Hive 副本。Client 是 Hive 的客戶端，用戶連接至 Hive Server。在啟動 Client 模式的時候，需要指出 Hive Server 所在節(jié)點，并且在該節(jié)點啟動 Hive Server。 WUI 是通過瀏覽器訪問 Hive。
  2.元數(shù)據(jù)存儲：通常是存儲在關(guān)系數(shù)據(jù)庫如 mysql, derby 中
  3.解釋器、編譯器、優(yōu)化器、執(zhí)行器：完成 HQL 查詢語句從詞法分析、語法分析、編譯、優(yōu)化以及查詢計劃的生成。生成的查詢計劃存儲在 HDFS 中，并在隨后有MapReduce 調(diào)用執(zhí)行。
  4.Hadoop：Hive中數(shù)據(jù)用 HDFS 進行存儲，利用 MapReduce 進行計算。

Hive源碼編譯：

我們選取CDH版本進行編譯，以hive-1.1.0-cdh6.7.0版本為例。
前期準備：
1.配置jdk1.7環(huán)境。
2.安裝maven。
3.安裝hadoop-2.6.0-cdh6.7.0環(huán)境(版本號與hive要對應(yīng))。
注：前期我使用的是Apache 2.8版本的hadoop，目前已經(jīng)更改為CDH版本

1.下載并解壓源碼包hive-1.1.0-cdh6.7.0-src.tar.gz

# 下載地址: http://archive.cloudera.com/cdh6/cdh/5/
[root@hadoop000 ~]# su - hadoop
[hadoop@hadoop000 ~]$ cd source
[hadoop@hadoop000 source]$ wget http://archive.cloudera.com/cdh6/cdh/5/hive-1.1.0-cdh6.7.0-src.tar.gz
[hadoop@hadoop000 source]$ tar -xzvf hive-1.1.0-cdh6.7.0-src.tar.gz

2.編譯

[hadoop@hadoop000 source]$ cd hive-1.1.0-cdh6.7.0
# 需等待一段時間
[hadoop@hadoop000 hive-1.1.0-cdh6.7.0]$ mvn -Phadoop-2 -Pdist -DskipTests -Dmaven.javadoc.skip=true clean package
...
...
[INFO] Hive ODBC .......................................... SUCCESS [  5.811 s]
[INFO] Hive Shims Aggregator .............................. SUCCESS [  0.755 s]
[INFO] Hive TestUtils ..................................... SUCCESS [  1.294 s]
[INFO] Hive Packaging ..................................... SUCCESS [01:41 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 18:22 min
[INFO] Finished at: 2018-06-02T11:37:54+08:00
[INFO] Final Memory: 144M/494M
[INFO] ------------------------------------------------------------------------

# 編譯成功 會在源碼目錄下面的packaging/target目錄下面生成一個tar包，相關(guān)的hive模塊jar包都能在這個tar包里面找到。
文件名稱：apache-hive-1.1.0-cdh6.7.0-bin.tar.gz
# 可使用此包來安裝Hive，也可在此網(wǎng)站http://archive.cloudera.com/cdh6/cdh/5/ 直接下載相應(yīng)版本已編譯的安裝包。

以上是“Hive源碼編譯的示例分析”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習(xí)更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！