Hadoop集群部署:https://www.cnblogs.com/Studywith/p/16948866.html

湖口網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)公司！從網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、響應(yīng)式網(wǎng)站設(shè)計等網(wǎng)站項目制作，到程序開發(fā)，運營維護(hù)。創(chuàng)新互聯(lián)公司從2013年開始到現(xiàn)在10年的時間，我們擁有了豐富的建站經(jīng)驗和運維經(jīng)驗，來保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)公司。

一.Hive的三種部署模式

1.嵌入模式
使用內(nèi)嵌的Derby數(shù)據(jù)庫存儲元數(shù)據(jù)，是Hive最簡單的部署方式。嵌入模式下的Hive不支持多會話連接，不適合生產(chǎn)環(huán)境，只適合測試環(huán)境。
2.本地模式
使用本地獨立數(shù)據(jù)庫存儲元數(shù)據(jù)，這里的獨立數(shù)據(jù)庫通常使用MySQL數(shù)據(jù)庫。本地模式部署的Hive支持元數(shù)據(jù)共享，并且支持多會話連接。
3.遠(yuǎn)程模式
遠(yuǎn)程模式與本地模式一樣，同樣是使用獨立數(shù)據(jù)庫存儲元數(shù)據(jù)。不同的是，遠(yuǎn)程模式使用的是遠(yuǎn)端的獨立數(shù)據(jù)庫，而本地模式使用的是本地獨立數(shù)據(jù)庫。遠(yuǎn)程模式主要應(yīng)用于Hive客戶端較多的情況。

二.嵌入模式

1.下載安裝包+上傳+解壓

官網(wǎng):https://dlcdn.apache.org/hive/

這里下載的是apache-hive-2.3.9-bin.tar.gz,上傳到node01的/export/software/,解壓到/export/servers/

tar -zxvf /export/software/apache-hive-2.3.9-bin.tar.gz -C /export/servers/

2.系統(tǒng)環(huán)境變量

便于在各個文件夾下可以直接調(diào)用Hive

vim /etc/profile

HIVE_HOME=/export/servers/apache-hive-2.3.9-bin
PATH=$PATH:$HIVE_HOME/bin
export HIVE_HOME PATH

source /etc/profile

3.Hive配置文件

參考:https://blog.csdn.net/QYHuiiQ/article/details/124157773

(1)hive-env.sh

cd /export/servers/apache-hive-2.3.9-bin/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh

export HIVE_CONF_DIR=/export/servers/apache-hive-2.3.9-bin/conf
export JAVA_HOME=/export/servers/jdk1.8.0_161
export HADOOP_HOME=/export/servers/hadoop-2.7.4
export HIVE_AUX_JARS_PATH=/export/servers/apache-hive-2.3.9-bin/lib

(2)hive-site.xml

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

(命令的意思就是全文查找對應(yīng)符號,將符號替換為指定符號)
#1.將${system:java.io.tmpdir}替換為我們的tmp目錄(iotmp，該目錄會自動創(chuàng)建)。直接在當(dāng)前模式下輸入以下命令即可替換，不需要切換為insert模式

:%s#${system:java.io.tmpdir}#/export/servers/apache-hive-2.3.9-bin/iotmp#g

#執(zhí)行完之后，會提示我們替換了4個地方。
 

#2.再將系統(tǒng)用戶名替換為root

:%s/${system:user.name}/root#g

#執(zhí)行完之后提示我們修改了3個地方。

4.初始化 Derby

在啟動Hive之前需要在Hive的安裝目錄下進(jìn)行初始化Derby數(shù)據(jù)庫的操作，出現(xiàn)“schemaTool completed”信息，則證明成功初始化Derby數(shù)據(jù)庫。

cd /export/servers/apache-hive-2.3.9-bin/
bin/schematool -initSchema -dbType derby

5.啟動Hadoop

必須先啟動Hadoop再啟動Hive

#node01,02,03分別依次執(zhí)行(具體見上文Hadoop執(zhí)行)
zkServer.sh start
zkServer.sh status
hadoop-daemon.sh start journalnode

#node01執(zhí)行
start-dfs.sh
start-yarn.sh

#完成后分別執(zhí)行jps查看啟動情況

node01

node02

node03

6.啟動Hive客戶端工具

執(zhí)行“hive”命令啟動Hive客戶端工具HiveCLI?？梢詧?zhí)行“quit；”命令退出Hive客戶端工具HiveCLI，此時在Hive安裝目錄下會默認(rèn)生成文件derby.log和文件夾metastore_db。

另外兩種待更新~

你是否還在尋找穩(wěn)定的海外服務(wù)器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機(jī)房具備T級流量清洗系統(tǒng)配攻擊溯源，準(zhǔn)確流量調(diào)度確保服務(wù)器高可用性，企業(yè)級服務(wù)器適合批量采購，新人活動首月15元起，快前往官網(wǎng)查看詳情吧

文章名稱：大數(shù)據(jù)--Hadoop環(huán)境部署(5)Hive部署-創(chuàng)新互聯(lián)
本文路徑：http://weahome.cn/article/deseoo.html