這篇文章給大家分享的是有關(guān)大數(shù)據(jù)web管理器HUE怎么樣的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。
成都創(chuàng)新互聯(lián)公司是網(wǎng)站建設(shè)專家,致力于互聯(lián)網(wǎng)品牌建設(shè)與網(wǎng)絡(luò)營銷，專業(yè)領(lǐng)域包括網(wǎng)站制作、成都做網(wǎng)站、電商網(wǎng)站制作開發(fā)、小程序開發(fā)、微信營銷、系統(tǒng)平臺開發(fā)，與其他網(wǎng)站設(shè)計及系統(tǒng)開發(fā)公司不同，我們的整合解決方案結(jié)合了恒基網(wǎng)絡(luò)品牌建設(shè)經(jīng)驗和互聯(lián)網(wǎng)整合營銷的理念，并將策略和執(zhí)行緊密結(jié)合，且不斷評估并優(yōu)化我們的方案，為客戶提供全方位的互聯(lián)網(wǎng)品牌整合方案！
Hue是cdh專門的一套web管理器，它包括3個部分hue ui，hue server，hue db。hue提供所有的cdh組件的shell界面的接口。你可以在hue編寫mr，查看修改hdfs的文件，管理hive的元數(shù)據(jù)，運(yùn)行Sqoop，編寫Oozie工作流等大量工作。
HUE官方地址http://gethue.com/
默認(rèn)基于輕量級sqlite數(shù)據(jù)庫管理會話數(shù)據(jù)，用戶認(rèn)證和授權(quán)，可以自定義為MySQL、Postgresql，以及Oracle
基于文件瀏覽器（File Browser）訪問HDFS
基于Hive編輯器來開發(fā)和運(yùn)行Hive查詢
支持基于Solr進(jìn)行搜索的應(yīng)用，并提供可視化的數(shù)據(jù)視圖，以及儀表板（Dashboard）
支持基于Impala的應(yīng)用進(jìn)行交互式查詢
支持Spark編輯器和儀表板（Dashboard）
支持Pig編輯器，并能夠提交腳本任務(wù)
支持Oozie編輯器，可以通過儀表板提交和監(jiān)控Workflow、Coordinator和Bundle
支持HBase瀏覽器，能夠可視化數(shù)據(jù)、查詢數(shù)據(jù)、修改HBase表
支持Metastore瀏覽器，可以訪問Hive的元數(shù)據(jù)，以及HCatalog
支持Job瀏覽器，能夠訪問MapReduce Job（MR1/MR2-YARN）
支持Job設(shè)計器，能夠創(chuàng)建MapReduce/Streaming/Java Job
支持Sqoop 2編輯器和儀表板（Dashboard）
支持ZooKeeper瀏覽器和編輯器
支持MySql、PostGresql、Sqlite和Oracle數(shù)據(jù)庫查詢編輯器
這里我用的hue docker image. 就省去了安裝,
環(huán)境:centos7 3臺, 已經(jīng)安裝了ambari的hadoop集群
docker拉取hue
docker pull gethue/hue:latest
檢測下服務(wù)器沒有被占用8888端口
netstat -anp | grep 8888
運(yùn)行image
docker run -tid --name hue8888 --hostname cnode1.domain.org \
-p 8888:8888 -v /usr/hdp:/usr/hdp -v /etc/hadoop:/etc/hadoop \
-v /etc/hive:/etc/hive -v /etc/hbase:/etc/hbase \
-v /docker-config/pseudo-distributed.ini /hue/desktop/conf/pseudo-distributed.ini \
c-docker.domain.org:5000/hue:latest \
./build/env/bin/hue runserver_plus 0.0.0.0:8888
解釋下上面的命令,
-i 標(biāo)志保證容器中STDIN是開啟的
-t 表示告訴docker要為創(chuàng)建的容器分配一個偽tty終端
-d 會把容器放到后臺運(yùn)行
--name alias_name 可以為這個docker指定一個別名, 要放前面, e.g.:docker run -tid --name alias_name images:version /bin/bash
--hostname 指定hostname, 類似--ip
-p docker 容器的端口:外部主機(jī)的端口, 作端口映射, 來公開在dockerfile里面定義的expose的所有端口.
-v 掛在目錄, 外部主機(jī)目錄:容器內(nèi)部目錄, 這里我掛在了 ambari的 hadoop配置文件/etc/hadoop, hive配置路徑/etc/hive, hbase配置路徑/etc/hbase, 以及用了本地的hue配置文件去替代docker里面的hue配置文件.
最后是要啟動容器后要運(yùn)行的命令 ./build/env/bin/hue runserver_plus 0.0.0.0:8888
cnode1.domain.org 是我的一臺服務(wù)器的域名. 拿來跑hue的
c-docker.domain.org 是我的私有docker倉庫. 注意這里需要在docker daemon里面加上 --insecure-registry c-docker.domain.org:5000來允許不安全的授權(quán)拉取, centos7具體修改docker insecure-registry如下
vim /etc/systemd/system/docker.service
在[Service]下增加和修改如下內(nèi)容
EnvironmentFile=-/etc/sysconfig/docker
ExecStart=/usr/bin/docker daemon -H fd:// $OPTIONS
vim /etc/sysconfig/docker
添加
OPTIONS="-D --selinux-enabled --insecure-registry c-docker.domain.org:5000"
重啟docker和daemon
systemctl restart docker
systemctl daemon-reload
hue-docker的相關(guān)配置文件在/hue/desktop/conf/pseudo-distributed.ini
修改相關(guān)參數(shù), scp傳出來后修改如下參數(shù),保存到主機(jī)cnode1上/docker-config/pseudo-distributed.ini
http_port=8888
fs_defaultfs=hdfs://cnode1.domain.org:8020
logical_name=cnode1
webhdfs_url=http://cnode1.domain.org:50070/webhdfs/v1
hadoop_conf_dir=/etc/hadoop/conf
hive_server_host=cnode1.domain.org
hive_server_port=10000
hive_conf_dir=/etc/hive
hbase_clusters=(cluster1|cnode2.domain.org:9090)
hbase_conf_dir=/etc/hbase
注意上面的地址 hbase_clusters 的cluster1只是hue里面顯示的, 可以隨便命名, cnode2.domain.org:9090 是hbase thrift 1的地址, 在ambari的主機(jī)里面用如下命令啟動起來
/usr/hdp/2.4.0.0-169/hbase/bin/hbase-daemon.sh start thrift
第一次進(jìn)入需要配置賬戶和密碼
同樣是編輯pseudo-distributed.ini,
找到[librdbms]這段后, 按照自己需要修改如下的內(nèi)容, 注意要取消[[[mysql]]]的注釋
[[[mysql]]]
nice_name="Hyve-ENG UAT MySQL"
name=dbname_test
# Database backend to use. This can be:
# 1. mysql
# 2. postgresql
# 3. oracle
engine=mysql
host=192.168.85.100
# Port the database server is listening to. Defaults are:
# 1. MySQL: 3306
# 2. PostgreSQL: 5432
# 3. Oracle Express Edition: 1521
port=3306
# Username to authenticate with when connecting to the database.
user=tom
# Password matching the username to authenticate with when
# connecting to the database.
password=db12@34#56%78
保存后, 重啟docker container
docker restart hue8888
接下來就可以在http://cnode1.domain.org:8888/rdbms/ 來進(jìn)行對應(yīng)的mysql查詢.
多個db支持, 需要復(fù)制完整的 對應(yīng)的db段, 比如要支持postsql, 或者新的mysql db庫, 需要復(fù)制
如下, 在options里面可以定制相關(guān)編碼等:
[[[mysql3]]]
nice_name="UAT MySQL"
name=mysqldbname
engine=mysql
host=192.168.80.116
port=3306
user=tommy
password=p12391kf1#jkew
[[[mysql2]]]
nice_name="UAT MySQL"
name=mysqldbname2
engine=mysql
host=192.168.80.116
port=3306
user=tommy
password=p12391kf1#jkew
options={ "init_command":"SET NAMES 'utf8'"}
options里面init_command支持一些初始化鏈接行為, 比如設(shè)置編碼, 設(shè)置連接超時, 設(shè)置select的limit數(shù)量,
具體可以參考http://dev.mysql.com/doc/refman/5.6/en/mysql-tips.html#safe-updates 和django的database部分, 比如下面
"init_command": 'set storage_engine=INNODB; \
SET SESSION TRANSACTION ISOLATION LEVEL READ COMMITTED', }
設(shè)置默認(rèn)查詢數(shù)量,
重慶分公司
重慶分公司
options={"init_command": "SET sql_select_limit=100"}多組init_command:
options={"init_command": "SET sql_select_limit=100; SET names 'utf8'; SET sql_safe_updates=1"}感謝各位的閱讀！關(guān)于“大數(shù)據(jù)web管理器HUE怎么樣”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！
