真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

CDH5.14如何集成ranger0.5.3-創(chuàng)新互聯(lián)

這篇文章主要介紹CDH5.14如何集成ranger0.5.3,文中介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們一定要看完!

創(chuàng)新互聯(lián)公司堅(jiān)持“要么做到,要么別承諾”的工作理念,服務(wù)領(lǐng)域包括:網(wǎng)站建設(shè)、網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù),滿足客戶于互聯(lián)網(wǎng)時(shí)代的尼勒克網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴!

CDH5.14的hive版本是1.1.0,經(jīng)過(guò)1周的嘗試,開(kāi)始選擇了ranger最新版本1.2.0,最后jdbc連接時(shí)因?yàn)閔ive-jdbc版本和hive版本不匹配報(bào)錯(cuò),所以選擇ranger0.5.3版本做了集成測(cè)試,過(guò)程中還是出現(xiàn)了一些問(wèn)題,感覺(jué)hontonworks和cloudera之間不太兼容啊。。。暫時(shí)還不是很完美,不過(guò)最終算是完成了。
首先安裝ranger-admin。
1.cd /home/ranger
下載ranger的tar包:
wget https://archive.apache.org/dist/incubator/ranger/0.5.3-incubating/apache-ranger-incubating-0.5.3.tar.gz
解壓tar包:
2.tar -xzvf apache-ranger-incubating-0.5.3.tar.gz
然后 進(jìn)入解壓后的目錄:
3./home/ranger/apache-ranger-incubating-0.5.3.tar.gz
編譯整個(gè)項(xiàng)目,時(shí)間比較久,建議nohup掛在后臺(tái):
4.nohup mvn clean compile package assembly:assembly install -DskipTests=true -Drat.skip=true -Dmaven.test.skip=true > maven.log &
編譯之前先解決一個(gè)問(wèn)題,否則編譯通不過(guò):
1.python版本,要python2.7才可以,用2.6或者3都會(huì)出現(xiàn)問(wèn)題,

編譯完了之后進(jìn)入目錄
/home/ranger/apache-ranger-1.2.0/target
我們需要的文件都構(gòu)建好了

我們先把ranger-admin安裝先,cp到/usr/local
cp /home/ranger/apache-ranger-incubating-0.5.3/target/ranger-0.5.3-admin.tar.gz /usr/local

解壓:
tar -xzvf /usr/local/ranger-0.5.3-admin.tar.gz
進(jìn)入/usr/local/ranger-0.5.3-admin
修改下install.properties中的配置項(xiàng),然后
使用root用戶執(zhí)行
bash /usr/local/ranger-0.5.3-admin/setup.sh
就安裝好了
然后執(zhí)行ranger-admin start 即可啟動(dòng)ranger-admin;
瀏覽器http://hostname:6080如下登錄界面,admin/admin 即可登錄
用戶名:admin
密碼:admin

這里著重寫一下ranger-hive-plugin的配置和安裝。
ranger源碼編譯完成之后,在ranger目錄下有hive插件的包:
/home/ranger/apache-ranger-incubating-0.5.3/target/ranger-0.5.3-hive-plugin.tar.gz

把這個(gè)包c(diǎn)p到hiveserver的節(jié)點(diǎn)上,放在hive安裝目錄同級(jí)的路徑下,比如我們用的cdh,一般hive安裝目錄在/opt/cloudera/parcels/CDH/lib/hive/,所以我們把ranger-hive-plugin放在/opt/cloudera/parcels/CDH/lib這個(gè)目錄下,之所以這么做,是因?yàn)?br/>等下ranger-hive-plugin集成到hive里面會(huì)默認(rèn)去它的相對(duì)路徑找依賴jar包,放在這里直接就可以找到,不用像網(wǎng)上說(shuō)的那樣還要去建軟連接。
之后修改/opt/cloudera/parcels/CDH/lib/ranger-0.5.3-hive-plugin/install.properties
中配置信息,改完之后運(yùn)行enable-hive-plugin.sh腳本,在重啟hiveserver2,ranger的配置即可生效,不過(guò)從cdh中啟動(dòng)hiveserver2是不會(huì)生效的,因?yàn)樗粫?huì)去讀取hive安裝路徑下的config目錄,而是會(huì)動(dòng)態(tài)生成一個(gè)config目錄,只能手動(dòng)去啟動(dòng)
命令是 hive --service hiveserver2
后面看看能不能解決這個(gè)問(wèn)題

進(jìn)入ranger admin的,添加hive規(guī)則,測(cè)試jdbc連通性會(huì)報(bào)錯(cuò),因?yàn)槲覀兿碌膔anger版本自帶的是hive1.2.0的版本,hive-jdbc的版本我我們使用的hive版本不同,所以我們要把a(bǔ)dmin下相關(guān)jar包更換掉,

/usr/local/ranger-0.5.3-admin/ews/webapp/WEB-INF/classes/ranger-plugins/hive這個(gè)目錄下,hive1.2有關(guān)的包全部換成我們使用的版本,相關(guān)的包都可以在cdh安裝路徑下可以找到(/opt/cloudera/parcels/CDH-5.14.0-1.cdh6.14.0.p0.24/lib/hive/lib/)

之后就可以正常使用了,用beeline客戶端測(cè)試ranger使用正常,不過(guò)用hue的時(shí)候會(huì)報(bào)錯(cuò),錯(cuò)誤信息顯示:java.lang.IllegalArgumentException:Cannot modify hive.server2.proxy.user at runtime.,大概是hive查詢的代理用戶沒(méi)有權(quán)限去查詢,所以需要把一些系統(tǒng)用戶加入到hive的白名單中,

在hive-site.xml中添加:

hive.security.authorization.sqlstd.confwhitelist.append
mapred.|hive.|mapreduce.|spark.


hive.security.authorization.sqlstd.confwhitelist
mapred.|hive.|mapreduce.|spark.

即可

以上是“CDH5.14如何集成ranger0.5.3”這篇文章的所有內(nèi)容,感謝各位的閱讀!希望分享的內(nèi)容對(duì)大家有幫助,更多相關(guān)知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無(wú)理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。


分享名稱:CDH5.14如何集成ranger0.5.3-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)地址:http://weahome.cn/article/ddgppc.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部