這篇文章主要介紹了如何解決Hbase、elasticsearch整合中jar包沖突的問(wèn)題,具有一定借鑒價(jià)值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。
成都創(chuàng)新互聯(lián)公司長(zhǎng)期為超過(guò)千家客戶提供的網(wǎng)站建設(shè)服務(wù),團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年,關(guān)注不同地域、不同群體,并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù);打造開(kāi)放共贏平臺(tái),與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為息縣企業(yè)提供專業(yè)的網(wǎng)站制作、做網(wǎng)站,息縣網(wǎng)站改版等技術(shù)服務(wù)。擁有十年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開(kāi)發(fā)。
問(wèn)題背景
再數(shù)據(jù)平臺(tái)中,項(xiàng)目搭建需要使用es和HBASE搭建數(shù)據(jù)查詢接口,整合的過(guò)程中出現(xiàn)jar包沖突的bug :com.google.common.base.Stopwatch.()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator
org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator at org.apache.hadoop.hbase.client.RpcRetryingCaller.translateException(RpcRetryingCaller.java:239) at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:150) ... at java.lang.Thread.run(Thread.java:745) Caused by: java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch. ()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator at org.apache.hadoop.hbase.zookeeper.MetaTableLocator.blockUntil ... at org.apache.hadoop.hbase.client.RegionServerCallable.prepare(RegionServerCallable.java:75) at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:134) ... 45 more
解決辦法
經(jīng)排查,確認(rèn)是因?yàn)?com.google.guava 這個(gè)包引起的沖突。es依賴于18及以上版本,而HBASE只支持16及以上版本。而guava這個(gè)包從17開(kāi)始內(nèi)部發(fā)生變化,方法發(fā)生改變,所以18并不會(huì)向下兼容16版本。在項(xiàng)目運(yùn)行的過(guò)程中,如果同時(shí)引入16、18版本,es及hbase的調(diào)用過(guò)程會(huì)發(fā)生混亂。那么接下來(lái)就好辦了,我們可以重新打包,將guava18打入es內(nèi)部,再在pom文件中顯示引用guava16版本的包。這樣,es調(diào)用包內(nèi)部打入的guava18,而hbase調(diào)用外部的guava16。
重新打包
新建maven工程,在pom文件中進(jìn)行如下配置:
4.0.0 douguo.shaded.elasticsearch douguo_shaded_elasticsearch 1.0-SNAPSHOT 2.4.1 org.elasticsearch elasticsearch ${elasticsearch.version} org.elasticsearch.plugin shield ${elasticsearch.version} org.apache.maven.plugins maven-shade-plugin 2.4.1 false package shade com.google.guava douguo.shaded.elasticsearch.guava org.joda douguo.shaded.elasticsearch.joda com.google.common douguo.shaded.elasticsearch.common com.google.thirdparty douguo.shaded.elasticsearch.thirdparty elasticsearch-releases http://maven.elasticsearch.org/releases true daily false
將org.joda等4個(gè)可能有沖突的jar包通過(guò)maven-shade-plugin插件遷移后重新打個(gè)jar包從而使得在引入這個(gè)jar包時(shí)能夠使用該jar包自己的依賴而不是使用外部依賴。這里需要注意的是,需要將com.google.common等4個(gè)包全部重新遷移,否則會(huì)出現(xiàn)java.lang.IllegalAccessError: tried to access method com.google.common.base的錯(cuò)誤
項(xiàng)目打包
mvn clean install
新的依賴包會(huì)在.m2 maven倉(cāng)庫(kù)中,如果公司搭建了倉(cāng)庫(kù)的話,需要上傳jar包。如果直接運(yùn)行jar包的話,記得重新編譯項(xiàng)目,并替換lib目錄
項(xiàng)目載入新包
只需要在pom文件中配置:
douguo.shaded.elasticsearch douguo_shaded_elasticsearch 1.0-SNAPSHOT org.elasticsearch elasticsearch com.google.guava guava 16.0
這樣,guava18包就在douguo.shaded.elasticsearch下,es會(huì)優(yōu)先調(diào)用。而外部配置的guava16就會(huì)被HBASE調(diào)用。2個(gè)版本的jar包互相獨(dú)立存在!
感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享的“如何解決Hbase、elasticsearch整合中jar包沖突的問(wèn)題”這篇文章對(duì)大家有幫助,同時(shí)也希望大家多多支持創(chuàng)新互聯(lián),關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!