真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

如何解決Hbase、elasticsearch整合中jar包沖突的問(wèn)題

這篇文章主要介紹了如何解決Hbase、elasticsearch整合中jar包沖突的問(wèn)題,具有一定借鑒價(jià)值,感興趣的朋友可以參考下,希望大家閱讀完這篇文章之后大有收獲,下面讓小編帶著大家一起了解一下。

成都創(chuàng)新互聯(lián)公司長(zhǎng)期為超過(guò)千家客戶提供的網(wǎng)站建設(shè)服務(wù),團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年,關(guān)注不同地域、不同群體,并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù);打造開(kāi)放共贏平臺(tái),與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為息縣企業(yè)提供專業(yè)的網(wǎng)站制作、做網(wǎng)站,息縣網(wǎng)站改版等技術(shù)服務(wù)。擁有十年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開(kāi)發(fā)。

問(wèn)題背景

再數(shù)據(jù)平臺(tái)中,項(xiàng)目搭建需要使用es和HBASE搭建數(shù)據(jù)查詢接口,整合的過(guò)程中出現(xiàn)jar包沖突的bug :com.google.common.base.Stopwatch.()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator

org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator
    at org.apache.hadoop.hbase.client.RpcRetryingCaller.translateException(RpcRetryingCaller.java:239)
    at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:150)
    ...
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator
    at org.apache.hadoop.hbase.zookeeper.MetaTableLocator.blockUntil
    ...
    at org.apache.hadoop.hbase.client.RegionServerCallable.prepare(RegionServerCallable.java:75)
    at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:134)
    ... 45 more

解決辦法

經(jīng)排查,確認(rèn)是因?yàn)?com.google.guava 這個(gè)包引起的沖突。es依賴于18及以上版本,而HBASE只支持16及以上版本。而guava這個(gè)包從17開(kāi)始內(nèi)部發(fā)生變化,方法發(fā)生改變,所以18并不會(huì)向下兼容16版本。在項(xiàng)目運(yùn)行的過(guò)程中,如果同時(shí)引入16、18版本,es及hbase的調(diào)用過(guò)程會(huì)發(fā)生混亂。那么接下來(lái)就好辦了,我們可以重新打包,將guava18打入es內(nèi)部,再在pom文件中顯示引用guava16版本的包。這樣,es調(diào)用包內(nèi)部打入的guava18,而hbase調(diào)用外部的guava16。

重新打包

新建maven工程,在pom文件中進(jìn)行如下配置:



  4.0.0

  
  douguo.shaded.elasticsearch
  douguo_shaded_elasticsearch
  1.0-SNAPSHOT

  
    2.4.1
  
  
    
      org.elasticsearch
      elasticsearch
      ${elasticsearch.version}
    
    
      org.elasticsearch.plugin
      shield
      ${elasticsearch.version}
    
  
  
    
      
        org.apache.maven.plugins
        maven-shade-plugin
        2.4.1
        
          false
        
        
          
            package
            
              shade
            
            
              
                
                  com.google.guava
                  douguo.shaded.elasticsearch.guava
                
                
                  org.joda
                  douguo.shaded.elasticsearch.joda
                
                
                  com.google.common
                  douguo.shaded.elasticsearch.common
                
                
                  com.google.thirdparty
                  douguo.shaded.elasticsearch.thirdparty
                
              
              
                
              
            
          
        
      
    
  

  
    
      elasticsearch-releases
      http://maven.elasticsearch.org/releases
      
        true
        daily
      
      
        false
      
    
  

將org.joda等4個(gè)可能有沖突的jar包通過(guò)maven-shade-plugin插件遷移后重新打個(gè)jar包從而使得在引入這個(gè)jar包時(shí)能夠使用該jar包自己的依賴而不是使用外部依賴。這里需要注意的是,需要將com.google.common等4個(gè)包全部重新遷移,否則會(huì)出現(xiàn)java.lang.IllegalAccessError: tried to access method com.google.common.base的錯(cuò)誤

項(xiàng)目打包

mvn clean install

新的依賴包會(huì)在.m2 maven倉(cāng)庫(kù)中,如果公司搭建了倉(cāng)庫(kù)的話,需要上傳jar包。如果直接運(yùn)行jar包的話,記得重新編譯項(xiàng)目,并替換lib目錄

項(xiàng)目載入新包

只需要在pom文件中配置:



  douguo.shaded.elasticsearch
  douguo_shaded_elasticsearch
  1.0-SNAPSHOT
  
    
      org.elasticsearch
      elasticsearch
    
  






  com.google.guava
  guava
  16.0

這樣,guava18包就在douguo.shaded.elasticsearch下,es會(huì)優(yōu)先調(diào)用。而外部配置的guava16就會(huì)被HBASE調(diào)用。2個(gè)版本的jar包互相獨(dú)立存在!

感謝你能夠認(rèn)真閱讀完這篇文章,希望小編分享的“如何解決Hbase、elasticsearch整合中jar包沖突的問(wèn)題”這篇文章對(duì)大家有幫助,同時(shí)也希望大家多多支持創(chuàng)新互聯(lián),關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道,更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!


網(wǎng)站標(biāo)題:如何解決Hbase、elasticsearch整合中jar包沖突的問(wèn)題
標(biāo)題來(lái)源:http://weahome.cn/article/gipdse.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部