運(yùn)維監(jiān)控到消息無(wú)法增量更新索引。經(jīng)定位發(fā)現(xiàn)hbase solr indexer未生效。

專注于為中小企業(yè)提供網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)白城免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了上1000+企業(yè)的穩(wěn)健成長(zhǎng)，幫助中小企業(yè)通過(guò)網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

以前測(cè)試環(huán)境下通常是因?yàn)檫@個(gè)hbase-solr-indexer進(jìn)程當(dāng)?shù)袅嗽斐傻摹５沁@一次不一樣。

檢查sep的impl的源碼，發(fā)現(xiàn)它是偽裝了一個(gè)HbaseRegionServer，把自己作為slave，然后借助HBase的replication機(jī)制，讓log復(fù)制過(guò)來(lái)。它再通過(guò)write ahead log獲取增量更新內(nèi)容。

猜測(cè)是這種機(jī)制被斷掉了。檢查zookeeper

ls /ngdata/sep/hbase-slave/Indexer_morphlines_Test300/rs

發(fā)現(xiàn)這個(gè)記錄

[datanode10.bjpuc1.quanshi.com,50475,1428377032454]

檢查hbase

ls /hbase/rs

[datanode8.app.company.com,60020,1427557044871,datanode3.app.company.com,60020,1428140476654, datanode6.app.company.com,60020,1427557034896,datanode10.app.company.com,60020,1427557054164,datanode1.app.company.com,60020,1427556940973,datanode7.app.company.com,60020,1427557039934,datanode4.app.company.com,60020,1427557024791, datanode9.app.company.com,60020,1427557048966,datanode2.app.company.com,60020,1427557014498,datanode11.app.company.com,60020,1427557059497,datanode5.app.company.com,60020,1427557029513]

 

 

因此懷疑兩者的同步出現(xiàn)問(wèn)題。于是讓君福幫助重建了一次增量更新配置。辦法是刪除原來(lái)的hbase-solr-indexer的配置，再重新add-indexer。

ls/ngdata/sep/hbase-slave/Indexer_morphlines_Test300/rs

[datanode10.app.company.com,2074,1428455398626]

問(wèn)題得到解決。