HBase 運(yùn)維中生產(chǎn)上怎樣解決HBase RIT問題，針對(duì)這個(gè)問題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡(jiǎn)單易行的方法。

創(chuàng)新互聯(lián)建站自2013年起，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目網(wǎng)站制作、做網(wǎng)站網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元竹山做網(wǎng)站,已為上家服務(wù),為竹山各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:028-86922220

1.現(xiàn)象:

昨晚集群夯住，內(nèi)存不夠，導(dǎo)致HBase RegionServer掛了！
緊跟著CDH HBase Master(active)節(jié)點(diǎn)是紅色的，顯示信息:HBase Regions In Transition Over Threshold
這時(shí)我知道又遇見HBase RIT了。

2.常見解決方法:

2.1 重啟HBase，嘗試了2次后，發(fā)現(xiàn)HBase Master(active)節(jié)點(diǎn)是依舊紅色的

雖然我們可以連接HBase，但是查詢速度(dbeaver工具+Phoenix)上是非常慢的，
還拋錯(cuò)一個(gè)錯(cuò)誤: Cache of region boundaries are out of date.

2.2 在master節(jié)點(diǎn)：使用hbase進(jìn)程所在的用戶

su - hbase
hbase hbck -fixAssignments 
用于修復(fù)region assignments錯(cuò)誤，觀察發(fā)現(xiàn)越來越多的RIT的Regions，及時(shí)終止命令
也嘗試了一下 hbase hbck、hbase hbck -repair，日志刷了很久也沒解決。

2.3 查看master節(jié)點(diǎn)日志,發(fā)現(xiàn)如下日志

2018-08-21 09:50:47,924 INFO org.apache.hadoop.hbase.master.SplitLogManager: total tasks = 1 unassigned = 0 tasks={/hbase/splitWAL/WALs%2Fhadoop49%2C60020%2C1534734073978-splitting%2Fhadoop49%252C60020%252C1534734073978.null0.1534762936638=last_update = 1534816154977 last_version = 22 cur_worker_name = hadoop47,60020,1534815723497 status = in_progress incarnation = 2 resubmits = 2 batch = installed = 1 done = 0 error = 0}

由于日志刷的很快，加上是info級(jí)別，剛開始真心沒注意！
后來通過分析HBase master web界面，發(fā)現(xiàn)：

• a.RIT的regions都是在hadoop49機(jī)器

• b.master的log日志也是顯示hadoop49機(jī)器的splitting log，

  一直在in_progress狀態(tài)
  （觀察差不多10分鐘，一直再刷info級(jí)別且此狀態(tài)）

3.暴力解決:

3.1 直接使用hdfs命令先找到日志，再rm刪除(移除到回收站)

hadoop36:hdfs:/var/lib/hadoop-hdfs:>hdfs dfs -ls hdfs://nameservice1/hbase/WALs/*splitting
Found 1 items
-rw-r--r--   3 hbase hbase   21132987 2018-08-20 19:02 hdfs://nameservice1/hbase/WALs/hadoop49,60020,1534734073978-splitting/hadoop49%2C60020%2C1534734073978.null0.1534762936638
hadoop36:hdfs:/var/lib/hadoop-hdfs:>
hadoop36:hdfs:/var/lib/hadoop-hdfs:>
hadoop36:hdfs:/var/lib/hadoop-hdfs:>hdfs dfs -rm hdfs://nameservice1/hbase/WALs/hadoop49,60020,1534734073978-splitting/hadoop49%2C60020%2C1534734073978.null0.1534762936638
18/08/21 12:46:15 INFO fs.TrashPolicyDefault: Moved: 'hdfs://nameservice1/hbase/WALs/hadoop49,60020,1534734073978-splitting/hadoop49%2C60020%2C1534734073978.null0.1534762936638' to trash at: hdfs://nameservice1/user/hdfs/.Trash/Current/hbase/WALs/hadoop49,60020,1534734073978-splitting/hadoop49%2C60020%2C1534734073978.null0.1534762936638
hadoop36:hdfs:/var/lib/hadoop-hdfs:>

3.2 重啟HBase，等待一會(huì)，一切正常，保證HBase對(duì)外提供服務(wù)。3.3 因?yàn)槲覀儎h除的是HLOG文件，必然會(huì)丟失數(shù)據(jù)，故使用MCP實(shí)時(shí)中間件，web界面定制數(shù)據(jù)重刷job(昨晚19:00~21:00故障范圍時(shí)間)，恢復(fù)數(shù)據(jù)。

關(guān)于HBase 運(yùn)維中生產(chǎn)上怎樣解決HBase RIT問題問題的解答就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識(shí)。