真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

hadoop2.6.4搭建HA集群之后不能自動切換namenode怎么辦

這篇文章主要為大家展示了“hadoop2.6.4搭建HA集群之后不能自動切換namenode怎么辦”,內(nèi)容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領(lǐng)大家一起研究并學(xué)習(xí)一下“hadoop2.6.4搭建HA集群之后不能自動切換namenode怎么辦”這篇文章吧。

唐河網(wǎng)站制作公司哪家好,找創(chuàng)新互聯(lián)!從網(wǎng)頁設(shè)計、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、成都響應(yīng)式網(wǎng)站建設(shè)公司等網(wǎng)站項目制作,到程序開發(fā),運(yùn)營維護(hù)。創(chuàng)新互聯(lián)于2013年創(chuàng)立到現(xiàn)在10年的時間,我們擁有了豐富的建站經(jīng)驗和運(yùn)維經(jīng)驗,來保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)。

在搭好HA集群之后,想測試一下集群的高可用性,于是先把a(bǔ)ctive的namenode給停掉:

hadoop-daemon.sh stop namenode

或者直接kill掉該節(jié)點(diǎn)namenode的對應(yīng)進(jìn)程也可。

但是通過hdfs haadmin -getServiceState master1 查看,發(fā)現(xiàn)standby的namenode并沒有自動切換成active,直到我把之前kill掉的namenode手動啟動才會切換,但是這樣就達(dá)不到高可用的目的啊。

在網(wǎng)上找了好久才發(fā)現(xiàn)原因,原來是在hdfs-site.xml通過參數(shù)dfs.ha.fencing.methods來實現(xiàn),出現(xiàn)故障時通過哪種方式登錄到另一個namenode上進(jìn)行接管工作。如果采用默認(rèn)的值sshfence的話,設(shè)置集群就無法自動切換(下面單獨(dú)解釋)。log信息的是無法連接到standby的namenode。

        
          dfs.ha.fencing.methods
          shell(/bin/true)
        

修改成上面的值后,問題解決,active的namenode被停掉后秒切到standby的namenode.

擴(kuò)展閱讀:dfs.ha.fencing.methods參數(shù)

系統(tǒng)在任何時候只有一個namenode節(jié)點(diǎn)處于active狀態(tài)。在主備切換的時候,standby namenode會變成active狀態(tài),原來的active namenode就不能再處于active狀態(tài)了,否則兩個namenode同時處于active狀態(tài)會有問題。所以在failover的時候要設(shè)置防止2個namenode都處于active狀態(tài)的方法,可以是java類或者腳本。

fencing的方法目前有兩種,sshfence和shell

sshfence方法是指通過ssh登陸到active namenode節(jié)點(diǎn)殺掉namenode進(jìn)程,所以你需要設(shè)置ssh無密碼登陸,還要保證有殺掉namenode進(jìn)程的權(quán)限。

shell方法是指運(yùn)行一個shell腳本/命令來防止兩個namenode同時處于active,腳本需要自己寫。

注意,QJM方式本身就有fencing功能,能保證只有一個namenode能往journalnode上寫edits文件,所以是不需要設(shè)置fencing的方法就能的。但是,在發(fā)生failover的時候,原來的active namenode可能還在接受客戶端的讀請求,這樣客戶端很可能讀到一些過時的數(shù)據(jù)(因為新的active namenode的數(shù)據(jù)已經(jīng)實時更新了)。因此,還是建議設(shè)置fencing方法。如果確實不想設(shè)置fencing方法,可以設(shè)置一個能返回成功(沒有fencing作用)的方法,如“shell(/bin/true)”。這個純粹為了fencing方法能夠成功返回,并不需要真的有fencing作用。這樣可以提高系統(tǒng)的可用性,即使在fencing機(jī)制失敗的時候還能保持系統(tǒng)的可用性。

以上是“hadoop2.6.4搭建HA集群之后不能自動切換namenode怎么辦”這篇文章的所有內(nèi)容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內(nèi)容對大家有所幫助,如果還想學(xué)習(xí)更多知識,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道!


網(wǎng)頁題目:hadoop2.6.4搭建HA集群之后不能自動切換namenode怎么辦
當(dāng)前URL:http://weahome.cn/article/gopdph.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部