小編給大家分享一下Hadoop Journal Node有什么作用，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

成都創(chuàng)新互聯(lián)是一家專業(yè)提供營口企業(yè)網(wǎng)站建設(shè),專注與網(wǎng)站制作、成都網(wǎng)站設(shè)計、H5建站、小程序制作等業(yè)務。10年已為營口眾多企業(yè)、政府機構(gòu)等服務。創(chuàng)新互聯(lián)專業(yè)網(wǎng)站制作公司優(yōu)惠進行中。

NameNode之間共享數(shù)據(jù)（NFS 、Quorum Journal Node（用得多））

兩個NameNode為了數(shù)據(jù)同步，會通過一組稱作JournalNodes的獨立進程進行相互通信。當active狀態(tài)的NameNode的命名空間有任何修改時，會告知大部分的JournalNodes進程。standby狀態(tài)的NameNode有能力讀取JNs中的變更信息，并且一直監(jiān)控edit log的變化，把變化應用于自己的命名空間。standby可以確保在集群出錯時，命名空間狀態(tài)已經(jīng)完全同步了。

Hadoop中的NameNode好比是人的心臟，非常重要，絕對不可以停止工作。在hadoop1時代，只有一個NameNode。如果該NameNode數(shù)據(jù)丟失或者不能工作，那么整個集群就不能恢復了。這是hadoop1中的單點問題，也是hadoop1不可靠的表現(xiàn)，如圖1所示。hadoop2就解決了這個問題。

圖1 

hadoop2.2.0（HA）中HDFS的高可靠指的是可以同時啟動2個NameNode。其中一個處于工作狀態(tài)，另一個處于隨時待命狀態(tài)。這樣，當一個NameNode所在的服務器宕機時，可以在數(shù)據(jù)不丟失的情況下，手工或者自動切換到另一個NameNode提供服務。 

這些NameNode之間通過共享數(shù)據(jù)，保證數(shù)據(jù)的狀態(tài)一致。多個NameNode之間共享數(shù)據(jù)，可以通過Nnetwork File System或者Quorum Journal Node。前者是通過linux共享的文件系統(tǒng)，屬于操作系統(tǒng)的配置；后者是hadoop自身的東西，屬于軟件的配置。

我們這里講述使用Quorum Journal Node的配置方式，方式是手工切換。 

集群啟動時，可以同時啟動2個NameNode。這些NameNode只有一個是active的，另一個屬于standby狀態(tài)。active狀態(tài)意味著提供服務，standby狀態(tài)意味著處于休眠狀態(tài)，只進行數(shù)據(jù)同步，時刻準備著提供服務，如圖2所示。

圖2 

架構(gòu) 

在一個典型的HA集群中，每個NameNode是一臺獨立的服務器。在任一時刻，只有一個NameNode處于active狀態(tài)，另一個處于standby狀態(tài)。其中，active狀態(tài)的NameNode負責所有的客戶端操作，standby狀態(tài)的NameNode處于從屬地位，維護著數(shù)據(jù)狀態(tài)，隨時準備切換。 

兩個NameNode為了數(shù)據(jù)同步，會通過一組稱作JournalNodes的獨立進程進行相互通信。當active狀態(tài)的NameNode的命名空間有任何修改時，會告知大部分的JournalNodes進程。standby狀態(tài)的NameNode有能力讀取JNs中的變更信息，并且一直監(jiān)控edit log的變化，把變化應用于自己的命名空間。standby可以確保在集群出錯時，命名空間狀態(tài)已經(jīng)完全同步了，如圖3所示。

圖3 

為了確?？焖偾袚Q，standby狀態(tài)的NameNode有必要知道集群中所有數(shù)據(jù)塊的位置。為了做到這點，所有的datanodes必須配置兩個NameNode的地址，發(fā)送數(shù)據(jù)塊位置信息和心跳給他們兩個。 

對于HA集群而言，確保同一時刻只有一個NameNode處于active狀態(tài)是至關(guān)重要的。否則，兩個NameNode的數(shù)據(jù)狀態(tài)就會產(chǎn)生分歧，可能丟失數(shù)據(jù)，或者產(chǎn)生錯誤的結(jié)果。為了保證這點，JNs必須確保同一時刻只有一個NameNode可以向自己寫數(shù)據(jù)。 

硬件資源 

為了部署HA集群，應該準備以下事情：

* NameNode服務器：運行NameNode的服務器應該有相同的硬件配置。

* JournalNode服務器：運行的JournalNode進程非常輕量，可以部署在其他的服務器上。注意：必須允許至少3個節(jié)點。當然可以運行更多，但是必須是奇數(shù)個，如3、5、7、9個等等。當運行N個節(jié)點時，系統(tǒng)可以容忍至少(N-1)/2(N至少為3)個節(jié)點失敗而不影響正常運行。 

在HA集群中，standby狀態(tài)的NameNode可以完成checkpoint操作，因此沒必要配置Secondary NameNode、CheckpointNode、BackupNode。如果真的配置了，還會報錯。

以上是“Hadoop Journal Node有什么作用”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學習更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！