這期內(nèi)容當(dāng)中小編將會(huì)給大家?guī)碛嘘P(guān)Hadoop2.2.0中的高可用性實(shí)現(xiàn)原理是什么，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

茂南網(wǎng)站制作公司哪家好，找創(chuàng)新互聯(lián)建站！從網(wǎng)頁設(shè)計(jì)、網(wǎng)站建設(shè)、微信開發(fā)、APP開發(fā)、響應(yīng)式網(wǎng)站建設(shè)等網(wǎng)站項(xiàng)目制作，到程序開發(fā)，運(yùn)營維護(hù)。創(chuàng)新互聯(lián)建站從2013年成立到現(xiàn)在10年的時(shí)間，我們擁有了豐富的建站經(jīng)驗(yàn)和運(yùn)維經(jīng)驗(yàn)，來保證我們的工作的順利進(jìn)行。專注于網(wǎng)站建設(shè)就選創(chuàng)新互聯(lián)建站。

在Hadoop2.0.0之前，NameNode(NN)在HDFS集群中存在單點(diǎn)故障（single point of failure），每一個(gè)集群中存在一個(gè)NameNode，如果NN所在的機(jī)器出現(xiàn)了故障，那么將導(dǎo)致整個(gè)集群無法利用，直到NN重啟或者在另一臺(tái)主機(jī)上啟動(dòng)NN守護(hù)線程。
主要在兩方面影響了HDFS的可用性：
（1）、在不可預(yù)測的情況下，如果NN所在的機(jī)器崩潰了，整個(gè)集群將無法利用，直到NN被重新啟動(dòng)；
（2）、在可預(yù)知的情況下，比如NN所在的機(jī)器硬件或者軟件需要升級(jí)，將導(dǎo)致集群宕機(jī)。
HDFS的高可用性將通過在同一個(gè)集群中運(yùn)行兩個(gè)NN（active NN & standby NN）來解決上面兩個(gè)問題，這種方案允許在機(jī)器破潰或者機(jī)器維護(hù)快速地啟用一個(gè)新的NN來恢復(fù)故障。
在典型的HA集 群中，通常有兩臺(tái)不同的機(jī)器充當(dāng)NN。在任何時(shí)間，只有一臺(tái)機(jī)器處于Active狀態(tài)；另一臺(tái)機(jī)器是處于Standby狀態(tài)。Active NN負(fù)責(zé)集群中所有客戶端的操作；而Standby NN主要用于備用，它主要維持足夠的狀態(tài)，如果必要，可以提供快速的故障恢復(fù)。
為了讓Standby NN的狀態(tài)和Active NN保持同步，即元數(shù)據(jù)保持一致，它們都將會(huì)和JournalNodes守護(hù)進(jìn)程通信。當(dāng)Active NN執(zhí)行任何有關(guān)命名空間的修改，它需要持久化到一半以上的JournalNodes上(通過edits log持久化存儲(chǔ))，而Standby NN負(fù)責(zé)觀察edits log的變化，它能夠讀取從JNs中讀取edits信息，并更新其內(nèi)部的命名空間。一旦Active NN出現(xiàn)故障，Standby NN將會(huì)保證從JNs中讀出了全部的Edits，然后切換成Active狀態(tài)。Standby NN讀取全部的edits可確保發(fā)生故障轉(zhuǎn)移之前，是和Active NN擁有完全同步的命名空間狀態(tài)。
為了提供快速的故障恢復(fù)，Standby NN也需要保存集群中各個(gè)文件塊的存儲(chǔ)位置。為了實(shí)現(xiàn)這個(gè)，集群中所有的Database將配置好Active NN和Standby NN的位置，并向它們發(fā)送塊文件所在的位置及心跳，如下圖所示：

Hadoop2.2.0中HDFS的高可用性實(shí)現(xiàn)原理

在任何時(shí)候，集群中只有一個(gè)NN處于Active 狀態(tài)是極其重要的。否則，在兩個(gè)Active   NN的狀態(tài)下NameSpace狀態(tài)將會(huì)出現(xiàn)分歧，這將會(huì)導(dǎo)致數(shù)據(jù)的丟失及其它不正確的結(jié)果。為了保證這種情況不會(huì)發(fā)生，在任何時(shí)間，JNs只允許一個(gè) NN充當(dāng)writer。在故障恢復(fù)期間，將要變成Active 狀態(tài)的NN將取得writer的角色，并阻止另外一個(gè)NN繼續(xù)處于Active狀態(tài)。
為了部署HA集群，你需要準(zhǔn)備以下事項(xiàng)：
（1）、NameNode machines：運(yùn)行Active NN和Standby NN的機(jī)器需要相同的硬件配置；
（2）、JournalNode machines：也就是運(yùn)行JN的機(jī)器。JN守護(hù)進(jìn)程相對來說比較輕量，所以這些守護(hù)進(jìn)程可以可其他守護(hù)線程（比如NN，YARN ResourceManager）運(yùn)行在同一臺(tái)機(jī)器上。在一個(gè)集群中，最少要運(yùn)行3個(gè)JN守護(hù)進(jìn)程，這將使得系統(tǒng)有一定的容錯(cuò)能力。當(dāng)然，你也可以運(yùn)行3 個(gè)以上的JN，但是為了增加系統(tǒng)的容錯(cuò)能力，你應(yīng)該運(yùn)行奇數(shù)個(gè)JN（3、5、7等），當(dāng)運(yùn)行N個(gè)JN，系統(tǒng)將最多容忍(N-1)/2個(gè)JN崩潰。
在HA集群中，Standby NN也執(zhí)行namespace狀態(tài)的checkpoints，所以不必要運(yùn)行Secondary NN、CheckpointNode和BackupNode；事實(shí)上，運(yùn)行這些守護(hù)進(jìn)程是錯(cuò)誤的。

上述就是小編為大家分享的Hadoop2.2.0中的高可用性實(shí)現(xiàn)原理是什么了，如果剛好有類似的疑惑，不妨參照上述分析進(jìn)行理解。如果想知道更多相關(guān)知識(shí)，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。