本篇文章為大家展示了hdfs工作原理是什么，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價值的長期合作伙伴，公司提供的服務(wù)項目有：域名注冊、網(wǎng)站空間、營銷軟件、網(wǎng)站建設(shè)、余杭網(wǎng)站維護、網(wǎng)站推廣。

一,當(dāng)用client向hdfs中寫入數(shù)據(jù)的時候.

           當(dāng)我們向hdfs 寫數(shù)據(jù)的時候,客戶端要做兩件事.首先,將數(shù)據(jù)文件劃分不同的數(shù)據(jù)塊,劃分的標(biāo)準(zhǔn)默認(rèn)是64MB或128MB,這個是可以配置的.其次是向namenode請求一批(實際上就是默認(rèn)的3個)datanode以存放數(shù)據(jù)塊.當(dāng)然namenode不是隨便的選出三個datanode給client,它會選擇三個最靠近client的三個datanode,那么這個距離是怎么計算的呢,是這樣的,它會去計算兩個節(jié)點與父節(jié)點帶寬之和來計算兩個節(jié)點的距離,在得到三個最近的datanode之后,namenode會先按與client的距離對datanode排下序,然后返回給客戶端.

           下面client要做的就是向namenode返回的3個datanode中傳輸數(shù)據(jù)了.當(dāng)它在寫第一個數(shù)據(jù)塊時,它會先向離它最近的那個datanode寫數(shù)據(jù).那么client如何知道它向第一個datanode寫入數(shù)據(jù)是否成功了呢?是這樣的,client在向datanode傳數(shù)據(jù)的同時,會計算下數(shù)據(jù)快的校驗和,這個校驗和也會傳給datanode,datanode 在存儲完數(shù)據(jù)后,會對數(shù)據(jù)塊取下校驗和與client的校驗和進行比對,如果一致的話說明數(shù)據(jù)保存成功,然后它會向client進行ack,告訴client數(shù)據(jù)已經(jīng)成功保存了,同時它也會告訴namenode數(shù)據(jù)塊保存成功了.剩下的數(shù)據(jù)塊保存到下兩個datanode的過程和第一個過程是相似的,只是數(shù)據(jù)的傳輸不是都是client去傳遞的,而是datanode之間進行傳遞的,每個datanode成功保存完數(shù)據(jù)后都會向client進行ack并通知namenode保存數(shù)據(jù)完畢.當(dāng)client接受到所有的datanode的ack后,client會告訴namenode數(shù)據(jù)塊全部寫入完畢.當(dāng)namenode接受到client的消息后,namenode要做的就是維護兩張表,一張表是每個數(shù)據(jù)塊對應(yīng)的datanode地址,另一張表是存儲數(shù)據(jù)副本的時候經(jīng)過了那些管線.

      二,當(dāng)從hdfs中讀數(shù)據(jù)的時候.

             當(dāng)client要從hdfs中讀取數(shù)據(jù)的時候,首先客戶端要知道數(shù)據(jù)存儲在哪吧,怎么才能知道啊,誰知道啊?當(dāng)然是namenode啊,namenode存儲了所有的數(shù)據(jù)塊元數(shù)據(jù)信息.client會給namenode請求數(shù)據(jù)的文件地址,namenode會返回給client關(guān)于數(shù)據(jù)塊的相關(guān)信息即數(shù)據(jù)塊存放在哪些datanode上了，每個datanode存放了哪些數(shù)據(jù)塊,當(dāng)然這些datanode也是按照與client距離排過序的.當(dāng)client拿到這些信息后,它會先到離它最近的那個datanode上下載數(shù)據(jù).

         三,故障的規(guī)避.

              因為是分布式文件系統(tǒng),網(wǎng)路中什么事情都有可能發(fā)生,如datanode掛掉,datanode不能返回客戶端想要的數(shù)據(jù),datanode在保存數(shù)據(jù)的時候數(shù)據(jù)損毀,或者最嚴(yán)重的namenode掛掉.

              下面看看這個四個問題,hadoop是如何規(guī)避的呢。

              首先是datanode掛掉,當(dāng)hdfs啟動后每個datanode節(jié)點會定期上報自己的健康狀況,每個datanode會每三秒向namenode發(fā)送心跳,證明自己還或者,假如namenode是秒鐘沒有收到datanode發(fā)送的心跳,namenode會認(rèn)為這個datanode已經(jīng)掛掉了.

              下一個問題datanode不能返回客戶端想要的數(shù)據(jù),當(dāng)客戶端datanode請求數(shù)據(jù)或?qū)懭霐?shù)據(jù)的時候,datanode無相應(yīng)怎么辦呢,當(dāng)客戶端長時間沒有接收到datanode的ack后,client也為認(rèn)為這個datanode已經(jīng)掛掉了,于是會跳過這個datanode,請求下個datanode.    

              第三個問題,datanode保存的數(shù)據(jù)發(fā)生損壞,這個該怎么辦呢,datanode會定期上報自己所存的數(shù)據(jù)快健康狀況,健康狀況是通過校驗和來判斷的,當(dāng)nomenode收到datanode發(fā)送的數(shù)據(jù)塊健康狀況的報告后它就知道那些數(shù)據(jù)塊損毀,然后它就會去更新它維護的兩張表,即數(shù)據(jù)塊在哪些datanode上存著,每個datanode上存放了哪些數(shù)據(jù)塊,如果namenode發(fā)現(xiàn)哪個數(shù)據(jù)塊的副本沒有達到標(biāo)準(zhǔn),它會通知其它的datanode從已有數(shù)據(jù)塊的datanode上copy相應(yīng)的數(shù)據(jù)塊.

              第四個問題,namenode掛掉,這個問題是最嚴(yán)重的,目前的最好的解決辦法就是加一個輔助namenode即secondNamenode,以備分?jǐn)?shù)據(jù)塊的元數(shù)據(jù)信息,盡可能的避免數(shù)據(jù)丟失.

上述內(nèi)容就是hdfs工作原理是什么，你們學(xué)到知識或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識儲備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。