HDFS入門基礎(chǔ)有哪些？針對這個問題，這篇文章詳細(xì)介紹了相對應(yīng)的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

創(chuàng)新互聯(lián)公司長期為近千家客戶提供的網(wǎng)站建設(shè)服務(wù)，團隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為利川企業(yè)提供專業(yè)的成都網(wǎng)站設(shè)計、成都網(wǎng)站建設(shè)，利川網(wǎng)站改版等技術(shù)服務(wù)。擁有十年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。

1、HDFS設(shè)計目標(biāo)

（1）硬件故障是常態(tài)，HDFS將有成百上千的服務(wù)器組成，每一個組成部分都有可能出現(xiàn)故障。因此故障的檢測和自動快速恢復(fù)是HDFS的核心架構(gòu)目標(biāo)。

（2）HDFS上的應(yīng)用與一般的應(yīng)用不同，它們主要是以流式讀取數(shù)據(jù)。HDFS被設(shè)計成適合批量處理，而不是用戶交互式的。相較于數(shù)據(jù)訪問的反應(yīng)時間，更注重數(shù)據(jù)訪問的高吞吐量。

（3）典型的HDFS文件大小是GB到TB的級別。所以，HDFS被調(diào)整成支持大文件。它應(yīng)該提供很高的聚合數(shù)據(jù)帶寬，一個集群中支持?jǐn)?shù)百個節(jié)點，一個集群中還應(yīng)該支持千萬級別的文件。

（4）大部分HDFS應(yīng)用對文件要求的是write-one-read-many訪問模型。一個文件一旦創(chuàng)建、寫入、關(guān)閉之后就不需要修改了。這一假設(shè)簡化了數(shù)據(jù)一致性問題，使高吞吐量的數(shù)據(jù)訪問成為可能。

（5）移動計算的代價比之移動數(shù)據(jù)的代價低。一個應(yīng)用請求的計算，離它操作的數(shù)據(jù)越近就越高效，這在數(shù)據(jù)達(dá)到海量級別的時候更是如此。將計算移動到數(shù)據(jù)附近，比之將數(shù)據(jù)移動到應(yīng)用所在顯然更好。

（6）在異構(gòu)的硬件和軟件平臺上的可移植性。這將推動需要大數(shù)據(jù)集的應(yīng)用更廣泛地采用HDFS作為平臺。

2、HDFS的重要特性

HDFS入門基礎(chǔ)學(xué)習(xí)繞不開的一個知識點就是HDFS的重要特性。首先，HDFS是一個文件系統(tǒng)，用于存儲文件，通過統(tǒng)一的命名空間目錄樹來定位文件；其次，HDFS是分布式的，由很多服務(wù)器聯(lián)合起來實現(xiàn)其功能，集群中的服務(wù)器有各自的角色。

（1）master/slave架構(gòu)

HDFS采用master/slave架構(gòu)。一般一個HDFS集群是有一個Namenode和一定數(shù)目的Datanode組成。Namenode是HDFS集群主節(jié)點，Datanode是HDFS集群從節(jié)點，兩種角色各司其職，共同協(xié)調(diào)完成分布式的文件存儲服務(wù)。

（2）分塊存儲

HDFS中的文件在物理上是分塊存儲（block）的，塊的大小可以通過配置參數(shù)來規(guī)定，默認(rèn)大小在 hadoop2.x版本中是 128M。

（3）名字空間

HDFS支持傳統(tǒng)的層次型文件組織結(jié)構(gòu)。用戶或者應(yīng)用程序可以創(chuàng)建目錄， 然后將文件保存在這些目錄里。文件系統(tǒng)名字空間的層次結(jié)構(gòu)和大多數(shù)現(xiàn)有的文件系統(tǒng)類似：用戶可以創(chuàng)建、刪除、移動或重命名文件。Namenode負(fù)責(zé)維護文件系統(tǒng)的名字空間，任何對文件系統(tǒng)名字空間或?qū)傩缘男薷亩紝⒈?Namenode記錄下來。

（4）Namenode元數(shù)據(jù)管理

我們把目錄結(jié)構(gòu)及文件分塊位置信息叫做元數(shù)據(jù)。Namenode負(fù)責(zé)維護整個hdfs文件系統(tǒng)的目錄樹結(jié)構(gòu)，以及每一個文件所對應(yīng)的block塊信息（block的id，及所在的datanode服務(wù)器）。

（5）Datanode數(shù)據(jù)存儲

文件的各個block的具體存儲管理由datanode節(jié)點承擔(dān)。每一個block都可以在多個 datanode上。

（6）副本機制

為了容錯，文件的所有block都會有副本。每個文件的block大小和副本系數(shù)都是可配置的。應(yīng)用程序可以指定某個文件的副本數(shù)目。副本系數(shù)可以在文件創(chuàng)建的時候指定，也可以在之后改變。

（7）一次寫入，多次讀出

HDFS是設(shè)計成適應(yīng)一次寫入，多次讀出的場景，且不支持文件的修改。正因為如此，HDFS適合用來做大數(shù)據(jù)分析的底層存儲服務(wù)，并不適合用來做網(wǎng)盤等應(yīng)用，因為修改不方便，延遲大，網(wǎng)絡(luò)開銷大，成本太高。

關(guān)于HDFS入門基礎(chǔ)有哪些問題的解答就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識。