原文在此

創(chuàng)新互聯(lián)公司堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站制作、成都網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時(shí)代的應(yīng)縣網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html

hadoop 兩大組件 mapreduce和hdfs

用HDFS的目標(biāo)

避免硬件故障

硬件故障是常態(tài)，而不是例外。一個(gè)HDFS實(shí)例可能包括數(shù)百或數(shù)千個(gè)服務(wù)器，存儲(chǔ)文件系統(tǒng)的部分?jǐn)?shù)據(jù)。事實(shí)上，有大量的組件，每個(gè)組件都有一個(gè)非平凡的失效概率意味著HDFS的一些組件總是非功能。因此，故障的快速檢測，從自動(dòng)的恢復(fù)是HDFS的一個(gè)核心構(gòu)架目標(biāo)。

流式數(shù)據(jù)訪問

應(yīng)用程序運(yùn)行在HDFS需要流媒體訪問他們的數(shù)據(jù)集。它們不是一般用途的文件系統(tǒng)上運(yùn)行的通用應(yīng)用程序。HDFS被設(shè)計(jì)為批處理，而不是由用戶交互使用。重點(diǎn)是高吞吐量的數(shù)據(jù)訪問，而不是低延遲的數(shù)據(jù)訪問。POSIX的一些要求是不是有針對(duì)性的HDFS的應(yīng)用所需要的。在幾個(gè)關(guān)鍵的領(lǐng)域POSIX語義被交易來增加數(shù)據(jù)吞吐量。

大數(shù)據(jù)集

HDFS上運(yùn)行的應(yīng)用程序有大量的數(shù)據(jù)集。HDFS中典型的文件大小百萬兆字節(jié)字節(jié)。因此，HDFS被調(diào)諧到支持大文件。它應(yīng)該為單個(gè)集群中的數(shù)百個(gè)節(jié)點(diǎn)提供高聚合數(shù)據(jù)帶寬和規(guī)模。它應(yīng)該在一個(gè)實(shí)例中支持?jǐn)?shù)以千萬計(jì)的文件。

一致性模型

HDFS的應(yīng)用需要寫一次讀文件的許多訪問模型。創(chuàng)建、寫入和關(guān)閉的文件不需要更改。這種假設(shè)簡化了數(shù)據(jù)一致性問題，并允許高吞吐量數(shù)據(jù)訪問。MapReduce應(yīng)用程序或Web爬蟲應(yīng)用程序非常適合這個(gè)模型。有一個(gè)計(jì)劃支持在將來追加對(duì)文件的寫操作。

移動(dòng)計(jì)算比移動(dòng)數(shù)據(jù)便宜

應(yīng)用程序請(qǐng)求的計(jì)算如果在其所運(yùn)行的數(shù)據(jù)附近執(zhí)行，則效率要高得多。當(dāng)數(shù)據(jù)集的大小是巨大的時(shí)，情況尤其如此。這減少了網(wǎng)絡(luò)擁塞，提高了系統(tǒng)的總體吞吐量。假設(shè)是，將計(jì)算遷移到數(shù)據(jù)位置的位置通常更好，而不是將數(shù)據(jù)移動(dòng)到應(yīng)用程序運(yùn)行的地方。HDFS提供的接口的應(yīng)用將更接近數(shù)據(jù)所在。

跨異構(gòu)硬件和軟件平臺(tái)的可移植性

HDFS被設(shè)計(jì)為可以很容易從一個(gè)平臺(tái)移植到另一個(gè)。這有利于廣泛采用HDFS作為一個(gè)大的應(yīng)用平臺(tái)的選擇。

節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)

HDFS有主從式架構(gòu)。一個(gè)HDFS集群由一個(gè)單一的節(jié)點(diǎn)，一個(gè)主服務(wù)器，管理文件系統(tǒng)的命名空間和調(diào)節(jié)客戶訪問文件。此外，有多個(gè)數(shù)據(jù)節(jié)點(diǎn)，通常每一個(gè)節(jié)點(diǎn)的集群，其中管理連接到節(jié)點(diǎn)，它們運(yùn)行在存儲(chǔ)。HDFS文件系統(tǒng)命名空間暴露并允許用戶將數(shù)據(jù)存儲(chǔ)在文件中。在內(nèi)部，一個(gè)文件被分成一個(gè)或多個(gè)數(shù)據(jù)塊，這些塊存儲(chǔ)在一組數(shù)據(jù)節(jié)點(diǎn)。Namenode執(zhí)行文件系統(tǒng)的命名空間操作如打開，關(guān)閉，和重命名文件和目錄。這也決定了數(shù)據(jù)塊到數(shù)據(jù)節(jié)點(diǎn)的映射。數(shù)據(jù)節(jié)點(diǎn)負(fù)責(zé)為讀寫文件系統(tǒng)的客戶端的請(qǐng)求。數(shù)據(jù)節(jié)點(diǎn)執(zhí)行創(chuàng)建，刪除，并從NameNode在指令復(fù)制。

原理圖

復(fù)制原理

HDFS的設(shè)計(jì)可靠地存儲(chǔ)非常大的文件在機(jī)器在一大簇。它將每個(gè)文件存儲(chǔ)成一組塊；除了最后一個(gè)塊之外，文件中的所有塊都是相同的大小。文件的塊被復(fù)制用于容錯(cuò)。塊大小和復(fù)制因子可配置為每個(gè)文件。應(yīng)用程序可以指定文件副本的個(gè)數(shù)。復(fù)制因子可以在文件創(chuàng)建時(shí)指定，以后可以更改。文件在HDFS寫一次，隨時(shí)都有嚴(yán)格的作家。

對(duì)于復(fù)制塊的所有決定。它定期收到的心跳，從集群中的每個(gè)數(shù)據(jù)節(jié)點(diǎn)blockreport。一個(gè)心跳的收據(jù)表明DataNode運(yùn)行正常。一個(gè)blockreport列出所有在DataNode塊。

翻譯文，請(qǐng)笑納。。。。

FS Shell 文件操作

Action

Command

Create a directory named /foodir

bin/hadoop dfs -mkdir /foodir

Remove a directory named /foodir

bin/hadoop dfs -rmr /foodir

View the contents of a file named /foodir/myfile.txt

bin/hadoop dfs -cat /foodir/myfile.txt

FS shell is targeted for applications that need a scripting language to interact with the stored data.

DFSAdmin

The DFSAdmin command set is used for administering an HDFS cluster. These are commands that are used only by an HDFS administrator. Here are some sample action/command pairs:

Action

Command

Put the cluster in Safemode

bin/hadoop dfsadmin -safemode enter

Generate a list of DataNodes

bin/hadoop dfsadmin -report

Recommission or decommission DataNode(s)

bin/hadoop dfsadmin -refreshNodes

api的鏈接如下，可以用c或者java

http://hadoop.apache.org/docs/current/api/