1.1、數(shù)據(jù)塊(block)

創(chuàng)新互聯(lián)公司專(zhuān)注于紅塔網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗(yàn)。 熱誠(chéng)為您提供紅塔營(yíng)銷(xiāo)型網(wǎng)站建設(shè)，紅塔網(wǎng)站制作、紅塔網(wǎng)頁(yè)設(shè)計(jì)、紅塔網(wǎng)站官網(wǎng)定制、成都小程序開(kāi)發(fā)服務(wù)，打造紅塔網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供紅塔網(wǎng)站排名全網(wǎng)營(yíng)銷(xiāo)落地服務(wù)。

1.1.1.HDFS(Hadoop Distributed File System)默認(rèn)的最基本的存儲(chǔ)單位是64M的數(shù)據(jù)塊。
HDFS上的文件被劃分為塊大小的多個(gè)分塊，作為獨(dú)立的存儲(chǔ)單元，稱(chēng)為數(shù)據(jù)塊

1.1.3.不同于普通文件系統(tǒng)的是，HDFS中，如果一個(gè)文件小于一個(gè)數(shù)據(jù)塊的大小，并不占用整個(gè)數(shù)據(jù)塊存儲(chǔ)空間。

每個(gè)磁盤(pán)都有默認(rèn)的數(shù)據(jù)塊大小，這是磁盤(pán)進(jìn)行數(shù)據(jù)讀/寫(xiě)的最小單位。構(gòu)建于單個(gè)磁盤(pán)之上的文件系統(tǒng)通過(guò)磁盤(pán)塊來(lái)管理該文件系統(tǒng)中的塊，該文件系統(tǒng)塊的大小可以是磁盤(pán)塊的整數(shù)倍。文件系統(tǒng)塊一般為幾千字節(jié)，而磁盤(pán)塊一般為512字節(jié)。這些信息（文件系統(tǒng)塊大?。?duì)于需要讀/寫(xiě)文件的文件系統(tǒng)用戶(hù)來(lái)說(shuō)是透明的。盡管如此，系統(tǒng)仍然提供了一些工具（如df和fsck）來(lái)維護(hù)文件系統(tǒng)，由它們對(duì)文件系統(tǒng)中的塊進(jìn)行操作。

   首先解釋一下什么是“磁盤(pán)塊”。要明確以下：

1、我們知道操作系統(tǒng)與磁盤(pán)之間**交流的最小單位**就是磁盤(pán)塊，它是一個(gè)虛擬的概念。是對(duì)于操作系統(tǒng)（軟件）來(lái)說(shuō)有意義的概念。

2、磁盤(pán)進(jìn)行讀寫(xiě)的最小單位是扇區(qū)，而扇區(qū)是真實(shí)存在的。是硬件部分，是一塊真實(shí)存在的物理區(qū)域。

由于我們經(jīng)常接觸的是軟件部分，而不是硬件部分，所以提的多的是磁盤(pán)塊。而不是扇區(qū)。

3、磁盤(pán)塊的大?。簤K=扇區(qū)×2^n。因?yàn)榇疟P(pán)進(jìn)行讀寫(xiě)的基本單位是扇區(qū)，而操作系統(tǒng)與磁盤(pán)之間是塊，所以系統(tǒng)想進(jìn)行讀寫(xiě)，最節(jié)省的方式就是扇區(qū)的整數(shù)倍。

HDFS的三個(gè)節(jié)點(diǎn)：Namenode，Datanode，Secondary Namenode

Namenode：HDFS的守護(hù)進(jìn)程，用來(lái)管理文件系統(tǒng)的命名空間，負(fù)責(zé)記錄文件是如何分割成數(shù)據(jù)塊，以及這些數(shù)據(jù)塊分別被存儲(chǔ)到那些數(shù)據(jù)節(jié)點(diǎn)上，它的主要功能是對(duì)內(nèi)存及IO進(jìn)行集中管理。

Datanode：文件系統(tǒng)的工作節(jié)點(diǎn)，根據(jù)需要存儲(chǔ)和檢索數(shù)據(jù)塊，并且定期向namenode發(fā)送他們所存儲(chǔ)的塊的列表。

Secondary Namenode：輔助后臺(tái)程序，與NameNode進(jìn)行通信，以便定期保存HDFS元數(shù)據(jù)的快照。

HDFS Federation（聯(lián)邦HDFS）：

通過(guò)添加namenode實(shí)現(xiàn)擴(kuò)展，其中每個(gè)namenode管理文件系統(tǒng)命名空間中的一部分。每個(gè)namenode維護(hù)一個(gè)命名空間卷，包括命名空間的源數(shù)據(jù)和該命名空間下的文件的所有數(shù)據(jù)塊的數(shù)據(jù)塊池。

HDFS的高可用性（High-Availability）

Hadoop的2.x發(fā)行版本在HDFS中增加了對(duì)高可用性（HA）的支持。在這一實(shí)現(xiàn)中，配置了一對(duì)活動(dòng)-備用（active-standby）namenode。當(dāng)活動(dòng)namenode失效，備用namenode就會(huì)接管它的任務(wù)并開(kāi)始服務(wù)于來(lái)自客戶(hù)端的請(qǐng)求，不會(huì)有明顯的中斷。

架構(gòu)的實(shí)現(xiàn)包括：

namenode之間通過(guò)高可用的共享存儲(chǔ)實(shí)現(xiàn)編輯日志的共享。
datanode同時(shí)向兩個(gè)namenode發(fā)送數(shù)據(jù)塊處理報(bào)告。
客戶(hù)端使用特定的機(jī)制來(lái)處理namenode的失效問(wèn)題，這一機(jī)制對(duì)用戶(hù)是透明的。
故障轉(zhuǎn)移控制器：管理著將活動(dòng)namenode轉(zhuǎn)移給備用namenode的轉(zhuǎn)換過(guò)程，基于ZooKeeper并由此確保有且僅有一個(gè)活動(dòng)namenode。每一個(gè)namenode運(yùn)行著一個(gè)輕量級(jí)的故障轉(zhuǎn)移控制器，其工作就是監(jiān)視宿主namenode是否失效并在namenode失效時(shí)進(jìn)行故障切換。

3、命令行接口

兩個(gè)屬性項(xiàng)： fs.default.name 用來(lái)設(shè)置Hadoop的默認(rèn)文件系統(tǒng)，設(shè)置hdfs URL則是配置HDFS為Hadoop的默認(rèn)文件系統(tǒng)。dfs.replication 設(shè)置文件系統(tǒng)塊的副本個(gè)數(shù)

4、Hadoop文件系統(tǒng)

Hadoop有一個(gè)抽象的文件系統(tǒng)概念，HDFS只是其中的一個(gè)實(shí)現(xiàn)。Java抽象接口org.apache.hadoop.fs.FileSystem定義了Hadoop中的一個(gè)文件系統(tǒng)接口。該抽象類(lèi)實(shí)現(xiàn)HDFS的具體實(shí)現(xiàn)是 hdfs.DistributedFileSystem

https://www.cnblogs.com/caiyisen/p/7395843.html

HDFS和linux文件系統(tǒng)的關(guān)系：

每個(gè)磁盤(pán)都有默認(rèn)的數(shù)據(jù)塊大小，這是磁盤(pán)進(jìn)行數(shù)據(jù)讀/寫(xiě)的最小單位。而構(gòu)建于單個(gè)磁盤(pán)之上的文件系統(tǒng)(linux文件系統(tǒng))通過(guò)磁盤(pán)塊來(lái)管理該文件系統(tǒng)中的塊，該文件系統(tǒng)中的文件大小是磁盤(pán)塊的整數(shù)倍。

HDFS同樣也有塊的概念,HDFS文件系統(tǒng)中的塊指的是linux文件，分布式文件就是有多個(gè)linux文件（塊）組成。其最小塊單位就是一個(gè)Linux文件的大小，默認(rèn)為64MB

可見(jiàn)hdfs文件系統(tǒng)不是直接管理磁盤(pán)