創(chuàng)新互聯(lián)公司堅持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：做網(wǎng)站、網(wǎng)站制作、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的阿拉山口網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

dfs.ha.automatic-failover.enabled

true

配置是否啟動故障恢復(fù)，配置此項為true的時候，core-site.xml需要配置ha.zookeeper.quorum

dfs.nameservices

ns1

提供服務(wù)的NS邏輯名稱，與core-site.xml里的對應(yīng)；Comma-separated list of nameservices

dfs.ha.namenodes.ns1

nn1,nn2

列出該邏輯名稱下的NameNode邏輯名稱， dfs.ha.namenodes.EXAMPLENAMESERVICE配置項EXAMPLENAMESERVICE位dfs.nameservices的值

dfs.namenode.rpc-address.ns1.nn1

nn1.ol:9000

指定NameNode的RPC位置；處理所有客戶端請求的RPC地址，

dfs.namenode.http-address.ns1.nn2

nn2.ol:50070

namenode web ui端口 ，例如： http://nn1.ol:50070/  

dfs.namenode.shared.edits.dir

qjournal://nn1.ol:8485;nn2.ol:8485;s1.ol:8485/ns1

指定用于HA存放edits的共享存儲，通常是NFS掛載點；active namenode向配置的文件夾中寫，standby namenode從這個文件夾下讀，從而保證namespaces同步；在非HA集群中此項配置為空

dfs.journalnode.edits.dir

/hadoop/1/jn/

作用暫時不知道

dfs.ha.fencing.methods

sshfence

core-site.xml中配置項；指定HA做隔離的方法，缺省是ssh，可設(shè)為shell，稍后詳述；

sshfence 通過 ssh 登錄到前一個 ActiveNameNosde 并將其殺死。為了讓該機(jī)制成功執(zhí)行，

需配置免密碼 ssh 登陸，通過參數(shù) dfs.ha.fencing.ssh.private-key-files 指定一個私鑰文件

dfs.ha.fencing.ssh.private-key-files

/home/hadoop/.ssh/id_rsa

The SSH private key files to use with the builtin sshfence fencer.

dfs.namenode.name.dir

file:///hadoop/1/dfs/nn

本地文件系統(tǒng)DFSnamenode存放name table(fsp_w_picpath文件)的目錄，參數(shù)值如果是逗號分隔的多個目錄，the name table復(fù)制到多個目錄，冗余

其中fsp_w_picpath鏡像文件包含了整個HDFS文件系統(tǒng)的所有目錄和文件的indoe信息。對于文件來說包括了數(shù)據(jù)塊描述信息、修改時間、訪問時間等；對于目錄來說包括修改時間、訪問權(quán)限控制信息(目錄所屬用戶，所在組等)等。

另外，edit文件主要是在NameNode已經(jīng)啟動情況下對HDFS進(jìn)行的各種更新操作進(jìn)行記錄，HDFS客戶端執(zhí)行所有的寫操作都會被記錄到edit文件中。

dfs.datanode.data.dir

file:///hadoop/1/dfs/dn,file:///hadoop/2/dfs/dn

DFS data node存放塊文件的本地文件系統(tǒng)目錄，一個文件按塊大小切分后，按順序存放在配置多個目錄下（目錄不存在則忽略）；

這么做的目的是，可以將數(shù)據(jù)寫多塊硬盤，把這些位置分散在每個節(jié)點上的所有磁盤上可以實現(xiàn)磁盤 I/O 平衡，因此會顯著改進(jìn)磁盤 I/O 性能。

測試環(huán)境配置：

測試環(huán)境datanode的磁盤：

dfs.blocksize

268435456

HDFS文件系統(tǒng)塊大小；可以配置以m,g等后綴結(jié)尾的值  256m

dfs.support.append

true

HDFS允許向文件追加內(nèi)容；如果這個參數(shù)設(shè)置為false，例如Flume這樣的工具持續(xù)向HDFS中的一個文件寫數(shù)據(jù)就會出問題（我猜的。沒驗證）

fs.trash.interval

10080單位：minute

.Trash目錄下文件多久后被刪除，10080/1440=7，參數(shù)設(shè)置為0，文件直接刪除不移動到.Trash中

dfs.datanode.failed.volumes.tolerated

1

允許磁盤損壞的數(shù)目，超過配置值，datanode shutdown

dfs.datanode.balance.bandwidthPerSec

104857600

balancing purpose，允許沒秒的帶寬；為了防止balance過程搶占網(wǎng)絡(luò)資源，不為Mapreduce作業(yè)或者數(shù)據(jù)輸入預(yù)留資源

dfs.namenode.handler.count

46

dfs.datanode.max.xcievers

8192

相當(dāng)于linux下的打開文件大數(shù)量，文檔中無此參數(shù)，當(dāng)出現(xiàn)DataXceiver報錯的時候，需要調(diào)大。默認(rèn)256;

此項配置已過時，用dfs.datanode.max.transfer.threads代替，源代碼見DFSConfigKeys.java

dfs.datanode.max.transfer.threads

8192

相當(dāng)于linux下的打開文件大數(shù)量，文檔中無此參數(shù)，當(dāng)出現(xiàn)DataXceiver報錯的時候，需要調(diào)大。默認(rèn)256

dfs.datanode.socket.write.timeout

100000000

IO超時,超時上限值以毫秒為單位。0表示無限制;java.net.SocketTimeoutException: 480000（配置參數(shù)的值） millis timeout while waiting for channel to be ready for write

dfs.client.socket-timeout

100000000

IO超時,超時上限值以毫秒為單位。0表示無限制;java.net.SocketTimeoutException: 480000（配置參數(shù)的值） millis timeout while waiting for channel to be ready for write

dfs.datanode.du.reserved

21474836480

每個存儲卷保留用作其他用途( non dfs use）的磁盤大小,20G；單位 bytes per volume

dfs.datanode.fsdataset.volume.choosing.policy

org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy

數(shù)據(jù)副本存放磁盤選擇策略，

第一種是沿用hadoop1.0的磁盤目錄輪詢方式，實現(xiàn)類：RoundRobinVolumeChoosingPolicy.java（如果不配置，默認(rèn)）

第二種是選擇可用空間足夠多的磁盤方式存儲，實現(xiàn)類：AvailableSpaceVolumeChoosingPolicy.java

dfs.datanode.available-space-volume-choosing-policy.balanced-space-threshold

2147483648

允許的卷剩余空間差值，2G

dfs.hosts.exclude

/usr/local/hadoop/etc/hadoop/exclude_hosts

一個列表，列表中的hosts不允許連接namenode

dfs.client.read.shortcircuit

true

打開本地讀功能

dfs.domain.socket.path

/hadoop/1/dfs/dn_socket_PORT

dfs.domain.socket.path是Datanode和DFSClient之間溝通的Socket的本地路徑

套接口文件

dfs.permissions.enabled

true

HDFS權(quán)限認(rèn)證，是否打開

dfs.permissions.superusergroup

hadoop

超級用戶，format namenode的用戶

fs.permissions.umask-mode

022

core-site.xml的配置文件，注意umask對文件，文件夾影響不同

dfs.namenode.acls.enabled

true

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

當(dāng)前標(biāo)題：【總結(jié)】Hadoop配置文件hdfs-site.xml-創(chuàng)新互聯(lián)
標(biāo)題來源：http://weahome.cn/article/ddghoo.html