core-site.xml是全局配置;
hdfs-site.xml和mapred-site.xml分別是hdfs和mapred的局部配置;
HDFS端口
參數(shù) | 描述 | 默認(rèn) | 配置文件 | 例子值 |
fs.default.name | namenode RPC交互端口 | 8020 | core-site.xml | hdfs://master:8020/ |
dfs.http.address | NameNode web管理端口 | 50070 | hdfs-site.xml | 0.0.0.0:50070 |
dfs.datanode.address | datanode 控制端口 | 50010 | hdfs-site.xml | 0.0.0.0:50010 |
dfs.datanode.ipc.address | datanode的RPC服務(wù)器地址和端口 | 50020 | hdfs-site.xml | 0.0.0.0:50020 |
dfs.datanode.http.address | datanode的HTTP服務(wù)器和端口 | 50075 | hdfs-site.xml | 0.0.0.0:50075 |
MR端口
參數(shù) | 描述 | 默認(rèn) | 配置文件 | 例子值 |
mapred.job.tracker | job tracker交互端口 | 8021 | mapred-site.xml | hdfs://master:8021/ |
mapred.job.tracker.http.address | job tracker的web管理端口 | 50030 | mapred-site.xml | 0.0.0.0:50030 |
mapred.task.tracker.http.address | task tracker的HTTP端口 | 50060 | mapred-site.xml | 0.0.0.0:50060 |
其他端口
參數(shù) | 描述 | 默認(rèn) | 配置文件 | 例子值 |
dfs.secondary.http.address | secondary NameNode web管理端口 | 50090 | hdfs-site.xml | 0.0.0.0:28680 |
參數(shù) | 描述 | 默認(rèn) | 配置文件 | 例子值 |
dfs.name.dir | name node的元數(shù)據(jù),以,號(hào)隔開(kāi),hdfs會(huì)把元數(shù)據(jù)冗余復(fù)制到這些目錄,一般這些目錄是不同的塊設(shè)備,不存在的目錄會(huì)被忽略掉 | {hadoop.tmp.dir} /dfs/name | hdfs-site.xm | /hadoop/hdfs/name |
dfs.name.edits.dir | node node的事務(wù)文件存儲(chǔ)的目錄,以,號(hào)隔開(kāi),hdfs會(huì)把事務(wù)文件冗余復(fù)制到這些目錄,一般這些目錄是不同的塊設(shè)備,不存在的目錄會(huì)被忽略掉 | ${dfs.name.dir} | hdfs-site.xm | ${dfs.name.dir} |
fs.checkpoint.dir | secondary NameNode的元數(shù)據(jù)以,號(hào)隔開(kāi),hdfs會(huì)把元數(shù)據(jù)冗余復(fù)制到這些目錄,一般這些目錄是不同的塊設(shè)備,不存在的目錄會(huì)被忽略掉 | ${hadoop.tmp.dir} /dfs/namesecondary | core-site.xml | /hadoop/hdfs/namesecondary |
fs.checkpoint.edits.dir | secondary NameNode的事務(wù)文件存儲(chǔ)的目錄,以,號(hào)隔開(kāi),hdfs會(huì)把事務(wù)文件冗余復(fù)制到這些目錄 | ${fs.checkpoint.dir} | core-site.xml | ${fs.checkpoint.dir} |
hadoop.tmp.dir | 臨時(shí)目錄,其他臨時(shí)目錄的父目錄 | /tmp/hadoop-${user.name} | core-site.xml | /hadoop/tmp/hadoop-${user.name} |
dfs.data.dir | data node的數(shù)據(jù)目錄,以,號(hào)隔開(kāi),hdfs會(huì)把數(shù)據(jù)存在這些目錄下,一般這些目錄是不同的塊設(shè)備,不存在的目錄會(huì)被忽略掉 | ${hadoop.tmp.dir} /dfs/data | hdfs-site.xm | /hadoop/hdfs/data1/data, /hadoop/hdfs/data2/data |
mapred.local.dir | MapReduce產(chǎn)生的中間數(shù)據(jù)存放目錄,以,號(hào)隔開(kāi),hdfs會(huì)把數(shù)據(jù)存在這些目錄下,一般這些目錄是不同的塊設(shè)備,不存在的目錄會(huì)被忽略掉 | ${hadoop.tmp.dir} /mapred/local | mapred-site.xml | /hadoop/hdfs/data1/mapred/local, /hadoop/hdfs/data2/mapred/local |
mapred.system.dir | MapReduce的控制文件 | ${hadoop.tmp.dir} /mapred/system | mapred-site.xml | /hadoop/hdfs/data1/system |
參數(shù) | 描述 | 默認(rèn) | 配置文件 | 例子值 |
dfs.support.append | 支持文件append,主要是支持hbase | false | hdfs-site.xml | true |
dfs.replication | 文件復(fù)制的副本數(shù),如果創(chuàng)建時(shí)不指定這個(gè)參數(shù),就使用這個(gè)默認(rèn)值作為復(fù)制的副本數(shù) | 3 | hdfs-site.xml | 2 |
分類: hadoop
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無(wú)理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。