fs.defaultFS hdfs://ns1 缺省文件服務(wù)的協(xié)議和NS邏輯名稱,和hdfs-site里的對(duì)應(yīng)此配置替代了1.0里的 fs.default.name,ns1 與 hdfs-site.xml中的dfs.nameservices配置項(xiàng)對(duì)應(yīng) hadoop.tmp.dir /hadoop/1/tmp/hadoop-${user.name}${hue.suffix} A base for other temporary directories.存放一些解壓jar包后的class文件,類似 hadoop-unjar3569575687995621667,hdfs-site.xml配置文件中 dfs.namenode.name.dir;dfs.datanode.data.dir;dfs.namenode.checkpoint.dir等 配置項(xiàng)會(huì)用到該配置項(xiàng)內(nèi)容 io.compression.codecs org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, com.hadoop.compression.lzo.LzopCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.SnappyCodec, org.apache.hadoop.io.compress.Lz4Codec 提供壓縮/解壓的java工具 io.file.buffer.size 131072 128MSequenceFiles在讀寫中可以使用的緩存大小,在x86系統(tǒng)上一般配置4096倍數(shù);決定了在讀寫過程當(dāng)中,有多大的緩存 ha.zookeeper.quorum nn1.cc.bi:2181,nn2.cc.bi:2181,s1.cc.bi:2181 A list of ZooKeeper server addresses, separated by commas, that are to be used by the ZKFailoverController in automatic failover ipc.client.connection.maxidletime 60000 超出客戶端與服務(wù)器連接的最大空閑期maxidletime,斷開服務(wù)器與客戶端的連接 io.seqfile.compression.type BLOCK Hadoop SequenceFile 是一個(gè)由二進(jìn)制形式key/value的字節(jié)流組成的存儲(chǔ)文件,SequenceFile可壓縮可切分,非常適合hadoop文件存儲(chǔ)特 性,SequenceFile的寫入由SequenceFile.Writer來實(shí)現(xiàn), 根據(jù)壓縮類型SequenceFile.Writer又派生出兩個(gè)子類SequenceFile.BlockCompressWriter和 SequenceFile.RecordCompressWriter, 壓縮方式由SequenceFile類的內(nèi)部枚舉類CompressionType來表示,定義了三種方式[NONE|RECORD|BLOCK], CompressionType.NONE 時(shí) 記錄信息不壓縮 CompressionType.RECORD 時(shí) 記錄信息壓縮(單條記錄壓縮) CompressionType.BLOCK 一個(gè)block內(nèi)會(huì)有多條記錄組成,壓縮是作用在block之上的,比RECODE方式能獲得更好的壓縮比 topology.script.file.name /usr/local/hadoop/etc/hadoop/topology.sh 機(jī)架識(shí)別腳本
創(chuàng)新互聯(lián)建站是專業(yè)的化德網(wǎng)站建設(shè)公司,化德接單;提供網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì),網(wǎng)頁設(shè)計(jì),網(wǎng)站設(shè)計(jì),建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行化德網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊(duì),希望更多企業(yè)前來合作!