真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

hbase-site.xml和hbase-default.xml的示例分析

這篇文章給大家介紹hbase-site.xml 和hbase-default.xml的示例分析,內(nèi)容非常詳細,感興趣的小伙伴們可以參考借鑒,希望對大家能有所幫助。

成都創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價比岢嵐網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式岢嵐網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們,業(yè)務覆蓋岢嵐地區(qū)。費用合理售后完善,十多年實體公司更值得信賴。

正如Hadoop放置HDFS的配置文件hdfs-site.xml,Hbase的配置文件是 conf/hbase-site.xml. 你可以在 Section 3.1.1, “HBase 默認配置”找到配置的屬性列表。你也可以看有代碼里面的hbase-default.xml文件,他在src/main/resources目錄下。
不是所有的配置都在 hbase-default.xml出現(xiàn).只要改了代碼,配置就有可能改變,所以唯一了解這些被改過的配置的辦法是讀源代碼本身。

要注意的是,要重啟集群才能是配置生效。

HBase 默認配置
HBase 默認配置
該文檔是用hbase默認配置文件生成的,文件源是 hbase-default.xml(因翻譯需要,被譯者修改成中文注釋).
hbase.rootdir
這個目錄是region server的共享目錄,用來持久化Hbase。URL需要是'完全正確'的,還要包含文件系統(tǒng)的scheme。例如,要表示hdfs中的'/hbase'目錄,namenode 運行在namenode.example.org的9090端口。則需要設(shè)置為hdfs://namenode.example.org:9000/hbase。默認情況下Hbase是寫到/tmp的。不改這個配置,數(shù)據(jù)會在重啟的時候丟失。
默認: file:///tmp/hbase-${user.name}/hbase
hbase.master.port
Hbase的Master的端口.
默認: 60000
hbase.cluster.distributed
Hbase的運行模式。false是單機模式,true是分布式模式。若為false,Hbase和Zookeeper會運行在同一個JVM里面。
默認: false
hbase.tmp.dir
本地文件系統(tǒng)的臨時文件夾??梢孕薷牡揭粋€更為持久的目錄上。(/tmp會在重啟時清楚)
默認: /tmp/hbase-${user.name}
hbase.master.info.port
HBase Master web 界面端口. 設(shè)置為-1 意味著你不想讓他運行。
默認: 60010
hbase.master.info.bindAddress
HBase Master web 界面綁定的端口
默認: 0.0.0.0
hbase.client.write.buffer
HTable客戶端的寫緩沖的默認大小。這個值越大,需要消耗的內(nèi)存越大。因為緩沖在客戶端和服務端都有實例,所以需要消耗客戶端和服務端兩個地方的內(nèi)存。得到的好處是,可以減少RPC的次數(shù)。可以這樣估算服務器端被占用的內(nèi)存: hbase.client.write.buffer * hbase.regionserver.handler.count
默認: 2097152
hbase.regionserver.port
HBase RegionServer綁定的端口
默認: 60020
hbase.regionserver.info.port
HBase RegionServer web 界面綁定的端口 設(shè)置為 -1 意味這你不想與運行 RegionServer 界面.
默認: 60030
hbase.regionserver.info.port.auto
Master或RegionServer是否要動態(tài)搜一個可以用的端口來綁定界面。當hbase.regionserver.info.port已經(jīng)被占用的時候,可以搜一個空閑的端口綁定。這個功能在測試的時候很有用。默認關(guān)閉。
默認: false
hbase.regionserver.info.bindAddress
HBase RegionServer web 界面的IP地址
默認: 0.0.0.0
hbase.regionserver.class
RegionServer 使用的接口??蛻舳舜蜷_代理來連接region server的時候會使用到。
默認: org.apache.hadoop.hbase.ipc.HRegionInterface
hbase.client.pause
通常的客戶端暫停時間。最多的用法是客戶端在重試前的等待時間。比如失敗的get操作和region查詢操作等都很可能用到。
默認: 1000
hbase.client.retries.number
最大重試次數(shù)。例如 region查詢,Get操作,Update操作等等都可能發(fā)生錯誤,需要重試。這是最大重試錯誤的值。
默認: 10
hbase.client.scanner.caching
當調(diào)用Scanner的next方法,而值又不在緩存里的時候,從服務端一次獲取的行數(shù)。越大的值意味著Scanner會快一些,但是會占用更多的內(nèi)存。當緩沖被占滿的時候,next方法調(diào)用會越來越慢。慢到一定程度,可能會導致超時。例如超過了hbase.regionserver.lease.period。
默認: 1
hbase.client.keyvalue.maxsize
一個KeyValue實例的最大size.這個是用來設(shè)置存儲文件中的單個entry的大小上界。因為一個KeyValue是不能分割的,所以可以避免因為數(shù)據(jù)過大導致region不可分割。明智的做法是把它設(shè)為可以被最大region size整除的數(shù)。如果設(shè)置為0或者更小,就會禁用這個檢查。默認10MB。
默認: 10485760
hbase.regionserver.lease.period
客戶端租用HRegion server 期限,即超時閥值。單位是毫秒。默認情況下,客戶端必須在這個時間內(nèi)發(fā)一條信息,否則視為死掉。
默認: 60000
hbase.regionserver.handler.count
RegionServers受理的RPC Server實例數(shù)量。對于Master來說,這個屬性是Master受理的handler數(shù)量
默認: 10
hbase.regionserver.msginterval
RegionServer 發(fā)消息給 Master 時間間隔,單位是毫秒
默認: 3000
hbase.regionserver.optionallogflushinterval
將Hlog同步到HDFS的間隔。如果Hlog沒有積累到一定的數(shù)量,到了時間,也會觸發(fā)同步。默認是1秒,單位毫秒。
默認: 1000
hbase.regionserver.regionSplitLimit
region的數(shù)量到了這個值后就不會在分裂了。這不是一個region數(shù)量的硬性限制。但是起到了一定指導性的作用,到了這個值就該停止分裂了。默認是MAX_INT.就是說不阻止分裂。
默認: 2147483647
hbase.regionserver.logroll.period
提交commit log的間隔,不管有沒有寫足夠的值。
默認: 3600000
hbase.regionserver.hlog.reader.impl
HLog file reader 的實現(xiàn).
默認: org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogReader
hbase.regionserver.hlog.writer.impl
HLog file writer 的實現(xiàn).
默認: org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogWriter
hbase.regionserver.thread.splitcompactcheckfrequency
region server 多久執(zhí)行一次split/compaction 檢查.
默認: 20000
hbase.regionserver.nbreservationblocks
儲備的內(nèi)存block的數(shù)量(譯者注:就像石油儲備一樣)。當發(fā)生out of memory 異常的時候,我們可以用這些內(nèi)存在RegionServer停止之前做清理操作。
默認: 4
hbase.zookeeper.DNS.interface
當使用DNS的時候,Zookeeper用來上報的IP地址的網(wǎng)絡接口名字。
默認: default
hbase.zookeeper.dns.nameserver
當使用DNS的時候,Zookeepr使用的DNS的域名或者IP 地址,Zookeeper用它來確定和master用來進行通訊的域名.
默認: default
hbase.regionserver.dns.interface
當使用DNS的時候,RegionServer用來上報的IP地址的網(wǎng)絡接口名字。
默認: default
hbase.regionserver.dns.nameserver
當使用DNS的時候,RegionServer使用的DNS的域名或者IP 地址,RegionServer用它來確定和master用來進行通訊的域名.
默認: default
hbase.master.dns.interface
當使用DNS的時候,Master用來上報的IP地址的網(wǎng)絡接口名字。
默認: default
hbase.master.dns.nameserver
當使用DNS的時候,RegionServer使用的DNS的域名或者IP 地址,Master用它來確定用來進行通訊的域名.
默認: default
hbase.balancer.period
Master執(zhí)行region balancer的間隔。
默認: 300000
hbase.regions.slop
當任一regionserver有average + (average * slop)個region是會執(zhí)行Rebalance
默認: 0
hbase.master.logcleaner.ttl
Hlog存在于.oldlogdir 文件夾的最長時間, 超過了就會被 Master 的線程清理掉.
默認: 600000
hbase.master.logcleaner.plugins
LogsCleaner服務會執(zhí)行的一組LogCleanerDelegat。值用逗號間隔的文本表示。這些WAL/HLog cleaners會按順序調(diào)用??梢园严日{(diào)用的放在前面。你可以實現(xiàn)自己的LogCleanerDelegat,加到Classpath下,然后在這里寫下類的全稱。一般都是加在默認值的前面。
默認: org.apache.hadoop.hbase.master.TimeToLiveLogCleaner
hbase.regionserver.global.memstore.upperLimit
單個region server的全部memtores的最大值。超過這個值,一個新的update操作會被掛起,強制執(zhí)行flush操作。
默認: 0.4
hbase.regionserver.global.memstore.lowerLimit
當強制執(zhí)行flush操作的時候,當?shù)陀谶@個值的時候,flush會停止。默認是堆大小的 35% . 如果這個值和 hbase.regionserver.global.memstore.upperLimit 相同就意味著當update操作因為內(nèi)存限制被掛起時,會盡量少的執(zhí)行flush(譯者注:一旦執(zhí)行flush,值就會比下限要低,不再執(zhí)行)
默認: 0.35
hbase.server.thread.wakefrequency
service工作的sleep間隔,單位毫秒。 可以作為service線程的sleep間隔,比如log roller.
默認: 10000
hbase.hregion.memstore.flush.size
當memstore的大小超過這個值的時候,會flush到磁盤。這個值被一個線程每隔hbase.server.thread.wakefrequency檢查一下。
默認: 67108864
hbase.hregion.preclose.flush.size
當一個region中的memstore的大小大于這個值的時候,我們又觸發(fā)了close.會先運行“pre-flush”操作,清理這個需要關(guān)閉的memstore,然后將這個region下線。當一個region下線了,我們無法再進行任何寫操作。如果一個memstore很大的時候,flush操作會消耗很多時間。"pre-flush"操作意味著在region下線之前,會先把memstore清空。這樣在最終執(zhí)行close操作的時候,flush操作會很快。
默認: 5242880
hbase.hregion.memstore.block.multiplier
如果memstore有hbase.hregion.memstore.block.multiplier倍數(shù)的hbase.hregion.flush.size的大小,就會阻塞update操作。這是為了預防在update高峰期會導致的失控。如果不設(shè)上界,flush的時候會花很長的時間來合并或者分割,最壞的情況就是引發(fā)out of memory異常。(譯者注:內(nèi)存操作的速度和磁盤不匹配,需要等一等。原文似乎有誤)
默認: 2
hbase.hregion.memstore.mslab.enabled
體驗特性:啟用memStore分配本地緩沖區(qū)。這個特性是為了防止在大量寫負載的時候堆的碎片過多。這可以減少GC操作的頻率。(GC有可能會Stop the world)(譯者注:實現(xiàn)的原理相當于預分配內(nèi)存,而不是每一個值都要從堆里分配)
默認: false
hbase.hregion.max.filesize
最大HStoreFile大小。若某個Column families的HStoreFile增長達到這個值,這個Hegion會被切割成兩個。 Default: 256M.
默認: 268435456
hbase.hstore.compactionThreshold
當一個HStore含有多于這個值的HStoreFiles(每一個memstore flush產(chǎn)生一個HStoreFile)的時候,會執(zhí)行一個合并操作,把這HStoreFiles寫成一個。這個值越大,需要合并的時間就越長。
默認: 3
hbase.hstore.blockingStoreFiles
當一個HStore含有多于這個值的HStoreFiles(每一個memstore flush產(chǎn)生一個HStoreFile)的時候,會執(zhí)行一個合并操作,update會阻塞直到合并完成,直到超過了hbase.hstore.blockingWaitTime的值
默認: 7
hbase.hstore.blockingWaitTime
hbase.hstore.blockingStoreFiles所限制的StoreFile數(shù)量會導致update阻塞,這個時間是來限制阻塞時間的。當超過了這個時間,HRegion會停止阻塞update操作,不過合并還有沒有完成。默認為90s.
默認: 90000
hbase.hstore.compaction.max
每個“小”合并的HStoreFiles最大數(shù)量。
默認: 10
hbase.hregion.majorcompaction
一個Region中的所有HStoreFile的major compactions的時間間隔。默認是1天。 設(shè)置為0就是禁用這個功能。
默認: 86400000
hbase.mapreduce.hfileoutputformat.blocksize
MapReduce中HFileOutputFormat可以寫 storefiles/hfiles. 這個值是hfile的blocksize的最小值。通常在Hbase寫Hfile的時候,bloocksize是由table schema(HColumnDescriptor)決定的,但是在mapreduce寫的時候,我們無法獲取schema中blocksize。這個值越小,你的索引就越大,你隨機訪問需要獲取的數(shù)據(jù)就越小。如果你的cell都很小,而且你需要更快的隨機訪問,可以把這個值調(diào)低。
默認: 65536
hfile.block.cache.size
分配給HFile/StoreFile的block cache占最大堆(-Xmx setting)的比例。默認是20%,設(shè)置為0就是不分配。
默認: 0.2
hbase.hash.type
哈希函數(shù)使用的哈希算法??梢赃x擇兩個值:: murmur (MurmurHash) 和 jenkins (JenkinsHash). 這個哈希是給 bloom filters用的.
默認: murmur
hbase.master.keytab.file
HMaster server驗證登錄使用的kerberos keytab 文件路徑。(譯者注:Hbase使用Kerberos實現(xiàn)安全)
默認:
hbase.master.kerberos.principal
例如. "hbase/_HOST@EXAMPLE.COM". HMaster運行需要使用 kerberos principal name. principal name 可以在: user/hostname@DOMAIN 中獲取. 如果 "_HOST" 被用做hostname portion,需要使用實際運行的hostname來替代它。
默認:
hbase.regionserver.keytab.file
HRegionServer驗證登錄使用的kerberos keytab 文件路徑。
默認:
hbase.regionserver.kerberos.principal
例如. "hbase/_HOST@EXAMPLE.COM". HRegionServer運行需要使用 kerberos principal name. principal name 可以在: user/hostname@DOMAIN 中獲取. 如果 "_HOST" 被用做hostname portion,需要使用實際運行的hostname來替代它。在這個文件中必須要有一個entry來描述 hbase.regionserver.keytab.file
默認:
zookeeper.session.timeout
ZooKeeper 會話超時.Hbase把這個值傳遞改zk集群,向他推薦一個會話的最大超時時間。詳見http://hadoop.apache.org/zookeeper/docs/current/zookeeperProgrammers.html#ch_zkSessions "The client sends a requested timeout, the server responds with the timeout that it can give the client. "。 單位是毫秒
默認: 180000
zookeeper.znode.parent
ZooKeeper中的Hbase的根ZNode。所有的Hbase的ZooKeeper會用這個目錄配置相對路徑。默認情況下,所有的Hbase的ZooKeeper文件路徑是用相對路徑,所以他們會都去這個目錄下面。
默認: /hbase
zookeeper.znode.rootserver
ZNode 保存的 根region的路徑. 這個值是由Master來寫,client和regionserver 來讀的。如果設(shè)為一個相對地址,父目錄就是 ${zookeeper.znode.parent}.默認情形下,意味著根region的路徑存儲在/hbase/root-region-server.
默認: root-region-server
hbase.zookeeper.quorum
Zookeeper集群的地址列表,用逗號分割。例如:"host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".默認是localhost,是給偽分布式用的。要修改才能在完全分布式的情況下使用。如果在hbase-env.sh設(shè)置了HBASE_MANAGES_ZK,這些ZooKeeper節(jié)點就會和Hbase一起啟動。
默認: localhost
hbase.zookeeper.peerport
ZooKeeper節(jié)點使用的端口。

關(guān)于hbase-site.xml 和hbase-default.xml的示例分析就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。


分享文章:hbase-site.xml和hbase-default.xml的示例分析
本文URL:http://weahome.cn/article/jpided.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部