這篇文章給大家分享的是有關(guān)hbase性能優(yōu)化的示例分析的內(nèi)容。小編覺(jué)得挺實(shí)用的，因此分享給大家做個(gè)參考，一起跟隨小編過(guò)來(lái)看看吧。

做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)的關(guān)注點(diǎn)不是能為您做些什么網(wǎng)站，而是怎么做網(wǎng)站，有沒(méi)有做好網(wǎng)站，給創(chuàng)新互聯(lián)一個(gè)展示的機(jī)會(huì)來(lái)證明自己，這并不會(huì)花費(fèi)您太多時(shí)間，或許會(huì)給您帶來(lái)新的靈感和驚喜。面向用戶(hù)友好，注重用戶(hù)體驗(yàn)，一切以用戶(hù)為中心。

查詢(xún)緩存

Scan的caching屬性默認(rèn)值是1，意味著掃描器每次從region服務(wù)器抓取1條記錄進(jìn)行匹配。我們可以設(shè)置caching為比1大得多的值。例如，設(shè)置為500，則一次可以抓取500條，需要注意的是該值設(shè)得越大服務(wù)器的內(nèi)存開(kāi)銷(xiāo)會(huì)越多。

HTableInterface hTable=getHTable(tableName);

Scan scan=new Scan();

/*設(shè)置緩存*/

scan.setCaching(StaticConfig.getIControl_hbase_cache());

ResultScanner scanner= hTable.getScanner(scan);

多線(xiàn)程配置

Hbase.regionser.handler.count

RegionServer中RPC監(jiān)聽(tīng)器實(shí)例的數(shù)量。對(duì)于master來(lái)說(shuō)，這個(gè)屬性是master受理的處理線(xiàn)程（handler）數(shù)量。默認(rèn)值是10。

根據(jù)調(diào)控層的業(yè)務(wù)場(chǎng)景，1條運(yùn)價(jià)的匹配查詢(xún)就會(huì)產(chǎn)生4條hbase并發(fā)查詢(xún)。如果有20條，就可能有80條并發(fā)，這個(gè)并發(fā)量是相當(dāng)?shù)?。除了將該參?shù)適當(dāng)調(diào)大可以增加并發(fā)處理能力外，還跟集群的數(shù)量和服務(wù)器的配置有直接的關(guān)系，預(yù)計(jì)集群數(shù)量越多，服務(wù)器CPU核數(shù)越高，并發(fā)處理能力越強(qiáng)。

預(yù)分區(qū)

HRegion是Hbase中分布式存儲(chǔ)和負(fù)載均衡的最小單元。最小單元就表示不同的Hregion可以分布在不同的HRegion server上。但一個(gè)Hregion是不會(huì)拆分到多個(gè)server上的。

Hbase.hregion.max.filesize

HstoreFile的最大值。Region中任何一個(gè)列族的存儲(chǔ)文件如果超過(guò)了這個(gè)上限，就會(huì)被拆分成兩個(gè)region。默認(rèn)：268435456（256x1024x1024），即256M。

我們的調(diào)控文件比較小，要達(dá)到分區(qū)最大上限256M需要較多的調(diào)控文件。為了提高并發(fā)量，我們需要在沒(méi)有達(dá)到分區(qū)上限的情況下，產(chǎn)生多個(gè)hregion來(lái)保存和處理數(shù)據(jù)，這里就用hbase的預(yù)分區(qū)功能。

示例：

Configuration conf = HBaseConfiguration.create()

HBaseAdmin admin = new HBaseAdmin(conf);

HTableDescriptor desc = new HTableDescriptor(

            Bytes.toBytes(tablename));

HColumnDescriptor coldef = new HColumnDescriptor(

            Bytes.toBytes(colfamily));

admin.createTable(desc, Bytes.toBytes(1L),Bytes.toBytes(10L), 10);

//以第一位字符不同劃分區(qū)

desc.setValue(HTableDescriptor.SPLIT_POLICY,

                     KeyPrefixRegionSplitPolicy.class.getName());

                     desc.setValue("prefix_split_key_policy.prefix_length","1");

感謝各位的閱讀！關(guān)于“hbase性能優(yōu)化的示例分析”這篇文章就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，讓大家可以學(xué)到更多知識(shí)，如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到吧！