HBASE基于coprocessor實現(xiàn)二級索引

成都創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供正定網(wǎng)站建設(shè)、正定做網(wǎng)站、正定網(wǎng)站設(shè)計、正定網(wǎng)站制作等企業(yè)網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計與制作、正定企業(yè)網(wǎng)站模板建站服務，10多年正定做網(wǎng)站經(jīng)驗，不只是建網(wǎng)站，更提供有價值的思路和整體網(wǎng)絡服務。

場景如下:存儲UC_TWEETS表,ROWKEY設(shè)計:folderId_dayId_siteId_docId,導出有如下需求:根據(jù)campaignId導出,所以需要存儲campaignId的索引表

實現(xiàn)步驟如下:

一, 代碼實現(xiàn)如下:

public class HbaseCoprocessor extends BaseRegionObserver {

@Override

public void prePut(final ObserverContext e, final Put put,

final WALEdit edit, final Durability durability) throws IOException {

Configuration configuration = HBaseConfiguration.create();

configuration.set("hbase.regionserver.lease.period", "900000");

    configuration.set("hbase.rpc.timeout", "1800000");

    configuration.set("hbase.client.scanner.timeout.period", "1800000");

    configuration.set("hbase.zookeeper.property.clientPort", "2181");

    configuration.set("hbase.zookeeper.quorum", "DEV-HADOOP-01,DEV-HADOOP-02,DEV-HADOOP-03");

    configuration.set("hbase.master", "DEV-HADOOP-01:60000");

    HTable table = new HTable(configuration, "UC_INDEX");

  List kv = put.get("f1".getBytes(), "campaignId".getBytes());

  Iterator kvItor = kv.iterator();

  while (kvItor.hasNext()) {

   KeyValue tmp = (KeyValue)kvItor.next();

   String rowkey = new String(tmp.getRow());

   String value = new String(tmp.getValue());

   String newRowkey = value + "_" + rowkey;

  Put indexPut = new Put(newRowkey.getBytes());

  indexPut.add("f1".getBytes(), tmp.getQualifier(), tmp.getValue());

  table.put(indexPut);

  }

  table.close();

}

}

二, 把上面的HbaseCoprocessor類導出.選擇Export -> Jar File,導出成ucTweet.jar文件

三, 把ucTweet.jar文件上傳到HDFS,命令如下:./hadoop fs -put /data/server/ucTweet_index.jar /jars

四, 設(shè)置UC_TWEETS表的coprocessor屬性,命令如下:alter 'UC_TWEETS',METHOD=>'table_att','coprocessor'=>'hdfs://192.168.9.110:9000/jars/ucTweet.jar|com.prime.dsc.inputservice.coprocessor.HbaseCoprocessor|1001|'

五, 把數(shù)據(jù)插入UC_TWEETS表,如果UC_INDEX表同樣有數(shù)據(jù),并且符合設(shè)計,則說明二級索引建立成功

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

文章標題：HBASE二級索引-創(chuàng)新互聯(lián)
網(wǎng)頁URL：http://weahome.cn/article/dedsgp.html