這篇文章給大家分享的是有關(guān)bulk-load裝載hdfs數(shù)據(jù)到hbase的示例分析的內(nèi)容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

成都創(chuàng)新互聯(lián)于2013年創(chuàng)立，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項目網(wǎng)站設(shè)計、做網(wǎng)站網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元月湖做網(wǎng)站,已為上家服務(wù),為月湖各地企業(yè)和個人服務(wù),聯(lián)系電話:18980820575

bulk-load的作用是用mapreduce的方式將hdfs上的文件裝載到hbase中，對于海量數(shù)據(jù)裝載入hbase非常有用

hbase提供了現(xiàn)成的程序?qū)dfs上的文件導(dǎo)入hbase,即bulk-load方式。它包括兩個步驟（也可以一次完成）： 
1 將文件包裝成hfile，hadoop jar/path/to/hbase.jar importtsv -Dimporttsv.columns=a,b,c  
比如:

Java代碼

• hadoop dfs -cat test/1  

• 1       2  

• 3       4  

• 5       6  

• 7       8  

  hadoop dfs -cat test/1

  1       2

  3       4

  5       6

  7       8

執(zhí)行

Java代碼

• hadoop jar ~/hbase/hbase-0.90.2.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,f1 t8 test  

  hadoop jar ~/hbase/hbase-0.90.2.jar importtsv-Dimporttsv.columns=HBASE_ROW_KEY,f1 t8 test

將會啟動mapreduce程序在hdfs上生成t8這張表，它的rowkey分別為1 35 7，對應(yīng)的value為2 4 6 8 
注意，源文件默認(rèn)以"\t"為分割符，如果需要換成其它分割符，在執(zhí)行時加上-Dimporttsv.separator=","，則變成了以","分割 

2 在上一步中，如果設(shè)置了輸出目錄,如

Java代碼

• hadoop jar ~/hbase/hbase-0.90.2.jar importtsv -Dimporttsv.bulk.output=tmp -Dimporttsv.columns=HBASE_ROW_KEY,f1 t8 test  

   hadoop jar ~/hbase/hbase-0.90.2.jarimporttsv -Dimporttsv.bulk.output=tmp -Dimporttsv.columns=HBASE_ROW_KEY,f1 t8test

那么t8表還暫時不會生成，只是將hfile輸出到tmp文件夾下，我們可以查看tmp:

Java代碼

• hadoop dfs -du tmp       

• Found 3 items   

• 0           hdfs://namenode:9000/user/test/tmp/_SUCCESS       

• 65254       hdfs://namenode:9000/user/test/tmp/_logs       

• 462         hdfs://namenode:9000/user/test/tmp/f1  

  hadoop dfs -du tmp

  Found 3 items

  0          hdfs://namenode:9000/user/test/tmp/_SUCCESS

  65254      hdfs://namenode:9000/user/test/tmp/_logs

  462        hdfs://namenode:9000/user/test/tmp/f1

然后執(zhí)行hadoop jar hbase-VERSION.jarcompletebulkload /user/todd/myoutput mytable將這個輸出目錄中的hfile轉(zhuǎn)移到對應(yīng)的region中,這一步因為只是mv，所以相當(dāng)快。如： 
hadoop jar ~/hbase/hbase-0.90.2.jar completebulkload tmp t8 
然后

Java代碼

• hadoop dfs -du /hbase/t8/c408963c084d328490cc2f809ade9428       

•     Found 4 items   

•     124         hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/.oldlogs       

•     692         hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/.regioninfo       

•     0           hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/.tmp       

•     462         hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/f1  

hadoop dfs -du/hbase/t8/c408963c084d328490cc2f809ade9428

  Found 4 items

  124        hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/.oldlogs

  692         hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/.regioninfo

  0          hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/.tmp

  462        hdfs://namenode:9000/hbase/t8/c408963c084d328490cc2f809ade9428/f1

此時己經(jīng)生成了表t8 
注意，如果數(shù)據(jù)特別大，而表中原來就有region，那么會執(zhí)行切分工作，查找數(shù)據(jù)對應(yīng)的region并裝載 

        程序使用中注意： 
1 因為是執(zhí)行hadoop程序，不會自動查找hbase的config路徑，也就找不到hbase的環(huán)境變量。因此需要將hbase-site.xml加入到hadoop-conf變量中 
2 還需要將hbase/lib中的jar包放入classpath中 
3 執(zhí)行以上的步驟2時需要將zookeeper的配置寫入core-site.xml中，因為在那一步時甚至不會讀取hbase-site.xml，否則會連不上zookeeper

感謝各位的閱讀！關(guān)于“bulk-load裝載hdfs數(shù)據(jù)到hbase的示例分析”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！