這篇文章主要為大家展示了“Apche pig計算數(shù)據(jù)如何導(dǎo)入Hbase”，內(nèi)容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領(lǐng)大家一起研究并學(xué)習一下“Apche pig計算數(shù)據(jù)如何導(dǎo)入Hbase”這篇文章吧。

網(wǎng)站建設(shè)公司,為您提供網(wǎng)站建設(shè),網(wǎng)站制作,網(wǎng)頁設(shè)計及定制網(wǎng)站建設(shè)服務(wù),專注于成都企業(yè)網(wǎng)站定制,高端網(wǎng)頁制作,對成都砂巖浮雕等多個行業(yè)擁有豐富的網(wǎng)站建設(shè)經(jīng)驗的網(wǎng)站建設(shè)公司。專業(yè)網(wǎng)站設(shè)計,網(wǎng)站優(yōu)化推廣哪家好,專業(yè)seo優(yōu)化優(yōu)化,H5建站,響應(yīng)式網(wǎng)站。

1.pig將數(shù)據(jù)導(dǎo)入或加載到hbase使用HBaseStorage UDF函數(shù),地址： http://pig.apache.org/docs/r0.11.0/func.html#HBaseStorage

   在shell中案例：

     pig -Dpig.additional.jars=/home/pps_recommend/pig-0.11.0/lib/protobuf-java-2.4.0a.jar -x $varPigMode << EOF
           recommend_data = LOAD '$recommend_output' as(id:chararray,items:chararray);
          STORE recommend_data INTO 'hbase://short_video_recommend' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('info:items');
     EOF

   （提示：EOF是將其他應(yīng)用程序在shell中輸出，切記:特別在shell中有if判斷語句 EOF要頂格寫)

 2.    STORE [加載pig數(shù)據(jù)集別名] INTO 'hbase://[HBASE表名]' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('[HBASE列簇]:PIG字段名');

 3.注意：

   1.在偽分布式下啟動，在zookeeper,hbase正常啟動情況下可以導(dǎo)入，

    2.正式環(huán)境下配置：

       2.1在 $PIG_HOME/conf/pig.properties加入:

     # -----------------------------------------------------------------------------------------------------------------------------------------

       #pig.load.default.statements=     

      hbase.zookeeper.quorum=10.11.8.161,10.11.8.162,10.11.8.163,10.11.8.164,10.11.8.165,10.11.8.166,10.11.8.167       

      hbase.master.info.bindAddress=10.11.5.222 

      hbase.master.port=60000

    # --------------------------------------------------------------------------------------------------------------------------------------------

    #hbase.zookeeper.quorum= zookeeper集群地址

    #hbase.master.info.bindAddress=hbase master地址

    #hbase.master.port=hbase master端口

   2.2 在$PIG_HOME/lib復(fù)制3個包:

        protobuf-java-2.4.0a.jar   

        hbase-0.94.1.jar

        zookeeper-3.4.3.jar

       這個幾個包可以從$HBASE_HOME/lib 和 $HBASE_HOME目下獲取

以上是“Apche pig計算數(shù)據(jù)如何導(dǎo)入Hbase”這篇文章的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對大家有所幫助，如果還想學(xué)習更多知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道！