真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

大數(shù)據(jù)學習系列之三-----HBaseJavaApi圖文詳解

引言

在上一篇中大數(shù)據(jù)學習系列之二 ----- HBase環(huán)境搭建(單機) 中，成功搭建了Hadoop+HBase的環(huán)境，本文則主要講述使用Java 對HBase的一些操作。

集美網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián),集美網(wǎng)站設(shè)計制作，有大型網(wǎng)站制作公司豐富經(jīng)驗。已為集美超過千家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\外貿(mào)營銷網(wǎng)站建設(shè)要多少錢，請找那個售后服務(wù)好的集美做網(wǎng)站的公司定做！

一、事前準備

1.確認hadoop和hbase成功啟動

大數(shù)據(jù)學習系列之三 ----- HBase Java Api 圖文詳解

三、代碼示例

工具類

import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes;

import com.alibaba.fastjson.JSONObject;

/**
 * 
 * Title: HBaseUtil
 * Description: HBase工具類 
 * Version:1.0.0
 * @author pancm
 * @date 2017年12月6日
 */
public class HBaseUtil {
    /** hadoop 連接 */
    private static Configuration conf = null;
    /** hbase 連接 */
    private static Connection con = null;
    /** 會話 */
    private static Admin admin = null;

    private static String ip ="master";
    private static String port ="2181";
    private static String port1 ="9001";

   // 初始化連接
   static {
       // 獲得配制文件對象
       conf = HBaseConfiguration.create(); 
       // 設(shè)置配置參數(shù)
        conf.set("hbase.zookeeper.quorum", ip);
        conf.set("hbase.zookeeper.property.clientPort", port);  
        //如果hbase是集群，這個必須加上 
        //這個ip和端口是在hadoop/mapred-site.xml配置文件配置的
        conf.set("hbase.master", ip+":"+port1); 
   }

    /**
     * 獲取連接
     * 
     * @return
     */
    public synchronized static Connection getConnection() {
        try {
            if (null == con || con.isClosed()) {
                // 獲得連接對象
                con = ConnectionFactory.createConnection(conf);
            }
        } catch (IOException e) {
            System.out.println("獲取連接失敗!");
            e.printStackTrace();
        }

        return con;
    }

    /**
     * 連接關(guān)閉
     */
    public static void close() {
        try {
            if (admin != null) {
                admin.close();
            }
            if (con != null) {
                con.close();
            }
        } catch (IOException e) {
            System.out.println("連接關(guān)閉失敗！");
            e.printStackTrace();
        }
    }

    /**
     * 創(chuàng)建表
     * 
     * @param tableName
     *            表名
     * @param columnFamily
     *            列族
     */
    public static void creatTable(String tableName, String[] columnFamily) {
        if(null==tableName||tableName.length()==0){
            return;
        }
        if(null==columnFamily||columnFamily.length==0){
            return;
        }
        // 創(chuàng)建表名對象
        TableName tn = TableName.valueOf(tableName);
        // a.判斷數(shù)據(jù)庫是否存在
        try {
            // 獲取會話
            admin = getConnection().getAdmin();
            if (admin.tableExists(tn)) {
                System.out.println(tableName + " 表存在，刪除表....");
                // 先使表設(shè)置為不可編輯
                admin.disableTable(tn);
                // 刪除表
                admin.deleteTable(tn);
                System.out.println("表刪除成功.....");
            }
            // 創(chuàng)建表結(jié)構(gòu)對象
            HTableDescriptor htd = new HTableDescriptor(tn);
            for (String str : columnFamily) {
                // 創(chuàng)建列族結(jié)構(gòu)對象
                HColumnDescriptor hcd = new HColumnDescriptor(str);
                htd.addFamily(hcd);
            }
            // 創(chuàng)建表
            admin.createTable(htd);
            System.out.println(tableName + " 表創(chuàng)建成功！");
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            close();
        }
    }

    /**
     * 數(shù)據(jù)單條插入或更新
     * 
     * @param tableName
     *            表名
     * @param rowKey
     *            行健 (主鍵)
     * @param family
     *            列族
     * @param qualifier
     *            列
     * @param value
     *            存入的值
     * @return
     */
    public static void insert(String tableName, String rowKey, String family,
            String qualifier, String value) {
        Table t = null;
        try {
            t = getConnection().getTable(TableName.valueOf(tableName));
            Put put = new Put(Bytes.toBytes(rowKey));
            put.addColumn(Bytes.toBytes(family), Bytes.toBytes(qualifier),
                    Bytes.toBytes(value));
            t.put(put);
            System.out.println(tableName + " 更新成功!");
        } catch (IOException e) {
            System.out.println(tableName + " 更新失敗!");
            e.printStackTrace();
        } finally {
            close();
        }
    }

    /**
     * 數(shù)據(jù)批量插入或更新
     * 
     * @param tableName
     *            表名
     * @param list
     *            hbase的數(shù)據(jù) 
     * @return
     */
    public static void insertBatch(String tableName, List list) {
        if (null == tableName ||tableName.length()==0) {
            return;
        }
        if( null == list || list.size() == 0){
            return;
        }
        Table t = null;
        Put put = null;
        JSONObject json = null;
        List puts = new ArrayList();
        try {
            t = getConnection().getTable(TableName.valueOf(tableName));
            for (int i = 0, j = list.size(); i < j; i++) {
                json = (JSONObject) list.get(i);
                put = new Put(Bytes.toBytes(json.getString("rowKey")));
                put.addColumn(Bytes.toBytes(json.getString("family")),
                        Bytes.toBytes(json.getString("qualifier")),
                        Bytes.toBytes(json.getString("value")));
                puts.add(put);
            }
            t.put(puts);
            System.out.println(tableName + " 更新成功!");
        } catch (IOException e) {
            System.out.println(tableName + " 更新失敗!");
            e.printStackTrace();
        } finally {
            close();
        }
    }

    /**
     * 數(shù)據(jù)刪除 
     * @param tableName 表名
     * @param rowKey    行健
     * @return
     */
    public static void delete(String tableName, String rowKey) {
        delete(tableName,rowKey,"","");
    }

    /**
     * 數(shù)據(jù)刪除 
     * @param tableName 表名
     * @param rowKey    行健
     * @param family    列族
     * @return
     */
    public static void delete(String tableName, String rowKey, String family) {
        delete(tableName,rowKey,family,"");
    }

    /**
     * 數(shù)據(jù)刪除 
     * @param tableName 表名
     * @param rowKey    行健
     * @param family    列族
     * @param qualifier 列
     * @return
     */
    public static void delete(String tableName, String rowKey, String family,
            String qualifier) {
        if (null == tableName ||tableName.length()==0) {
            return;
        }
        if( null == rowKey || rowKey.length() == 0){
            return;
        }
        Table t = null;
        try {
            t = getConnection().getTable(TableName.valueOf(tableName));
            Delete del = new Delete(Bytes.toBytes(rowKey));
            // 如果列族不為空
            if (null != family && family.length() > 0) {
                // 如果列不為空
                if (null != qualifier && qualifier.length() > 0) {
                    del.addColumn(Bytes.toBytes(family),
                            Bytes.toBytes(qualifier));
                } else {
                    del.addFamily(Bytes.toBytes(family));
                }
            }      
            t.delete(del);    
        } catch (IOException e) {
            System.out.println("刪除失敗!");
            e.printStackTrace();
        } finally {
          close();
        }
    }

    /**
     * 查詢該表中的所有數(shù)據(jù)
     * 
     * @param tableName
     *            表名
     */
    public static void select(String tableName) {
        if(null==tableName||tableName.length()==0){
            return;
        }
        Table t = null;
        List> list=new ArrayList>();
        try {
            t = getConnection().getTable(TableName.valueOf(tableName));
            // 讀取操作
            Scan scan = new Scan();
            // 得到掃描的結(jié)果集
            ResultScanner rs = t.getScanner(scan);
            if (null == rs ) {
                return;
            }
            for (Result result : rs) {
                // 得到單元格集合
                List cs = result.listCells();
                if (null == cs || cs.size() == 0) {
                    continue;
                }
                for (Cell cell : cs) {
                    Map map=new HashMap();
                    map.put("rowKey", Bytes.toString(CellUtil.cloneRow(cell)));// 取行健
                    map.put("timestamp", cell.getTimestamp());// 取到時間戳
                    map.put("family", Bytes.toString(CellUtil.cloneFamily(cell)));// 取到列族
                    map.put("qualifier", Bytes.toString(CellUtil.cloneQualifier(cell)));// 取到列
                    map.put("value", Bytes.toString(CellUtil.cloneValue(cell)));// 取到值
                    list.add(map);
                }
            }
            System.out.println("查詢的數(shù)據(jù):"+list);
        } catch (IOException e) {
            System.out.println("查詢失敗!");
            e.printStackTrace();
        } finally {
            close();
        }
    }

    /**
     * 根據(jù)表名和行健查詢
     * @param tableName
     * @param rowKey
     */
    public static void select(String tableName, String rowKey) {
        select(tableName,rowKey,"","");
    }

    /**
     * 根據(jù)表名、行健和列族查詢
     * @param tableName
     * @param rowKey
     * @param family
     */
    public static void select(String tableName, String rowKey, String family) {
        select(tableName,rowKey,family,"");
    }

    /**
     * 根據(jù)條件明細查詢
     * 
     * @param tableName
     *            表名
     * @param rowKey
     *            行健 (主鍵)
     * @param family
     *            列族
     * @param qualifier
     *            列
     */
    public static void select(String tableName, String rowKey, String family,
            String qualifier) {
        Table t = null;
        List> list=new ArrayList>();
        try {
            t = getConnection().getTable(TableName.valueOf(tableName));
            // 通過HBase中的 get來進行查詢
            Get get = new Get(Bytes.toBytes(rowKey));
            // 如果列族不為空
            if (null != family && family.length() > 0) {
                // 如果列不為空
                if (null != qualifier && qualifier.length() > 0) {
                    get.addColumn(Bytes.toBytes(family),
                            Bytes.toBytes(qualifier));
                } else {
                    get.addFamily(Bytes.toBytes(family));
                }
            }
            Result r = t.get(get);
            List cs = r.listCells();
            if (null == cs || cs.size() == 0) {
                return;
            }
            for (Cell cell : cs) {
                Map map=new HashMap();
                map.put("rowKey", Bytes.toString(CellUtil.cloneRow(cell)));// 取行健
                map.put("timestamp", cell.getTimestamp());// 取到時間戳
                map.put("family", Bytes.toString(CellUtil.cloneFamily(cell)));// 取到列族
                map.put("qualifier", Bytes.toString(CellUtil.cloneQualifier(cell)));// 取到列
                map.put("value", Bytes.toString(CellUtil.cloneValue(cell)));// 取到值
                list.add(map);
            }
            System.out.println("查詢的數(shù)據(jù):"+list);
        } catch (IOException e) {
            System.out.println("查詢失敗!");
            e.printStackTrace();
        } finally {
            close();
        }
    }
}

測試代碼

import java.util.ArrayList;
import java.util.List;

import com.alibaba.fastjson.JSONObject;
/**
 * 
* Title: hbaseTest
* Description: HBase 相關(guān)測試
* Version:1.0.0  
* @author pancm
* @date 2017年11月23日
 */
public class hbaseTest {

    public static void main(String[] args) {
        test();
    }

    /**
     * 一些測試
     */
    private static void test() {
        String tableName1="t_student",tableName2="t_student_info";
        String []columnFamily1={"st1","st2"};
        String []columnFamily2={"stf1","stf2"};
        HBaseUtil.creatTable(tableName1, columnFamily1);
        HBaseUtil.creatTable(tableName2, columnFamily2);

        HBaseUtil.insert(tableName1, "1001", columnFamily1[0], "name", "zhangsan");
        HBaseUtil.insert(tableName1, "1002", columnFamily1[0], "name", "lisi");
        HBaseUtil.insert(tableName1, "1001", columnFamily1[1], "age", "18");
        HBaseUtil.insert(tableName1, "1002", columnFamily1[1], "age", "20");

        HBaseUtil.insert(tableName2, "1001", columnFamily2[0], "phone", "123456");
        HBaseUtil.insert(tableName2, "1002", columnFamily2[0], "phone", "234567");
        HBaseUtil.insert(tableName2, "1001", columnFamily2[1], "mail", "123@163.com");
        HBaseUtil.insert(tableName2, "1002", columnFamily2[1], "mail", "234@163.com");

        HBaseUtil.select(tableName1); //查詢該表所有數(shù)據(jù)
        HBaseUtil.select(tableName1, "1001"); //根據(jù)表名和行健查詢
        HBaseUtil.select(tableName2, "1002",columnFamily2[0]); //根據(jù)表名、行健和列族查詢
        HBaseUtil.select(tableName2, "1002",columnFamily2[1],"mail"); //根據(jù)表名、行健、列族、和列查詢

        HBaseUtil.select(tableName1, "1002"); //根據(jù)表名和行健查詢
        HBaseUtil.delete(tableName1, "1002", columnFamily1[0]);//刪除數(shù)據(jù)
        HBaseUtil.select(tableName1, "1002"); //根據(jù)表名和行健查詢

    }
}

其他

版權(quán)聲明:
作者：虛無境
博客園出處：http://www.cnblogs.com/xuwujing
CSDN出處：http://blog.csdn.net/qazwsxpcm　　　　
個人博客出處：http://www.panchengming.com
原創(chuàng)不易，轉(zhuǎn)載請標明出處，謝謝！


文章名稱：大數(shù)據(jù)學習系列之三-----HBaseJavaApi圖文詳解
網(wǎng)站路徑：http://weahome.cn/article/pgoood.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220（工作日）

18980820575（7×24）

提交需求

返回頂部