一、概要

成都創(chuàng)新互聯(lián)公司堅持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站制作、成都網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的武昌網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

    本文記錄hbase高可用集群部署過程，在部署hbase之前需要事先部署好hadoop集群，因為hbase的數(shù)據(jù)需要存放在hdfs上，hadoop集群的部署后續(xù)會有一篇文章記錄，本文假設(shè)hadoop集群已經(jīng)部署好，分布式hbase集群需要依賴zk，并且zk可以是hbase自己托管的也可以是我們自己單獨搭建的，這里我們使用自己單獨搭建的zk集群，我們的hadoop集群是用的cdh的發(fā)行版，所以hbase也會使用cdh的源。

二、環(huán)境

1、軟件版本

centos6

zookeeper-3.4.5+cdh6.9.0+98-1.cdh6.9.0.p0.30.el6.x86_64

hadoop-2.6.0+cdh6.9.0+1799-1.cdh6.9.0.p0.30.el6.x86_64

hbase-1.2.0+cdh6.9.0+205-1.cdh6.9.0.p0.30.el6.x86_64

2、角色

a、zk集群

10.10.20.64:2181 10.10.40.212:2181 10.10.102.207:2181

b、hbase

10.10.40.212 HMaster 10.10.20.64  HMaster 10.10.10.114 HRegionServer 10.10.40.169 HRegionServer 10.10.30.174 HRegionServer

三、部署

1、配置cdh的yum源

vim /etc/yum.repos.d/cloudera-cdh.repo [cloudera-cdh6] # Packages for Cloudera's Distribution for Hadoop, Version 5.4.4, on RedHat or CentOS 6 x86_64 name=Cloudera's Distribution for Hadoop, Version 5.4.8 baseurl=http://archive.cloudera.com/cdh6/redhat/6/x86_64/cdh/5.9.0/ gpgkey=http://archive.cloudera.com/cdh6/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera     gpgcheck=1 [cloudera-gplextras5b2] # Packages for Cloudera's GPLExtras, Version 5.4.4, on RedHat or CentOS 6 x86_64 name=Cloudera's GPLExtras, Version 5.4.8 baseurl=http://archive.cloudera.com/gplextras5/redhat/6/x86_64/gplextras/5.9.0/ gpgkey=http://archive.cloudera.com/gplextras5/redhat/6/x86_64/gplextras/RPM-GPG-KEY-cloudera     gpgcheck=1

2、安裝zk集群（所有zk節(jié)點都操作）

1、安裝

yum -y install zookeeper zookeeper-server

b、配置

vim /etc/zookeeper/conf/zoo.cfg  tickTime=2000 initLimit=10 syncLimit=5 dataDir=/data/lib/zookeeper clientPort=2181 maxClientCnxns=0 server.1=10.10.20.64:2888:3888 server.2=10.10.40.212:2888:3888 server.3=10.10.102.207:2888:3888 autopurge.snapRetainCount=3 autopurge.purgeInterval=1mkdir -p /data/lib/zookeeper  #建zk的dir目錄echo 1 >/data/lib/zookeeper/myid  #10.10.20.64上操作 echo 2 >/data/lib/zookeeper/myid  #10.10.40.212上操作 echo 3 >/data/lib/zookeeper/myid  #10.10.102.207上操作

c、啟動服務(wù)

 /etc/init.d/zookeeper-server start

3、安裝配置hbase集群

a、安裝

yum -y install hbase hbase-master        #HMaster節(jié)點操作     yum -y install hbase hbase-regionserver  #HRegionServer節(jié)點操作

b、配置（所有base節(jié)點操作）

vim /etc/hbase/conf/hbase-site.xml               hbase.zookeeper.quorum         10.10.20.64:2181,10.10.40.212:2181,10.10.102.207:2181                   hbase.zookeeper.property.clientPort         2181                   hbase.zookeeper.property.dataDir         /data/lib/zookeeper/                   hbase.rootdir         hdfs://mycluster:8020/hbase                   hbase.cluster.distributed         true      集群的模式，分布式還是單機(jī)模式，如果設(shè)置成false的話，HBase進(jìn)程和Zookeeper進(jìn)程在同一個JVM進(jìn)程            echo "export HBASE_MANAGES_ZK=false" >>/etc/hbase/conf/hbase-env.sh #設(shè)置hbase使用獨立的zk集群vim /etc/hbase/conf/regionservers  ip-10-10-30-174.ec2.internal ip-10-10-10-114.ec2.internal ip-10-10-40-169.ec2.internal #添加HRegionServer的主機(jī)名到regionservers，我沒有在/etc/hosts下做主機(jī)名的映射，直接用了ec2的默認(rèn)主機(jī)名

c、啟動服務(wù)

/etc/init.d/hbase-master start       #HMaster節(jié)點操作 /etc/init.d/hbase-regionserver start #HRegionServer節(jié)點操作

4、驗證

a、驗證基本功能

[root@ip-10-10-20-64 ~]# hbase  shell   2017-05-10 16:31:20,225 INFO  [main] Configuration.deprecation: hadoop.native.lib is deprecated. Instead, use io.native.lib.available HBase Shell; enter 'help' for list of supported commands. Type "exit" to leave the HBase Shell Version 1.2.0-cdh6.9.0, rUnknown, Fri Oct 21 01:19:47 PDT 2016 hbase(main):001:0>  status 1 active master, 1 backup masters, 3 servers, 0 dead, 1.3333 average load hbase(main):002:0> list TABLE                                                                                                                                                                                         test                                                                                                                                                                                          test1                                                                                                                                                                                         2 row(s) in 0.0330 seconds => ["test", "test1"] hbase(main):003:0> describe 'test' Table test is ENABLED                                                                                                                                                                         test                                                                                                                                                                                          COLUMN FAMILIES DESCRIPTION                                                                                                                                                                   {NAME => 'id', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERSIO NS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}                                                                                                              {NAME => 'name', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERS IONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}                                                                                                            {NAME => 'text', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERS IONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}                                                                                                            3 row(s) in 0.1150 seconds hbase(main):004:0>

b、驗證HA功能

1、hbase默認(rèn)的web管理端口是60010，兩個HMaster誰先啟動誰就是主active節(jié)點，10.10.40.212先啟動，10.10.20.64后啟動，web截圖如下：

2、停止10.10.40.212的HMaster進(jìn)程，查看10.10.20.64是否會提升為master

/etc/init.d/hbase-master stop

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

網(wǎng)站題目：hbase高可用集群部署（cdh）-創(chuàng)新互聯(lián)
URL地址：http://weahome.cn/article/csjhii.html