這篇文章給大家分享的是有關(guān)centOS6.5如何安裝hadoop2.7后再安裝hbase1.1.0.1實現(xiàn)完全分布式部署的內(nèi)容。小編覺得挺實用的,因此分享給大家做個參考,一起跟隨小編過來看看吧。
安義ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場景,ssl證書未來市場廣闊!成為創(chuàng)新互聯(lián)的ssl證書銷售渠道,可以享受市場價格4-6折優(yōu)惠!如果有意向歡迎電話聯(lián)系或者加微信:13518219792(備注:SSL證書合作)期待與您的合作!
hbase的分布式環(huán)境需要運(yùn)行在hadoop環(huán)境上,所在在部署hbase之前,需要先安裝hadoop環(huán)境。
(一)下載hbase
http://www.apache.org/dyn/closer.cgi/hbase/
下載1.1.0.1版本。(注意:以下步驟在hbase集群的每個服務(wù)器上都要執(zhí)行一次)
下載完成后,上傳hbase-1.1.0.1-bin.tar.gz到你的集群的每個服務(wù)器中,并執(zhí)行#tar -zxvf hbase-1.1.0.1-bin.tar.gz進(jìn)行解壓,并執(zhí)行#mv hbase-1.1.0.1 hbase修改其目錄名稱。
(二)配置hbase的環(huán)境變量
#vi ~/.bash_profile
增加(hadoop的是之前配置的)
export HBASE_HOME=/data/hbase export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:
(三)修改conf/hbase-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_45 export HBASE_MANAGES_ZK=true #此配置信息,設(shè)置由hbase自己管理zookeeper,不需要單獨的zookeeper。 export HBASE_HOME=/data/hbase export HADOOP_HOME=/data/hadoop export HBASE_CLASSPATH=$HADOOP_HOME/etc/hadoop export HBASE_LOG_DIR=$HBASE_HOME/logs #Hbase日志目錄
(四)修改conf/hbase-site.xml
hbase.rootdir hdfs://db2:9000/hbase hbase.cluster.distributed true hbase.master db2:60000 hbase.zookeeper.quorum pic1,pic2
hbase.rootdir:指定本機(jī)的hbase的存儲目錄;
hbase.cluster.distributed:指定hbase的運(yùn)行模式,true代表全分布模式;
hbase.master:指定hbase的master及其端口
hbase.zookeeper.quorum:指定zookeeper的集群,多臺以主機(jī)名逗號隔開。一般為奇數(shù),因為zookeeper有這樣一個特性:集群中只要有過半的機(jī)器是正常工作的,那么整個集群對外就是可用的。也就是說如果有2個zookeeper,那么只要有1個死了zookeeper就不能用了,因為1沒有過半,所以2個zookeeper的死亡容忍度為0;同理,要是有3個zookeeper,一個死了,還剩下2個正常的,過半了,所以3個zookeeper的容忍度為1;同理你多列舉幾個:2->0;3->1;4->1;5->2;6->2會發(fā)現(xiàn)一個規(guī)律。
(五)修改conf/regionservers文件,添加datanode節(jié)點hostname到slaves文件中
pic1 pic2
(六)可選,網(wǎng)上有說為避免hadoop和hbase之間版本沖突,可以替換hbase安裝目錄下的lib中使用的hadoop2.5的jar包替換成2.7.0的。當(dāng)前沒有替換,還沒實際使用hbase。
(七)確保所有服務(wù)器都已配置了hbase的一到六步驟,hbase配置完成,可以啟動了。
(八)執(zhí)行#start-hbase.sh(確保hadoop已經(jīng)運(yùn)行了),我這里的jdk是1.8,所以啟動時提示以下信息,不知道有沒有影響啊。不過官方說法是可以運(yùn)行,但是沒有well tested。
[hadoop@zhebuduan-db-2 hbase]$ start-hbase.sh pic2: starting zookeeper, logging to /data/hbase/logs/hbase-hadoop-zookeeper-zhebuduan-pic-2.out pic1: starting zookeeper, logging to /data/hbase/logs/hbase-hadoop-zookeeper-zhebuduan-pic-1.out starting master, logging to /data/hbase/logs/hbase-hadoop-master-zhebuduan-db-2.out Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0 Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0 pic1: starting regionserver, logging to /data/hbase/logs/hbase-hadoop-regionserver-zhebuduan-pic-1.out pic2: starting regionserver, logging to /data/hbase/logs/hbase-hadoop-regionserver-zhebuduan-pic-2.out pic1: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0 pic1: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0 pic2: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0 pic2: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
(九)驗證。在各個服務(wù)器上執(zhí)行jps,查看hbase的進(jìn)程是否存在。
master主機(jī):
63385 NameNode
2363 Jps
63645 ResourceManager
1919 HMaster
其他子節(jié)點主機(jī):
43872 Jps
43700 HRegionServer
57766 NodeManager
43577 HQuorumPeer
57643 DataNode
感謝各位的閱讀!關(guān)于“centOS6.5如何安裝hadoop2.7后再安裝hbase1.1.0.1實現(xiàn)完全分布式部署”這篇文章就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,讓大家可以學(xué)到更多知識,如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!