真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

hbase偽集群搭建-創(chuàng)新互聯(lián)

hbase 數(shù)據(jù)存儲有三種跑法,跑在本地磁盤上、跑在偽分布式上、跑在完全分布式上--------
額。。。官網(wǎng)的文檔挺坑爹的,結合官網(wǎng)、百度、谷歌的各種文檔看,只要理解原理,搭建也不算難(當然照的官網(wǎng)文檔個看就比較坑爹了)
單機模式 ------->> 這個最簡單,免寫了,下了包直接解壓配置個路徑就可以啟動了,zk 和 hbase 都是起在同一個 jvm 中的,數(shù)據(jù)落到本地磁盤。
偽分布式部署方式 ------->> 先部署 hdfs , 再部署 hbase ,它們的各個進程跑在不同的 jvm 中 , hbase只是將數(shù)據(jù)落到了 hdfs 上。
完全分布式 ------->> 完全分布式用大白話來說,我理解的就是個 偽分布式的 升級款,只是把偽分布式的一臺服務器變成了 n 臺。。。

創(chuàng)新互聯(lián)-云計算及IDC服務提供商,涵蓋公有云、IDC機房租用、成都聯(lián)通服務器托管、等保安全、私有云建設等企業(yè)級互聯(lián)網(wǎng)基礎服務,溝通電話:028-86922220

完全分布式一定要部署在 物理機上

上邊蛋扯的差不多了,下面直接入正題,開始部署
下載什么版本的包自己解決,要想下載最輕松的全部安裝包,直接到 cdh 上去下載,百度搜索 cdh ,你懂的、、、然后配置文件每個版本的基本上差不多,沒有太大的出入
下面是以 hadoop-2.7.2 、 hbase-1.1.2 為例

一、新系統(tǒng)的話,自己先處理一下系統(tǒng),這個習慣相信所有運維同行的哥哥們都是有這習慣的。。。關閉不用的防火墻、大文件打開數(shù)、jdk全局變量、dns、主機名解析
建議配置時用 ip 的最后用內網(wǎng)的域名,這樣的話,開發(fā)的代碼也好接入做好的 hbase,用主機名的話,開發(fā)的還得自己的 hosts ,我這里用的 內網(wǎng)的 dns 域名。

二、部署 hdfs

包傳到 服務器上,解壓

hadoop-2.7.2.tar.gz
tar xvf  hadoop-2.7.2.tar.gz  -C /home
cd /home/hadoop-2.7.2
vim etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_72

配置HDFS 之 core-site.xml

mkdir data
vim etc/hadoop/core-site.xml

 
    fs.defaultFS
    hdfs://pretend.hdfs.gag.cn:9000
            
 
 
    hadoop.tmp.dir
    /home/hadoop-2.7.2/data/tmp
            
 

配置HDFS 之 hdfs-site.xml

vim etc/hadoop/hdfs-site.xml
   
   
    dfs.replication
    1
            
   

配置HDFS 之 YARN, 這原配置文件里什么也沒有,都是注釋內容,直接改名就行

mv etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vim etc/hadoop/mapred-site.xml

  
  
    mapreduce.framework.name
    yarn
    
  

配置HDFS 之 yarn-site.xml

 vim etc/hadoop/yarn-site.xml
  
  
    yarn.nodemanager.aux-services
    mapreduce_shuffle
            
  

啟動 hdfs
初次啟動 hdfs 先要初始化文件系統(tǒng),也可以說是格式化文件系統(tǒng)

bin/hdfs namenode -format

hbase偽集群搭建

格式化完畢,啟動NameNod和DataNode進程
啟動之前如果修改 jvm 參數(shù)的話,在 vim etc/hadoop/hadoop-env.sh 修改 HADOOP_HEAPSIZE 這一項就可以了,默認應該是 1024M

sbin/start-dfs.sh

啟動以后,有這里顯示有 三個配置文件,是 out 后綴的,看日志的話,看 log 后綴的,看有沒有 error 級別的報錯
hbase偽集群搭建

啟動YARN

 sbin/start-yarn.sh

同樣是去看這兩個的 log 后綴的日志
這里了 hdfs 就算啟動完畢了,這時再 jps 命令可以看到除 jps 進程外有 5 個
hbase偽集群搭建

查看端口已經有這么多了, 50070 是 hdfs 的 web 端口,以后輸入 ip:port 或者 域名:port 來查看 web 頁面
hbase偽集群搭建
hbase偽集群搭建

======================================================================

以上 hdfs 啟動沒問題后,就可以啟動 hbase 了

 tar xvf hbase-1.1.2-bin.tar.gz -C /home/        
     cd /home/hbase-1.1.2/   
     vim conf/hbase-env.sh   
     export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_72

配置Hbase

mkdir data
vim conf/hbase-site.xml 

     
   
      hbase.rootdir
      hdfs://pretend.hdfs.gag.cn:9000/hbase
            
  
  
     hbase.zookeeper.property.dataDir
     /home/hbase-1.1.2/data
             
  
  
     hbase.cluster.distributed
     true
             
  

hbase 集群內的服務器,如果是啟動完全分布式,這里要填寫hbase所有的服務器域名或者 ip 或者 主機名,順便說一下,hbase和 hadoop 集群全部是已 ssh 遠程 調用命令的方式啟動其他節(jié)點的

vim conf/regionservers      
    pretend.hbase.gag.cn

這里的話,我把內存調整了一下,因為開發(fā)那邊要用,服務器是 8G 的

vim conf/hbase-env.sh 
    export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=512m -XX:MaxPermSize=512m"
export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=512m -XX:MaxPermSize=512m"

啟動Hbase

先啟動 zookeeper,如果是完全分布式的話,所有的 hbase節(jié)點會以臨時節(jié)點的方式注冊在 zk 里,偽分布式也一樣,只不過zk 里只有一個節(jié)點,zk 也只有一個節(jié)點

 bin/hbase-daemon.sh start zookeeper         啟動后查看日志
 bin/hbase-daemon.sh start master               啟動后查看日志
 bin/hbase-daemon.sh start regionserver      啟動后查看日志

此時的 jps 可以查看到除 jps 外 8 個進程
hbase偽集群搭建

hbase 的 web 頁面端口是 16010
hbase偽集群搭建

如果要加 開機啟動的話,最好加上sleep等待,我是這樣加的
hbase偽集群搭建

正常停止方式:
一定要按照順序停止
停止 hbase、zookeeper、hdfs

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。


分享文章:hbase偽集群搭建-創(chuàng)新互聯(lián)
當前地址:http://weahome.cn/article/gipje.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部