這篇文章主要介紹了Linux如何安裝Hadoop和Hbase，具有一定借鑒價(jià)值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

成都創(chuàng)新互聯(lián)公司堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)、外貿(mào)營(yíng)銷網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時(shí)代的魯?shù)榫W(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

三臺(tái)CentOS7主機(jī)

• 192.168.122.101 hdfs1

• 192.168.122.102 hdfs2

• 192.168.122.103 hdfs3

其中hdfs1為主節(jié)點(diǎn)，其他為從節(jié)點(diǎn)。

安裝配置三臺(tái)都是一樣的，做ssh免密碼驗(yàn)證，如果只要在主節(jié)點(diǎn)hdfs1操作，只做hdfs1到其他節(jié)點(diǎn)信任即可。

如果三臺(tái)都互相信任，這樣子在哪臺(tái)都可以操作是一樣的。

修改內(nèi)核參數(shù)

vim /etc/sysctl.conf 

net.ipv4.tcp_syn_retries = 1 net.ipv4.tcp_synack_retries = 1 net.ipv4.tcp_keepalive_time = 600 net.ipv4.tcp_keepalive_probes = 3 net.ipv4.tcp_keepalive_intvl =15 net.ipv4.tcp_retries2 = 5 net.ipv4.tcp_fin_timeout = 2 net.ipv4.tcp_max_tw_buckets = 65536 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_max_orphans = 32768 net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_max_syn_backlog = 16384 net.ipv4.tcp_wmem = 8192 131072 16777216 net.ipv4.tcp_rmem = 32768 131072 16777216 net.ipv4.tcp_mem = 786432 1048576 1572864 net.ipv4.ip_local_port_range = 1024 65000 net.ipv4.ip_conntrack_max = 65536 net.ipv4.netfilter.ip_conntrack_max=65536 net.ipv4.netfilter.ip_conntrack_tcp_timeout_established=180 net.core.somaxconn = 16384 net.core.netdev_max_backlog = 16384 vm.max_map_count = 262144

修改句柄限制

vim /etc/security/limits.conf 

* soft noproc 655360 * hard noproc 655360 * soft nofile 655360 * hard nofile 655360

設(shè)置主機(jī)名解析

在不同的節(jié)點(diǎn)，設(shè)置對(duì)應(yīng)的主機(jī)名

hostnamectl set-hostname hdfs1

添加hosts記錄，也可以使用DNS進(jìn)行解析，比較靈活。

vim /etc/hosts 

192.168.122.101   hdfs1 192.168.122.102   hdfs2 192.168.122.103   hdfs3

創(chuàng)建用戶和目錄

useradd  hadoop  passwd hadoop mkdir -p  /apps/ mkdir -pv /data/hdfs/hadoop mkdir -pv /data/hdfs/hbase chown hadoop.hadoop  /data/hadoop   /data/hbase

設(shè)置ssh免密碼

su - hadoop  ssh-keygen  ssh-copy-id hadoop@hdfs1  ssh-copy-id hadoop@hdfs1  ssh-copy-id hadoop@hdfs1

ssh-keygen產(chǎn)生密鑰的時(shí)候一直回車就可以完成創(chuàng)建

ssh-copy-id的時(shí)候需要輸入hadoop的密碼

下載jdk

下載地址：

www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

需要登陸之后才能下載

tar zxvf jdk-8u271-linux-x64.tar.gz mv jdk-8u271-linux-x64 /apps/ cd /apps/ ln -s jdk1.8.0_271 jdk cd -  if grep '# modify by script' /etc/profile >>/dev/null 2>&1; then     echo "alread set JAVA_HOME" else     cp /etc/profile /etc/profile_bak$(date +%Y%m%d%H%M%S)     cat >>/etc/profile <
下載hadoop和hbase
mirrors.aliyun.com/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz 
 
archive.apache.org/dist/hbase/1.3.5/hbase-1.3.5-bin.tar.gz 

tar zxvf hadoop-2.7.7.tar.gz tar zxvf hbase-1.3.5-bin.tar.gz mv hadoop-2.7.7  hbase-1.3.5   /apps/ cd /apps ln -s hadoop-2.7.7 hadoop ln -s hbase-1.3.5 hbase cd -
配置hadoop
1.配置namenod
vim /apps/hadoop/etc/hadoop/core-site.xml
添加內(nèi)容
                fs.defaultFS         hdfs://hdfs1:9000                        hadoop.tmp.dir         /data/hdfs/hadoop/tmp      
2.配置namenode和datanode
vim /apps/hadoop/etc/hadoop/hdfs-site.xml
在文件后面添加內(nèi)容
                 dfs.namenode.http-address         hdfs1:50070                         dfs.namenode.secondary.http-address         hdfs2:50070                         dfs.namenode.name.dir         /data/hdfs/hadoop/name                         dfs.replication         2                        dfs.datanode.data.dir         /data/hdfs/hadoop/datanode                    dfs.permissions         false      
3.配置環(huán)境變量
vim /apps/hadoop/etc/hadoop/hadoo-env.sh
修改JAVA_HOME
export JAVA_HOME=/apps/jdk
也可以根據(jù)具體的需求設(shè)置堆棧之類的參數(shù)
4.設(shè)置主節(jié)點(diǎn)
vim /apps/hadoop/etc/hadoop/master
添加主節(jié)點(diǎn)，一般使用主機(jī)名
hdfs1
5.設(shè)置從節(jié)點(diǎn)
vim /apps/hadoop/etc/hadoop/slave
添加從節(jié)點(diǎn)，一般使用主機(jī)名
hdfs1  hdfs2  hdfs3
配置hbase
1.配置環(huán)境變量
vim /apps/hbase/conf/hbase-env.sh
修改JAVA_HOME變量即可
export JAVA_HOME=/apps/jdk
也可以根據(jù)具體的需求設(shè)置堆棧之類的參數(shù)
2.設(shè)置hadoop和zookeeper等信息
vim /apps/hbase/conf/hbase-site.xml
添加內(nèi)容
          hbase.rootdir              hdfs://hdfs1:9000/hbase/hbase_db                    hbase.cluster.distributed               true           hbase.zookeeper.quorum                  hdfs1,hdfs2,hdfs3                    hbase.zookeeper.property.dataDir         /data/hdfs/hbase/zookeeper                    hbase.master.info.port         16610  
vim /apps/hbase/conf/regionservers 

hdfs1 hdfs2 hdfs3
啟動(dòng)測(cè)試
su - hadoop  /apps/hadoop/sbin/start-all.sh /apps/hbase/bin/start-hbase.sh
感謝你能夠認(rèn)真閱讀完這篇文章，希望小編分享的“Linux如何安裝Hadoop和Hbase”這篇文章對(duì)大家有幫助，同時(shí)也希望大家多多支持創(chuàng)新互聯(lián)，關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，更多相關(guān)知識(shí)等著你來(lái)學(xué)習(xí)!
            
            
                        

            當(dāng)前題目：Linux如何安裝Hadoop和Hbase            

            網(wǎng)站網(wǎng)址：http://weahome.cn/article/jhsdie.html