真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

Hadoop+Hbase+Zookeeper集群配置

系統(tǒng)版本： CentOS 7.3 最小化安裝

創(chuàng)新互聯(lián)服務(wù)項目包括鳳陽網(wǎng)站建設(shè)、鳳陽網(wǎng)站制作、鳳陽網(wǎng)頁制作以及鳳陽網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，鳳陽網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到鳳陽省份的部分城市，未來相信會繼續(xù)擴大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！


軟件版本： Hadoop 2.8.0    Hbase 1.3.1    Zookeeper 3.4.9


集群規(guī)劃：

主機名IP
hadoop01192.168.1.61
hadoop02192.168.1.62
hadoop03192.168.1.63

一、服務(wù)器初始配置 (所有服務(wù)器執(zhí)行)


1、按集群規(guī)劃修改主機名及IP地址。

2、關(guān)閉防火墻       

systemctl stop firewalld.service
systemctl disable firewalld.service

3、關(guān)閉Selinux

sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
sed -i "s/SELINUXTYPE=targeted/#SELINUXTYPE=targeted/g" /etc/selinux/config

4、安裝yum源及軟件

yum install epel-release -y

yum install yum-axelget -y

yum install expect wget unzip bash-completion vim* -y

echo "alias vi='vim'">>/etc/bashrc

5、添加host

echo "
192.168.1.61	hadoop01
192.168.1.62	hadoop02
192.168.1.63	hadoop03
">>/etc/hosts

6、配置免密碼登錄

#在所有服務(wù)器執(zhí)行以下操作

ssh-keygen

#一路回車

#在hadoop01執(zhí)行以下操作

cd /root/.ssh

cat id_rsa.pub >>authorized_keys

scp authorized_keys hadoop02:/root/.ssh

#在hadoop02執(zhí)行以下操作

cd /root/.ssh

cat id_rsa.pub >>authorized_keys

scp authorized_keys hadoop03:/root/.ssh

#在hadoop03執(zhí)行以下操作

cd /root/.ssh

cat id_rsa.pub >>authorized_keys

scp authorized_keys hadoop01:/root/.ssh

scp authorized_keys hadoop02:/root/.ssh

#驗證配置

#在任意服務(wù)器ssh其他服務(wù)器，是否可直接登錄

7、安裝JDK

cd /tmp

#去官網(wǎng)下載jdk-8u131-linux-x64.rpm

yum install jdk-8u131-linux-x64.rpm -y

8、添加系統(tǒng)變量

echo "
export JAVA_HOME=/usr/java/jdk1.8.0_131
export PATH=\$PATH:\$JAVA_HOME/bin
export HADOOP_HOME=/data/hadoop
export PATH=\$PATH:\$HADOOP_HOME/bin
export ZK_HOME=/data/zk
export PATH=\$PATH:\$ZK_HOME/bin
export HBASE_HOME=/data/hbase
export PATH=\$PATH:\$HBASE_HOME/bin
">>/etc/profile

9、系統(tǒng)升級并重啟

yum update -y

reboot

二、Zookeeper集群部署 

1、下載安裝

#在所有服務(wù)器執(zhí)行

mkdir /data
cd /tmp
wget https://archive.apache.org/dist/zookeeper/stable/zookeeper-3.4.9.tar.gz
tar zxvf zookeeper-3.4.9.tar.gz
mv zookeeper-3.4.9 /data/zk
mkdir /data/zk/logs
mkdir /data/zk/data
chown -R root:root /data/zk

2、添加配置文件

#在所有服務(wù)器執(zhí)行

cat >>/data/zk/conf/zoo.cfg<
3、設(shè)置myid
#在hadoop01執(zhí)行

echo "1" > /data/zk/data/myid

#在hadoop02執(zhí)行

echo "2" > /data/zk/data/myid

#在hadoop03執(zhí)行

echo "3" > /data/zk/data/myid
4、添加開機啟動腳本并配置系統(tǒng)服務(wù)
echo "[Unit]
Description=Zookeeper
After=syslog.target network.target remote-fs.target nss-lookup.target
 
[Service]
Type=forking
PIDFile=/data/zk/data/zookeeper_server.pid
ExecStart=/data/zk/bin/zkServer.sh start
ExecStop=/data/zk/bin/zkServer.sh stop
[Install]
WantedBy=multi-user.target
">>/usr/lib/systemd/system/zookeeper.service

systemctl enable zookeeper.service
systemctl start zookeeper.service
systemctl status -l zookeeper.service
5、驗證配置
#在任意服務(wù)器上執(zhí)行

zkServer.sh status
Hadoop+Hbase+Zookeeper集群配置
三、Hadoop集群部署
1、下載安裝
cd /tmp

wget
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz
 
tar zxvf hadoop-2.8.0.tar.gz

mv hadoop-2.8.0 /data/hadoop

cd /data/hadoop/

mkdir tmp hdfs

mkdir hdfs/name hdfs/tmp hdfs/data

chown -R root:root /data/hadoop/
2、修改/usr/hadoop/etc/hadoop/hadoop-env.sh
#修改第25行jdk環(huán)境變量

export JAVA_HOME=/usr/java/jdk1.8.0_131

#修改第33行，配置文件目錄位置

export HADOOP_CONF_DIR=/data/hadoop/etc/hadoop
 
3、修改/usr/hadoop/etc/hadoop/core-site.xml,修改后文件如下：





	   
		hadoop.tmp.dir   
		/data/hadoop/tmp   
		true
		A base for other temporary directories.   
	
	 
	   
		fs.default.name   
		hdfs://192.168.1.61:9000  
		true   
	
	
	    
		 io.file.buffer.size    
		 131072    
	  

	    
		ha.zookeeper.quorum    
		192.168.1.61:2181,192.168.1.62:2181,192.168.1.63:2181  
	
			

4、修改/usr/hadoop/etc/hadoop/hdfs-site.xml，修改后文件如下：





    
        dfs.replication
        2
    
    
    
        dfs.name.dir
        /data/hadoop/hdfs/name
    
    
    
        dfs.data.dir
        /data/hadoop/hdfs/data
    
    
    
         dfs.namenode.secondary.http-address
         192.168.1.61:9001
    
    
    
         dfs.webhdfs.enabled
         true
    
    
    
         dfs.permissions
         false
     


5、復(fù)制并修改/usr/hadoop/etc/hadoop/mapred-site.xml
cd /data/hadoop/etc/hadoop/

cp mapred-site.xml.template mapred-site.xml





        
          mapreduce.framework.name    
          yarn    
     


6、修改/usr/hadoop/etc/hadoop/yarn-site.xml，修改后文件如下：




	
	  yarn.resourcemanager.address
	  192.168.1.61:18040
	
	
	
	  yarn.resourcemanager.scheduler.address
	  192.168.1.61:18030
	
	
	
	  yarn.resourcemanager.webapp.address
	  192.168.1.61:18088
	
	
	
	  yarn.resourcemanager.resource-tracker.address
	  192.168.1.61:18025
	
    
	
	  yarn.resourcemanager.admin.address
	  192.168.1.61:18141
	
	
	
	  yarn.nodemanager.aux-services
	  mapreduce_shuffle
	
    
	
	  yarn.nodemanager.aux-services.mapreduce.shuffle.class
	  org.apache.hadoop.mapred.ShuffleHandler
	


7、配置/usr/hadoop/etc/hadoop/slaves，修改后文件如下：
192.168.1.61
192.168.1.62
192.168.1.63
8、將Hadoop安裝文件夾復(fù)制到其他服務(wù)器
scp -r /data/hadoop hadoop02:/data

scp -r /data/hadoop hadoop03:/data
9、格式化HDFS文件系統(tǒng)
hadoop namenode -format
Hadoop+Hbase+Zookeeper集群配置
10、啟動hadoop集群
cd /data/hadoop/sbin/

./start-all.sh

#此命令會直接啟動所有節(jié)點，只在hadoop01服務(wù)器上執(zhí)行即可
11、驗證配置
#查看集群狀態(tài)

hadoop dfsadmin -report
Hadoop+Hbase+Zookeeper集群配置
Hadoop+Hbase+Zookeeper集群配置
Hadoop+Hbase+Zookeeper集群配置
Hadoop+Hbase+Zookeeper集群配置
通過頁面 http://192.168.1.61:50070/dfshealth.html 查看
Hadoop+Hbase+Zookeeper集群配置
四、Hbase集群部署
1、下載安裝
cd /tmp

wget http://apache.fayea.com/hbase/1.3.1/hbase-1.3.1-bin.tar.gz

tar zxvf hbase-1.3.1-bin.tar.gz

mv hbase-1.3.1 /data/hbase

chown -R root:root /data/hbase/
2、修改/data/hbase/conf/hbase-env.sh,修改后文件如下：
#修改第27行jdk環(huán)境變量

export JAVA_HOME=/usr/java/jdk1.8.0_131

#修改第128行禁用自有Zookeeper

export HBASE_MANAGES_ZK=false
3、修改/data/hbase/conf/hbase-site.xml,修改后文件如下：





    
        hbase.rootdir
        hdfs://192.168.1.61:9000/hbase
    
     
    
        hbase.cluster.distributed
        true
    
     
    
        hbase.zookeeper.quorum
        192.168.1.61:2181,192.168.1.62:2181,192.168.1.63:2181
    
      
    
        hbase.master.port
        16000
    
     
    
        hbase.master.info.port
        16010
    


4、修改/data/hbase/conf/regionservers,修改后文件如下：
192.168.1.61
192.168.1.62
192.168.1.63
5、復(fù)制Hadoop配置文件到hbase配置文件目錄下
cd /data/hbase/conf/

cp /data/hadoop/etc/hadoop/core-site.xml .

cp /data/hadoop/etc/hadoop/hdfs-site.xml .
6、將Hbase安裝文件夾復(fù)制到其他服務(wù)器
scp -r /data/hbase hadoop02:/data

scp -r /data/hbase hadoop03:/data
7、啟動Hbase集群
cd /data/hbase/bin/

./start-hbase.sh

#此命令會直接啟動所有節(jié)點，只在hadoop01服務(wù)器上執(zhí)行即可
8、驗證安裝
#進入shell

hbase shell
Hadoop+Hbase+Zookeeper集群配置
通過頁面 http://192.168.1.61:16010 查看
Hadoop+Hbase+Zookeeper集群配置
集群配置全部完成！
            
            
                        

            分享文章：Hadoop+Hbase+Zookeeper集群配置            

            網(wǎng)站URL：http://weahome.cn/article/pdjssc.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220（工作日）

18980820575（7×24）

提交需求

返回頂部