分布式集群如何實現(xiàn)使用Kafka多節(jié)點搭建？相信很多沒有經(jīng)驗的人對此束手無策，為此本文總結(jié)了問題出現(xiàn)的原因和解決方法，通過這篇文章希望你能解決這個問題。

創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),封丘企業(yè)網(wǎng)站建設(shè),封丘品牌網(wǎng)站建設(shè),網(wǎng)站定制,封丘網(wǎng)站建設(shè)報價,網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,封丘網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競爭力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時我們時刻保持專業(yè)、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實用型網(wǎng)站。

多節(jié)點分布式集群結(jié)構(gòu)如下圖所示：

為了方便查閱，本篇將和上一篇一樣從零開始一步一步進(jìn)行集群搭建。

一、安裝Jdk

具體安裝步驟可參考linux安裝jdk。

二、安裝與配置zookeeper

下載地址：https://www-us.apache.org/dist/zookeeper/stable/

下載二進(jìn)制壓縮包zookeeper-3.4.14.tar.gz，然后上傳到linux服務(wù)器指定目錄下，本次上傳目錄為/software，然后執(zhí)行如下命令安裝：

cd /software
tar -zxvf zookeeper-3.4.14.tar.gz
mv zookeeper-3.4.14 /usr/local/zookeeper
cd /usr/local/zookeeper/conf
mv zoo_sample.cfg zoo1.cfg

編輯zoo1.cfg,配置相關(guān)參數(shù)如下：

tickTime=2000
initLimit=5
syncLimit=2
dataDir=/usr/local/zookeeper/data/zookeeper1
clientPort=2181
server.1=192.168.184.128:2888:3888
server.2=192.168.184.128:2889:3889
server.3=192.168.184.128:2890:3890

其中：

tickTime：Zookeeper最小的時間單位，用于丈量心跳和超時時間，一般設(shè)置默認(rèn)值2秒；

initLimit：指定follower節(jié)點初始時連接leader節(jié)點的較大tick此處，設(shè)置為5，表示follower必須在5xtickTime即10秒內(nèi)連接上leader,否則視為超時；

syncLimit：設(shè)定follower節(jié)點與leader節(jié)點進(jìn)行同步的較大時間，設(shè)置為2，表示較大時間為2xtickTime即4秒時間；

dataDir：Zookeeper會在內(nèi)存中保存系統(tǒng)快照，并定期寫入該路徑指定的文件夾中，生產(chǎn)環(huán)境需要特別注意該文件夾的磁盤占用情況；　

clientPort：Zookeeper監(jiān)聽客戶端連接的端口號，默認(rèn)為2181，同一服務(wù)器上不同實例之間應(yīng)該有所區(qū)別；

server.X=host:port1:port2:此處X的取值范圍在1~255之間，必須是全局的且和myid文件中的數(shù)字對應(yīng)（myid文件后面說明）,host是各個節(jié)點的主機(jī)名，port1通常是2888，用于使follower節(jié)點連接leader節(jié)點，port2通常是3888，用于leader選舉，zookeeper在不同服務(wù)器上的時候，不同zookeeper服務(wù)器的端口號可以重復(fù)，在同一臺服務(wù)器上的時候需要有所區(qū)別。

1.配置zoo.cfg文件

單節(jié)點安裝zookeeper的時候，僅有一份zoo.cfg文件，多節(jié)點安裝的時候，每個zookeeper服務(wù)器就應(yīng)該有一個zoo.cfg配置文件。如果在一臺服務(wù)器安裝zookeeper多實例集群，則需要在conf目錄下分別配置每個實例的zoo.cfg，同時創(chuàng)建每個zookeeper實例自己的數(shù)據(jù)存儲目錄。本次在一臺服務(wù)器上配置多個zookeeper實例，執(zhí)行如下命令創(chuàng)建數(shù)據(jù)存儲目錄并復(fù)制配置文件：

mkdir -p /usr/local/zookeeper/data/zookeeper1
mkdir -p /usr/local/zookeeper/data/zookeeper2
mkdir -p /usr/local/zookeeper/data/zookeeper3
cd /usr/local/zookeeper/conf/
cp zoo1.cfg zoo2.cfg
cp zoo1.cfg zoo3.cfg

復(fù)制后分別修改zoo2.cfg,zoo3.cfg中的配置，修改后的配置如下：

zoo1.cfg的配置如下:

zoo2.cfg的配置如下:

zoo3.cfg中的配置如下：

2.myid文件創(chuàng)建與配置

前面提到zoo.cfg文件中的server.X中的X應(yīng)該與myid中的數(shù)字相對應(yīng)。除此之外，myid文件必須存放在每個zookeeper實例的data目錄下，對應(yīng)本次安裝應(yīng)該位于/usr/local/zookeeper/data/zookeeper1，2,3目錄下，執(zhí)行如下命令進(jìn)行配置：

echo '1' > /usr/local/zookeeper/data/zookeeper1/myid
echo '2' > /usr/local/zookeeper/data/zookeeper2/myid
echo '3' > /usr/local/zookeeper/data/zookeeper3/myid

3.啟動zookeeper服務(wù)器

使用如下命令啟動zookeeper集群:

cd /usr/local/zookeeper/bin/
./zkServer.sh start ../conf/zoo1.cfg
./zkServer.sh start ../conf/zoo2.cfg
./zkServer.sh start ../conf/zoo3.cfg

啟動后，使用如下命令查看集群狀態(tài):

cd /usr/local/zookeeper/bin/
./zkServer.sh status ../conf/zoo1.cfg./zkServer.sh status ../conf/zoo2.cfg./zkServer.sh status ../conf/zoo3.cfg

回顯信息如下：

可以看到有兩個follower節(jié)點，一個leader節(jié)點。

三、安裝與配置kafka集群

下載地址：http://kafka.apache.org/downloads.html

1.數(shù)據(jù)目錄和配置文件創(chuàng)建

目前新版本是2.2.0,本次下載2.1.1版本的安裝包，然后上傳壓縮包到服務(wù)器指定目錄，本次上傳目錄為/software，然后執(zhí)行以下命令進(jìn)行安裝:

tar -zxvf kafka_2.12-2.1.1.tgz
mv kafka_2.12-2.1.1 /usr/local/kafka
mkdir -p /usr/local/kafka/logs/kafka1
mkdir -p /usr/local/kafka/logs/kafka2
mkdir -p /usr/local/kafka/logs/kafka3
cd /usr/local/kafka/config/
mv server.properties server1.properties

通過執(zhí)行上面的命令，我們在/usr/local/kafka/logs文件夾中創(chuàng)建了kafka1,kafka2,kafka3三個文件夾用于存放三個kafka實例的數(shù)據(jù)，同時將/usr/local/kafka/config/文件夾下的server.properties重命名為server1.properties用于配置kafka的第一個實例。

2.配置屬性文件

接下來配置server1.properties文件，主要配置參數(shù)如下：

broker.id=1：設(shè)置kafka broker的id，本次分別為1,2,3；

delete.topic.enable=true:開啟刪除topic的開關(guān)；

listeners=PLAINTEXT://192.168.184.128:9092：設(shè)置kafka的監(jiān)聽地址和端口號，本次分別設(shè)置為9092,9093,9094；

log.dirs=/usr/local/kafka/logs/kafka1：設(shè)置kafka日志數(shù)據(jù)存儲路徑；

zookeeper.connect=192.168.184.128:2181,192.168.184.128:2182,192.168.184.128:2183：設(shè)置kafka連接的zookeeper訪問地址,集群環(huán)境需要配置所有zookeeper的訪問地址;

unclean.leader.election.enable=false：為true則代表允許選用非isr列表的副本作為leader，那么此時就意味著數(shù)據(jù)可能丟失，為false的話，則表示不允許，直接拋出NoReplicaOnlineException異常，造成leader副本選舉失敗。

zookeeper.connection.timeout.ms=6000：設(shè)置連接zookeeper服務(wù)器超時時間為6秒。

配置完成后，復(fù)制server1.properties兩份分別用于配置kafka的第二個，第三個節(jié)點：

復(fù)制代碼 代碼如下:
新聞標(biāo)題：分布式集群如何實現(xiàn)使用Kafka多節(jié)點搭建-創(chuàng)新互聯(lián)
鏈接URL：http://weahome.cn/article/dcjepj.html