Kafka內(nèi)核中的分布式機(jī)制實(shí)現(xiàn)是怎樣的，相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策，為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法，通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。

成都創(chuàng)新互聯(lián)成立于2013年，是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司，擁有項(xiàng)目成都做網(wǎng)站、成都網(wǎng)站制作網(wǎng)站策劃，項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命，1280元藍(lán)山做網(wǎng)站,已為上家服務(wù),為藍(lán)山各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:18980820575

一個(gè)Topic中的所有數(shù)據(jù)分布式的存儲(chǔ)在kafka集群的所有機(jī)器(broker)上，以分區(qū)(partition)的的形式進(jìn)行數(shù)據(jù)存儲(chǔ);每個(gè)分區(qū)允許存在備份數(shù)據(jù)/備份分區(qū)(存儲(chǔ)在同一kafka集群的其它broker上的分區(qū))

每個(gè)數(shù)據(jù)分區(qū)在Kafka集群中存在一個(gè)broker節(jié)點(diǎn)上的分區(qū)叫做leader，存儲(chǔ)在其它broker上的備份分區(qū)叫做followers;只有l(wèi)eader節(jié)點(diǎn)負(fù)責(zé)該分區(qū)的數(shù)據(jù)讀寫操作，followers節(jié)點(diǎn)作為leader節(jié)點(diǎn)的熱備節(jié)點(diǎn)，從leader節(jié)點(diǎn)備份數(shù)據(jù);當(dāng)leader節(jié)點(diǎn)掛掉的時(shí)候，followers節(jié)點(diǎn)中會(huì)有一個(gè)節(jié)點(diǎn)變成leader節(jié)點(diǎn)，重新提供服務(wù)

Kafka集群的Partition的leader和followers切換依賴Zookeeper

Kafka分布式保證的第一個(gè)特性就是：Kafka的Replication

Kafka的Replication指的是Partition的復(fù)制，一個(gè)Partition的所有分區(qū)中只有一個(gè)分區(qū)是leader節(jié)點(diǎn)，其它分區(qū)是follower節(jié)點(diǎn)。

Replication對(duì)Kafka的吞吐率有一定的影響，但是極大的增強(qiáng)了可用性

Follower節(jié)點(diǎn)會(huì)定時(shí)的從leader節(jié)點(diǎn)上獲取增量數(shù)據(jù)，一個(gè)活躍的follower節(jié)點(diǎn)必須滿足一下兩個(gè)條件：

1. 所有的節(jié)點(diǎn)必須維護(hù)和zookeeper的連接(通過(guò)zk的heartbeat實(shí)現(xiàn))

2. follower必須能夠及時(shí)的將leader上的writing復(fù)制過(guò)來(lái)，不能“落后太多”; “落后太多”由參數(shù){replica.lag.time.max.ms}和{replica.lag.max.messages}決定

Kafka分布式保證的第二個(gè)特性就是：Kafka Leader Election

Kafka提供了一個(gè)in-sync replicas(ISR)來(lái)確保Kafka的Leader選舉，ISR是一個(gè)保存分區(qū)node的集合，如果一個(gè)node宕機(jī)了或數(shù)據(jù)“落后太多”，leader會(huì)將該node節(jié)點(diǎn)從ISR中移除，只有ISR中的follower節(jié)點(diǎn)才有可能成為leader節(jié)點(diǎn)

Leader節(jié)點(diǎn)的切換基于Zookeeper的Watcher機(jī)制，當(dāng)leader節(jié)點(diǎn)宕機(jī)的時(shí)候，其他ISR中的follower節(jié)點(diǎn)會(huì)競(jìng)爭(zhēng)的在zk中創(chuàng)建一個(gè)文件目錄(只會(huì)有一個(gè)follower節(jié)點(diǎn)創(chuàng)建成功)，創(chuàng)建成功的follower節(jié)點(diǎn)成為leader節(jié)點(diǎn)

看完上述內(nèi)容，你們掌握Kafka內(nèi)核中的分布式機(jī)制實(shí)現(xiàn)是怎樣的的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！