Kafka內(nèi)核中的分布式機(jī)制實(shí)現(xiàn)是怎樣的，相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策，為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法，通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。
一個(gè)Topic中的所有數(shù)據(jù)分布式的存儲(chǔ)在kafka集群的所有機(jī)器(broker)上，以分區(qū)(partition)的的形式進(jìn)行數(shù)據(jù)存儲(chǔ);每個(gè)分區(qū)允許存在備份數(shù)據(jù)/備份分區(qū)(存儲(chǔ)在同一kafka集群的其它broker上的分區(qū))
每個(gè)數(shù)據(jù)分區(qū)在Kafka集群中存在一個(gè)broker節(jié)點(diǎn)上的分區(qū)叫做leader，存儲(chǔ)在其它broker上的備份分區(qū)叫做followers;只有l(wèi)eader節(jié)點(diǎn)負(fù)責(zé)該分區(qū)的數(shù)據(jù)讀寫操作，followers節(jié)點(diǎn)作為leader節(jié)點(diǎn)的熱備節(jié)點(diǎn)，從leader節(jié)點(diǎn)備份數(shù)據(jù);當(dāng)leader節(jié)點(diǎn)掛掉的時(shí)候，followers節(jié)點(diǎn)中會(huì)有一個(gè)節(jié)點(diǎn)變成leader節(jié)點(diǎn)，重新提供服務(wù)
Kafka集群的Partition的leader和followers切換依賴Zookeeper
Kafka分布式保證的第一個(gè)特性就是：Kafka的Replication
Kafka的Replication指的是Partition的復(fù)制，一個(gè)Partition的所有分區(qū)中只有一個(gè)分區(qū)是leader節(jié)點(diǎn)，其它分區(qū)是follower節(jié)點(diǎn)。
Replication對(duì)Kafka的吞吐率有一定的影響，但是極大的增強(qiáng)了可用性
Follower節(jié)點(diǎn)會(huì)定時(shí)的從leader節(jié)點(diǎn)上獲取增量數(shù)據(jù)，一個(gè)活躍的follower節(jié)點(diǎn)必須滿足一下兩個(gè)條件：
1. 所有的節(jié)點(diǎn)必須維護(hù)和zookeeper的連接(通過(guò)zk的heartbeat實(shí)現(xiàn))
2. follower必須能夠及時(shí)的將leader上的writing復(fù)制過(guò)來(lái)，不能“落后太多”; “落后太多”由參數(shù){replica.lag.time.max.ms}和{replica.lag.max.messages}決定
Kafka分布式保證的第二個(gè)特性就是：Kafka Leader Election
Kafka提供了一個(gè)in-sync replicas(ISR)來(lái)確保Kafka的Leader選舉，ISR是一個(gè)保存分區(qū)node的集合，如果一個(gè)node宕機(jī)了或數(shù)據(jù)“落后太多”，leader會(huì)將該node節(jié)點(diǎn)從ISR中移除，只有ISR中的follower節(jié)點(diǎn)才有可能成為leader節(jié)點(diǎn)
Leader節(jié)點(diǎn)的切換基于Zookeeper的Watcher機(jī)制，當(dāng)leader節(jié)點(diǎn)宕機(jī)的時(shí)候，其他ISR中的follower節(jié)點(diǎn)會(huì)競(jìng)爭(zhēng)的在zk中創(chuàng)建一個(gè)文件目錄(只會(huì)有一個(gè)follower節(jié)點(diǎn)創(chuàng)建成功)，創(chuàng)建成功的follower節(jié)點(diǎn)成為leader節(jié)點(diǎn)
看完上述內(nèi)容，你們掌握Kafka內(nèi)核中的分布式機(jī)制實(shí)現(xiàn)是怎樣的的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司行業(yè)資訊頻道，感謝各位的閱讀！
重慶分公司
重慶分公司
