這篇文章給大家介紹kafka背景及架構(gòu)如何理解，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對(duì)大家能有所幫助。

十多年專(zhuān)注成都網(wǎng)站制作，企業(yè)網(wǎng)站建設(shè)，個(gè)人網(wǎng)站制作服務(wù)，為大家分享網(wǎng)站制作知識(shí)、方案，網(wǎng)站設(shè)計(jì)流程、步驟,成功服務(wù)上千家企業(yè)。為您提供網(wǎng)站建設(shè),網(wǎng)站制作,網(wǎng)頁(yè)設(shè)計(jì)及定制高端網(wǎng)站建設(shè)服務(wù),專(zhuān)注于企業(yè)網(wǎng)站建設(shè),高端網(wǎng)頁(yè)制作,對(duì)成都VR全景等多個(gè)方面，擁有豐富的網(wǎng)站設(shè)計(jì)經(jīng)驗(yàn)。

背景及架構(gòu)介紹

一、 背景

什么是kafka呢，他是LinkedIn開(kāi)發(fā)的一個(gè)分布式消息系統(tǒng)，用scala編寫(xiě)的，可以水平擴(kuò)展和高吞吐率。

原本開(kāi)發(fā)自L(fǎng)inkedIn，用作他們的活動(dòng)流和運(yùn)營(yíng)數(shù)據(jù)處理管道的基礎(chǔ)，之后被多家公司使用，慢慢發(fā)展壯大起來(lái)。

二、 簡(jiǎn)單介紹

kafka是分布式的，基于發(fā)布/訂閱的消息系統(tǒng)。

1、 即使對(duì)TB級(jí)以上數(shù)據(jù)也能保證常數(shù)時(shí)間復(fù)雜度的訪(fǎng)問(wèn)性能。

2、 高吞吐率：即使在非常廉價(jià)的商用機(jī)器上也能做到單機(jī)支持每秒100k條以上消息的傳輸。

3、 支持分區(qū)，消息分布式消費(fèi)，但是只能保證每個(gè)partition內(nèi)的消息順序傳輸。并且支持在線(xiàn)水平擴(kuò)展。

為何使用消息中間件呢，大家肯定接觸過(guò)rabbitmq、activemq、redis等，估計(jì)有很多感觸。我就不詳細(xì)描述了，這個(gè)只能親身參加過(guò)大的技術(shù)架構(gòu)，自己身在其中，并且感受到不用消息中間件和用的區(qū)別。

三、 架構(gòu)

了解架構(gòu)之前，我們先了解一下基本名詞。

Broker：安裝了kafka的服務(wù)器就是一個(gè)broker。

Topic：消息的類(lèi)比，最好一類(lèi)數(shù)據(jù)定一個(gè)topic去存儲(chǔ)傳輸。

Partition:分區(qū)，topic可以定分到幾個(gè)分區(qū)中。

Producer：發(fā)送消息，發(fā)送者。

Consumer：消費(fèi)消息，消費(fèi)者。

Consumer Group：每個(gè)Consumer屬于一個(gè)特定的Consumer Group。

從圖中來(lái)看，kafka集群包含若干個(gè)producer和consumer以及broker，還有一個(gè)zk集群。Producer通過(guò)push模式將數(shù)據(jù)發(fā)送到broker，Consumer通過(guò)pull模式拉取數(shù)據(jù)。

Producer發(fā)送消息到broker時(shí)，根據(jù)partition機(jī)制選擇分不到哪一個(gè)partition，設(shè)置合理的情況下，所有消息可    

以均勻分不到不同的partition里，實(shí)現(xiàn)了負(fù)載均衡。

關(guān)于kafka背景及架構(gòu)如何理解就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺(jué)得文章不錯(cuò)，可以把它分享出去讓更多的人看到。