這篇文章給大家分享的是有關(guān)Kafka特性有哪些的內(nèi)容。小編覺得挺實(shí)用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

創(chuàng)新互聯(lián)公司堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：網(wǎng)站設(shè)計(jì)、網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的義縣網(wǎng)站設(shè)計(jì)、移動媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

Kafka誕生：由 linked-in 開源

kafka-即是解決這類問題的一個框架，它實(shí)現(xiàn)了生產(chǎn)者和消費(fèi)者之間的無縫連接。

kafka-高產(chǎn)出的分布式消息系統(tǒng)(A high-throughput distributed messaging system)

Kafka特性：它形容自己的設(shè)計(jì)是獨(dú)一無二的，先看一下它有如何過人之處：

• 快：單個kafka服務(wù)每秒可處理數(shù)以千計(jì)客戶端發(fā)來的幾百M(fèi)B數(shù)據(jù)。

• 可擴(kuò)展性：一個單一集群可作為一個大數(shù)據(jù)處理中樞，集中處理各種類型業(yè)務(wù)

• 持久化：消息被持久化到磁盤（可處理TB數(shù)據(jù)級別數(shù)據(jù)但仍保持極高數(shù)據(jù)處理效率），并且有備份容錯機(jī)制

• 分布式：著眼于大數(shù)據(jù)領(lǐng)域，支持分布式，集群可處理每秒百萬級別消息

• 實(shí)時性：生產(chǎn)出的消息可立即被消費(fèi)者消費(fèi)

     我們可以看到，每個Partition中的消息都是有序的，生產(chǎn)的消息被不斷追加到Partition log上，其中的每一個消息都被賦予了一個唯一的offset值。

     Kafka集群會保存所有的消息，不管消息有沒有被消費(fèi)；我們可以設(shè)定消息的過期時間，只有過期的數(shù)據(jù)才會被自動清除以釋放磁盤空間。比如我們設(shè)置消息過期時間為2天，那么這2天內(nèi)的所有消息都會被保存到集群中，數(shù)據(jù)只有超過了兩天才會被清除。

     Kafka需要維持的元數(shù)據(jù)只有一個--消費(fèi)消息在Partition中的offset值，Consumer每消費(fèi)一個消息，offset就會加1。其實(shí)消息的狀態(tài)完全是由Consumer控制的，Consumer可以跟蹤和重設(shè)這個offset值，這樣的話Consumer就可以讀取任意位置的消息。

     把消息日志以Partition的形式存放有多重考慮，第一，方便在集群中擴(kuò)展，每個Partition可以通過調(diào)整以適應(yīng)它所在的機(jī)器，而一個topic又可以有多個Partition組成，因此整個集群就可以適應(yīng)任意大小的數(shù)據(jù)了；第二就是可以提高并發(fā)，因?yàn)榭梢砸訮artition為單位讀寫了。

分布式：

     這些Partitions分布在集群的每一臺server上，而每一個Partition在集群中都可以有多個備份，這個備份數(shù)量是可配置的。

     每個Partition都有一個leader server，而其他備份的server都稱為followers，只有l(wèi)eader服務(wù)器才會處理這個Partition上所有的讀寫請求，而其它followers則被動的復(fù)制leader上的數(shù)據(jù)。如果一個leader掛掉了，followers中的一個服務(wù)器則會自動升級為leader。因此，其實(shí)集群中的每個服務(wù)器都扮演著一個Partition的leader服務(wù)器，和其它Partition的follower服務(wù)器。

Producers:

     Producer可以根據(jù)自己的選擇發(fā)布消息到一個主題，Producer也可以自己決定把消息發(fā)布到這個主題的哪個Partition，當(dāng)然我們可以選擇API提供的簡單的分區(qū)選擇算法，也可以自己去實(shí)現(xiàn)一個分區(qū)選擇算法。

Consumers:

     消息傳遞通常由兩種模式，queuing（隊(duì)列）和publish-subscribe （發(fā)布-訂閱）

• queuing：每個Consumer從消息隊(duì)列中取走一個消息

• pub-scrib:消息被廣播到每個Consumer     

     Kafka通過提供了一個對Consumer的抽象來同時實(shí)現(xiàn)這兩種模式-ConsumerGroup。Consumer實(shí)例需要給自己指定一個ConsumerGroup的名字，如果所有的實(shí)例都用同一個ConsumerGroup名字，那么這些Consumer就會以queuing的模式工作；如果所有的實(shí)例分別用的不同的ConsumerGroup名字，那么它們就以public-subscribe模式工作。

如下圖所示：含兩臺server的集群一共有p0~p3四個Partition，兩個Consumer Group，在Group內(nèi)部是以queuing的模式消費(fèi)Partition，在Group之間是以pub-scrib模式消費(fèi)。

消息順序性：

     Kafka是如何確保消息消費(fèi)的順序性的呢？前面講到過Partition，消息在一個Partition中的順序是有序的，但是Kafka只保證消息在一個Partition中有序，如果要想使整個topic中的消息有序，那么一個topic僅設(shè)置一個Partition即可。

感謝各位的閱讀！關(guān)于“Kafka特性有哪些”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，讓大家可以學(xué)到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！