這篇文章將為大家詳細(xì)講解有關(guān)Kafka的核心實(shí)踐是什么，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

創(chuàng)新互聯(lián)公司主要企業(yè)基礎(chǔ)官網(wǎng)建設(shè)，電商平臺(tái)建設(shè)，移動(dòng)手機(jī)平臺(tái)，小程序開發(fā)等一系列專為中小企業(yè)按需網(wǎng)站設(shè)計(jì)產(chǎn)品體系；應(yīng)對(duì)中小企業(yè)在互聯(lián)網(wǎng)運(yùn)營的各種問題，為中小企業(yè)在互聯(lián)網(wǎng)的運(yùn)營中保駕護(hù)航。

Kafka的核心實(shí)踐

1.版本升級(jí)

之前大數(shù)據(jù)平臺(tái)一直使用的是0.8.3這一Kafka早期版本，而截止到當(dāng)前，Kafka官方新的Release版本已經(jīng)到了2.3，于是長期使用0.8版本過程中漸漸遇到的很多瓶頸和問題，我們是能夠通過版本升級(jí)來解決的。

舉例來說，以下是一些之前使用舊版時(shí)常見的問題：

缺少對(duì)Security的支持:存在數(shù)據(jù)安全性問題及無法通過認(rèn)證授權(quán)對(duì)資源使用細(xì)粒度管理

brokerunderreplicated：發(fā)現(xiàn)broker處于underreplicated狀態(tài)，但不確定問題的產(chǎn)生原因，難以解決。

新的feature無法使用：如事務(wù)消息、冪等消息、消息時(shí)間戳、消息查詢等。

客戶端的對(duì)offset的管理依賴zookeeper,對(duì)zookeeper的使用過重,增加運(yùn)維的復(fù)雜度

監(jiān)控指標(biāo)不完善：如topic、partition、broker的數(shù)據(jù)size指標(biāo),同時(shí)kafkamanager等監(jiān)控工具對(duì)低版本kafka支持不好

同時(shí)對(duì)一些目標(biāo)版本的特性進(jìn)行了選型調(diào)研，如：

0.9版本,增加了配額和安全性,其中安全認(rèn)證和授權(quán)是我們最關(guān)注的功能

0.10版本，更細(xì)粒度的時(shí)間戳.可以基于偏移量進(jìn)行快速的數(shù)據(jù)查找，找到所要的時(shí)間戳。這在實(shí)時(shí)數(shù)據(jù)處理中基于Kafka數(shù)據(jù)源的數(shù)據(jù)重播是極其重要的

0.11版本,冪等性和Transactions的支持及副本數(shù)據(jù)丟失/數(shù)據(jù)不一致的解決。

1.1版本，運(yùn)維性的提升。比如當(dāng)ControllerShutDown，想要關(guān)閉一個(gè)Broker的時(shí)候，之前需要一個(gè)很長很復(fù)雜的過程在1.0版本得到很大的改善。

最終選擇1.1版本,則是因?yàn)槌鲇贑amus與Kafka版本的兼容性及1.1版本已經(jīng)滿足了使用場景中重要新特性的支持的綜合考量。這里再簡單說一下Camus組件，同樣是由Linkedin開源，在我們的大數(shù)據(jù)平臺(tái)中主要作為Kafka數(shù)據(jù)Dump到HDFS的重要方式。

關(guān)于Kafka的核心實(shí)踐是什么就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

網(wǎng)站標(biāo)題：Kafka的核心實(shí)踐是什么-創(chuàng)新互聯(lián)
轉(zhuǎn)載來源：http://weahome.cn/article/ehdpj.html