Kafka中怎么保證消息不丟失重復(fù)，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來(lái)學(xué)習(xí)下，希望你能有所收獲。

網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)！專(zhuān)注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、小程序開(kāi)發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶(hù)創(chuàng)新互聯(lián)還提供了磴口免費(fèi)建站歡迎大家使用！

• 消費(fèi)端重復(fù)消費(fèi)：

• 建立去重表

• 消費(fèi)端丟失數(shù)據(jù)：

• 關(guān)閉自動(dòng)提交offset，處理完之后受到移位

• 生產(chǎn)端重復(fù)發(fā)送：

• 這個(gè)不重要，消費(fèi)端消費(fèi)之前從去重表中判重就可以

• 生產(chǎn)端丟失數(shù)據(jù)：

• 1、異步方式緩沖區(qū)滿了，就阻塞在那，等著緩沖區(qū)可用，不能清空緩沖區(qū)

• 2、發(fā)送消息之后回調(diào)函數(shù)，發(fā)送成功就發(fā)送下一條，

• 發(fā)送失敗就記在日志里，等著定時(shí)腳本（定時(shí)器）來(lái)掃描

• （發(fā)送失敗可能并不真的發(fā)送失敗，只是沒(méi)收到反饋，定時(shí)腳本可能會(huì)重發(fā)）

• 解決策略:

如何保證有序（同步發(fā)送能保證順序）：

• 同步發(fā)送模式：發(fā)出消息后，必須阻塞等待收到通知后，才發(fā)送下一條消息

• 異步發(fā)送模式：一直往緩沖區(qū)寫(xiě)，然后一把寫(xiě)到隊(duì)列中去

• 兩者都是各有利弊：

• 同步發(fā)送模式雖然吞吐量小，但是發(fā)一條收到確認(rèn)后再發(fā)下一條，既能保證不丟失消息，又能保證順序

kafka數(shù)據(jù)丟失原因：

1. 有3種狀態(tài)（0（不需要等待確認(rèn)）、1（leader確認(rèn)）、-1（all確認(rèn)））保證消息被安全生產(chǎn)，

• 在配置狀態(tài)為1（只保證寫(xiě)入leader成功的話），如果剛好leader partition掛了，數(shù)據(jù)就會(huì)丟失

2. 使用異步模式的時(shí)候，當(dāng)緩存區(qū)滿了，

• 如果配置狀態(tài)為0（還沒(méi)收到確認(rèn)的情況下，緩沖池一滿，就清空緩沖池里的消息），數(shù)據(jù)就會(huì)被立馬丟棄掉

3. 如果配置狀態(tài)為-1

• 由于ISR可能會(huì)縮小到僅包含一個(gè)Replica，所以設(shè)置參數(shù)為all并不能一定避免數(shù)據(jù)丟失

在數(shù)據(jù)生產(chǎn)時(shí)避免數(shù)據(jù)丟失的方法：

• 只要能避免上述兩種情況，那么就可以保證消息不會(huì)被丟失。

看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對(duì)創(chuàng)新互聯(lián)的支持。