本篇文章為大家展示了Kafka的消息記錄留存策略及配置是怎樣的，內(nèi)容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價比洪湖網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式洪湖網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋洪湖地區(qū)。費用合理售后完善，十載實體公司更值得信賴。

broker中的幾個重要配置項

• log.retention.check.interval.ms

• log.retention.hours

• log.segment.bytes

• log.roll.hours

消息記錄留存執(zhí)行基本邏輯

• kafka的消息存放在segment文件中

• kafka處理過期數(shù)據(jù)的操作對象是segment，處理方式為壓縮或刪除，或壓縮與刪除聯(lián)合

1. 寫入數(shù)據(jù)

• 1.1 當前partition收到producer第一條要記錄的消息, 如果沒有segment，則kafka會新建segment

• 1.2 檢查要寫入的segment最后一條插入數(shù)據(jù)的時間戳: 如果大小大于log.segment.bytes配置的大小，則不再寫入，并創(chuàng)建新的segment，并將寫入游標指向新建的segment

• 1.3 檢查要寫入的segment文件的大小: 如果segment的創(chuàng)建時間距當前時間大于log.roll.hours配置的時間，則不再寫入，并創(chuàng)建新的segment，并將寫入游標指向新建的segment

• 1.4 寫入數(shù)據(jù)到segment文件

2. 定時檢查并處理過期segment文件

• 2.1 kafka根據(jù)log.retention.check.interval.ms配置項發(fā)起定時任務(wù): 定時檢查所有的segment

• 2.2 檢查segment是否符合執(zhí)行過期處理的條件，如果segment最近時間戳距現(xiàn)在時間大于log.retention.hours配置時間，則會刪除該segment文件

上述內(nèi)容就是Kafka的消息記錄留存策略及配置是怎樣的，你們學(xué)到知識或技能了嗎？如果還想學(xué)到更多技能或者豐富自己的知識儲備，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。