好程序員大數(shù)據(jù)培訓(xùn)分享關(guān)于kafka的幾個(gè)重要問(wèn)題：

目前創(chuàng)新互聯(lián)已為成百上千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)站空間、網(wǎng)站托管運(yùn)營(yíng)、企業(yè)網(wǎng)站設(shè)計(jì)、輪臺(tái)網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長(zhǎng)，共同發(fā)展。

　1.segment的概念

　topic中會(huì)有一個(gè)到多個(gè)分區(qū)，每個(gè)分區(qū)中會(huì)有多個(gè)segment，segment的大小在kafka的配置文件里可以設(shè)置，segment的大小是相等的，每個(gè)segment有多個(gè)index文件和對(duì)應(yīng)的數(shù)據(jù)文件組成的

　2.數(shù)據(jù)存儲(chǔ)機(jī)制？（數(shù)據(jù)寫入快的原因）

　首先是broker接收到數(shù)據(jù)，將數(shù)據(jù)放到操作系統(tǒng)(linux)的緩存里（pagecache）

　pagecache 會(huì)盡可能多的使用空閑內(nèi)存，會(huì)使用sendfile技術(shù)盡可能多的減少操作系統(tǒng)和應(yīng)用程序之間進(jìn)行重復(fù)緩存，寫入數(shù)據(jù)的時(shí)候還會(huì)用到順序?qū)懭氲姆绞?，寫入?shù)據(jù)的速度可達(dá)600m/s

　3.consumer是怎么解決負(fù)載均衡問(wèn)題的？

　當(dāng)同一個(gè)group 的consumer的數(shù)量發(fā)生改變時(shí)，會(huì)觸發(fā)kafka的負(fù)載均衡，首先獲取consumer消費(fèi)的起始分區(qū)號(hào)，再計(jì)算出consumer要消費(fèi)的分區(qū)數(shù)量，最后用起始分區(qū)號(hào)的hashcode值模余分區(qū)數(shù)

1、數(shù)據(jù)的分發(fā)策略

　kafka默認(rèn)調(diào)用自己的分區(qū)器（DefaultPartitioner）進(jìn)行分區(qū)，也可以自定義分區(qū)器，自定義分區(qū)器需要實(shí)現(xiàn)Partitioner特質(zhì)，實(shí)現(xiàn)partition方法

2、kafka是怎么保證數(shù)據(jù)不丟失的？
kafka接收數(shù)據(jù)以后會(huì)根據(jù)創(chuàng)建的topic指定的副本數(shù)來(lái)儲(chǔ)存，副本數(shù)據(jù)是由kafka自己進(jìn)行同步，多副本機(jī)制保證了數(shù)據(jù)的安全性

3、kafka可以保證topic里的數(shù)據(jù)全局有序嗎

　kafka可以做到分區(qū)內(nèi)有序，分區(qū)之間是無(wú)序的

　怎么做到全局有序呢？最簡(jiǎn)單方式是創(chuàng)建分區(qū)topic時(shí)指定分區(qū)數(shù)為1

4、如果想消費(fèi)已經(jīng)被消費(fèi)過(guò)的數(shù)據(jù)

　1.采用不同的group。

　2.通過(guò)一些配置，就可以將線上產(chǎn)生的數(shù)據(jù)同步到鏡像中去，然后再由特定的集群區(qū)處理大批量的數(shù)據(jù)。