本篇內(nèi)容主要講解“大數(shù)據(jù)kafka常見面試題有哪些”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實(shí)用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“大數(shù)據(jù)kafka常見面試題有哪些”吧!
1、什么是 kafka？
Apache Kafka 是一個(gè)開源消息系統(tǒng)，由 Scala 寫成。是由 Apache 軟件基金會(huì)開發(fā)的一個(gè)開源消息系統(tǒng)項(xiàng)目。
Kafka 最初是由 LinkedIn 開發(fā)，并于 2011 年初開源。2012 年 10 月從 Apache Incubator 畢業(yè)。該項(xiàng)目的目標(biāo)是為處理實(shí)時(shí)數(shù)據(jù)提供一個(gè)統(tǒng)一、高通量、低等待的平臺。
Kafka 是一個(gè)分布式消息隊(duì)列：生產(chǎn)者、消費(fèi)者的功能。它提供了類似于JMS 的特性，但是在設(shè)計(jì)實(shí)現(xiàn)上完全不同，此外它并不是 JMS 規(guī)范的實(shí)現(xiàn)。Kafka 對消息保存時(shí)根據(jù) Topic 進(jìn)行歸類，發(fā)送消息者稱為 Producer，消息接受者稱為 Consumer，此外 kafka 集群有多個(gè) kafka 實(shí)例組成，每個(gè)實(shí)例(server) 成為 broker。無論是 kafka 集群，還是 producer 和 consumer 都依賴于 zookeeper 集群保存一些 meta 信息，來保證系統(tǒng)可用性
2、kafka 與傳統(tǒng)消息系統(tǒng)的區(qū)別
（1）在架構(gòu)
RabbitMQ 遵循 AMQP 協(xié)議，RabbitMQ 的 broker 由 Exchange，Binding，queue組成，其中 exchange 和 binding 組成了消息的路由鍵；客戶端 Producer 通過連接channel 和server 進(jìn)行通信，Consumer 從queue 獲取消息進(jìn)行消費(fèi)（長連接，queue有消息會(huì)推送到 consumer 端，consumer 循環(huán)從輸入流讀取數(shù)據(jù)）。rabbitMQ 以broker 為中心；有消息的確認(rèn)機(jī)制。
kafka 遵從一般的 MQ 結(jié)構(gòu)，producer，broker，consumer，以 consumer 為中心，消息的消費(fèi)信息保存的客戶端 consumer 上，consumer 根據(jù)消費(fèi)的點(diǎn)，從broker 上批量 pull 數(shù)據(jù)；無消息確認(rèn)機(jī)制。
（2）在吞吐量
kafka 具有高的吞吐量，內(nèi)部采用消息的批量處理，zero-copy 機(jī)制，數(shù)據(jù)的存儲和獲取是本地磁盤順序批量操作，具有 O(1)的復(fù)雜度，消息處理的效率很高。
rabbitMQ 在吞吐量方面稍遜于 kafka，他們的出發(fā)點(diǎn)不一樣，rabbitMQ 支持對消息的可靠的傳遞，支持事務(wù)，不支持批量的操作；基于存儲的可靠性的要求存儲可以采用內(nèi)存或者硬盤。
（3）在可用性方面
rabbitMQ 支持 miror 的 queue，主 queue 失效，miror queue 接管。kafka 的 broker 支持主備模式。
（4）在集群負(fù)載均衡方面
kafka 采用 zookeeper 對集群中的 broker、consumer 進(jìn)行管理，可以注冊 topic 到 zookeeper 上；通過 zookeeper 的協(xié)調(diào)機(jī)制，producer 保存對應(yīng) topic 的 broker 信息，可以隨機(jī)或者輪詢發(fā)送到 broker 上；并且 producer 可以基于語義指定分片，消息發(fā)送到 broker 的某分片上。
（5）kafka 與 activeMQ 的區(qū)別
Topic：主題，即一個(gè)標(biāo)識，類似于 map 里面的 key，通過它來給消息分類， 消息根據(jù) Topic 進(jìn)行歸類。
共同點(diǎn)：都有生產(chǎn)者和消費(fèi)者兩大組件，生產(chǎn)者發(fā)送消息給各自的服務(wù)器，
(發(fā)送消息是就會(huì)定義一個(gè) topic)并進(jìn)行存儲。不同點(diǎn)：
activeMQ：消費(fèi)者會(huì)提前訂閱自己需要的 topic，當(dāng)該 topic 中有了消息以后，activeMQ 服務(wù)器會(huì)發(fā)送消息給消費(fèi)者，然后消費(fèi)者再去服務(wù)器中拿到自己想要的數(shù)據(jù)。
Kafka：消費(fèi)者(指定 topic)會(huì)定時(shí)去 kafka 服務(wù)器中拿該 topic 中的數(shù)據(jù)。
（6）kafka 的組件介紹
producer：生產(chǎn)者，主要用于我們的消息的生產(chǎn)，通過 producer 將我們的消息 push 到 kafka 集群當(dāng)中
topic：某一類消息的高度抽象，可以理解成某一類消息的集合，一類消息，每個(gè)topic 將被分成多個(gè) partition(區(qū))，在集群的配置文件中配置。broker：kafka 的服務(wù)器，一個(gè) broker 就代表一個(gè)服務(wù)器的節(jié)點(diǎn)partition：分區(qū)的概念，一個(gè) topic 當(dāng)中的消息，可以拆分成多個(gè) partition 分區(qū)，存放在多個(gè)不同的服務(wù)器上，實(shí)現(xiàn)數(shù)據(jù)存放的橫向擴(kuò)展。
repliaction：副本，所有的 partition 都可以指定存放幾個(gè)副本，做到數(shù)據(jù)的冗余，保證數(shù)據(jù)的安全
segment：每個(gè) partiiton 由多個(gè) segment 組成，segment 又包含了兩部分，一個(gè).log 文件，一個(gè)是.index 文件
.log：存放我們的日志文件，所有的數(shù)據(jù)，最后都以日志文件的形式存放到了 kafka 集群當(dāng)中
.index ：索引文件，所有的.log 文件的索引都存放在了這里，便于我們查找某一條日志文件的快速
consumer：消費(fèi)者，消費(fèi)我們 kafka 集群當(dāng)中的消息， 問題：如何知道消費(fèi)者消費(fèi)到了哪一條消息來了？？？ 可以通過記錄的方式，記下來每次我們消費(fèi)的位置。
第一種記錄方式：kafka 的本地文件系統(tǒng)，比較慢，對應(yīng) kafka 的一個(gè)慢速消費(fèi)的方式
第二種記錄方式：zookeeper 當(dāng)中的節(jié)點(diǎn)數(shù)據(jù)記錄，比較快，對應(yīng) kafka 的一個(gè)快速消費(fèi)的方式
offset：偏移量，就是記錄的我們消費(fèi)到了哪一條數(shù)據(jù)來了。
發(fā)布者發(fā)到某個(gè) topic 的消息會(huì)被均勻的分布到多個(gè) part 上，broker 收到發(fā)布消息往對應(yīng) part 的最后一個(gè) segment 上添加該消息。
3、kafka 集群的安裝與搭建
第一步：下載上傳壓縮包
第二步：解壓
第三步：安裝包的分發(fā)第
四步：修改配置文件
第一臺服務(wù)器修改配置文件
第二臺服務(wù)器修改配置文件第三臺服務(wù)器修改配置文件第四步：三臺服務(wù)器的啟動(dòng)三臺服務(wù)器的啟動(dòng)
到此，相信大家對“大數(shù)據(jù)kafka常見面試題有哪些”有了更深的了解，不妨來實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！
重慶分公司
重慶分公司
