本篇內(nèi)容主要講解“KAFKA有哪些特性”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強(qiáng)。下面就讓小編來帶大家學(xué)習(xí)“KAFKA有哪些特性”吧!
創(chuàng)新互聯(lián)公司是專業(yè)的茂名網(wǎng)站建設(shè)公司,茂名接單;提供網(wǎng)站建設(shè)、成都網(wǎng)站設(shè)計,網(wǎng)頁設(shè)計,網(wǎng)站設(shè)計,建網(wǎng)站,PHP網(wǎng)站建設(shè)等專業(yè)做網(wǎng)站服務(wù);采用PHP框架,可快速的進(jìn)行茂名網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴(kuò)展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團(tuán)隊,希望更多企業(yè)前來合作!
1、高并發(fā)
這個通常是說一個系統(tǒng)能承受大量的連接,已經(jīng)非常高的并發(fā);
在kafka中,主要是得益于優(yōu)秀的網(wǎng)絡(luò)通信框架設(shè)計,即前面講到的結(jié)合Reactor設(shè)計模式實現(xiàn)的網(wǎng)絡(luò)底座。
這個網(wǎng)絡(luò)框架封裝自Java的NIO庫,底層的網(wǎng)絡(luò)IO模型采用的是多路復(fù)用的網(wǎng)絡(luò)IO,也就是通過一個selector可以管理成千上萬的連接,相比于傳統(tǒng)BIO大大的節(jié)約了服務(wù)端維護(hù)連接的開銷。
其次就是結(jié)合Reactor設(shè)計模式實現(xiàn)的網(wǎng)絡(luò)底座,分為三個角色,acceptor、processor、handler,將網(wǎng)絡(luò)事件與業(yè)務(wù)邏輯進(jìn)一步拆分解解耦,提升了網(wǎng)絡(luò)事件的執(zhí)行效率。
2、高吞吐
吞吐需要分為兩部分討論
2.1、寫入吞吐量,主要是得益于追加寫的性能極高,kafka是如何實現(xiàn)追加寫的呢?簡單的說來其實底層就是持有目標(biāo)文件的channel,然后基于channel去進(jìn)行追加寫即可,
那么是怎么持有文件的channel的呢?在創(chuàng)建segment也就是日志文件的時候就已經(jīng)知道對應(yīng)文件在哪兒并持有對應(yīng)的file引用了,因此就避免了還需要進(jìn)行磁盤尋址的開銷,
基于這個文件的channel就可以進(jìn)行追加寫入。
public static FileRecords open(File file, boolean mutable, boolean fileAlreadyExists, int initFileSize, boolean preallocate) throws IOException {// 拿到這個log文件對應(yīng)的fileChannel FileChannel channel = openChannel(file, mutable, fileAlreadyExists, initFileSize, preallocate); int end = (!fileAlreadyExists && preallocate) ? 0 : Integer.MAX_VALUE; return new FileRecords(file, channel, 0, end, false);}
private static FileChannel openChannel(File file, boolean mutable, boolean fileAlreadyExists, int initFileSize, boolean preallocate) throws IOException { // 通過RandomAccessFile拿到對應(yīng)的fileChannel if (mutable) {if (fileAlreadyExists) {return new RandomAccessFile(file, "rw").getChannel(); } else {if (preallocate) { RandomAccessFile randomAccessFile = new RandomAccessFile(file, "rw"); randomAccessFile.setLength(initFileSize); return randomAccessFile.getChannel(); } else {return new RandomAccessFile(file, "rw").getChannel(); } } } else {return new FileInputStream(file).getChannel(); } }
public int writeFullyTo(GatheringByteChannel channel) throws IOException { // 這個buffermemoryRecords中的一個屬性 // 在初始化的時候被賦值的 // 那么在哪里初始化的呢?這個是從ProduceRequest中被取出來的 buffer.mark(); // 經(jīng)典的NIO寫文件循環(huán)操作 int written = 0; while (written < sizeInBytes())// 直接寫os cache中,而不是寫在磁盤文件里 written += channel.write(buffer); buffer.reset(); return written;}
2.2、讀取吞吐量,這個主要是利用網(wǎng)上常說的zore copy,這零拷貝簡單的說來OS提供了一個系統(tǒng)調(diào)用,可以讓網(wǎng)卡根據(jù)少量的元數(shù)據(jù)信息,就可以直接從OS CACHE中讀取目標(biāo)數(shù)據(jù)
從而避免了這部分?jǐn)?shù)據(jù)拷貝到用戶空間(JVM),再拷貝到socket緩沖區(qū),幾乎消除了CPU拷貝數(shù)據(jù)的開銷,同時也減少了用戶態(tài)/內(nèi)核態(tài)切換的開銷,從而在數(shù)據(jù)發(fā)送的方面,zore copy性能極高。
話又說回來,kafka是怎么利用zore copy的呢?很簡單,源碼如下FileRecords的writeTo函數(shù):
public long writeTo(GatheringByteChannel destChannel, long offset, int length) throws IOException {long newSize = Math.min(channel.size(), end) - start; int oldSize = sizeInBytes(); if (newSize < oldSize)throw new KafkaException(String.format("Size of FileRecords %s has been truncated during write: old size %d, new size %d", file.getAbsolutePath(), oldSize, newSize)); long position = start + offset; int count = Math.min(length, oldSize); final long bytesTransferred; if (destChannel instanceof TransportLayer) { TransportLayer tl = (TransportLayer) destChannel; bytesTransferred = tl.transferFrom(channel, position, count); } else { bytesTransferred = channel.transferTo(position, count, destChannel); }return bytesTransferred;}
3、高性能,低延時
這兩個放在一起討論呢,主要是這高性能這東西很泛,方方面面的良好設(shè)計才有了整體的高性能,舉個栗子,前面提到的時間輪的設(shè)計,就是很經(jīng)典的例子。
低延時主要是得益于可以寫OS CACHE,如果不設(shè)置強(qiáng)制刷盤的話,寫入OS CACHE之后就算本地寫入成功了,寫內(nèi)存是非常快的,所以結(jié)合追加寫,整個操作的時延就非常低。
4、高可靠,高可用
高可靠一般是指消息高可靠,主要是基于副本設(shè)計,讓一條數(shù)據(jù)有多個副本分散到不同的機(jī)器,從而提供了不錯的高可靠性。
高可用一般是指機(jī)器出現(xiàn)宕機(jī)等異常情況依舊能正常提供服務(wù),在服務(wù)端的體現(xiàn)的話,主要是就是controller的設(shè)計,可以通過zk感知到broker的變化,從而做一系列的狀態(tài)變更;
最后還有ISR的設(shè)計,以及副本的主從設(shè)計,在出現(xiàn)leader副本所在broker宕機(jī)的時候,可以從剩余的優(yōu)先副本中選出一個leader來繼續(xù)提供服務(wù),保障服務(wù)高可用。
到此,相信大家對“KAFKA有哪些特性”有了更深的了解,不妨來實際操作一番吧!這里是創(chuàng)新互聯(lián)網(wǎng)站,更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢,關(guān)注我們,繼續(xù)學(xué)習(xí)!