apache kafka數(shù)據(jù)采集是什么？相信大部分人都不太了解，今天小編為了讓大家更加了解apache kafka數(shù)據(jù)采集，給大家總結(jié)了以下內(nèi)容，一起往下看吧。

創(chuàng)新互聯(lián)公司堅信：善待客戶，將會成為終身客戶。我們能堅持多年，是因為我們一直可值得信賴。我們從不忽悠初訪客戶，我們用心做好本職工作，不忘初心，方得始終。10多年網(wǎng)站建設(shè)經(jīng)驗創(chuàng)新互聯(lián)公司是成都老牌網(wǎng)站營銷服務(wù)商,為您提供網(wǎng)站制作、成都網(wǎng)站制作、網(wǎng)站設(shè)計、H5場景定制、網(wǎng)站制作、成都品牌網(wǎng)站建設(shè)、重慶小程序開發(fā)公司服務(wù),給眾多知名企業(yè)提供過好品質(zhì)的建站服務(wù)。

Apache Kafka - 介紹

Apache Kafka起源于LinkedIn，后來成為2011年的開源Apache項目，然后在2012年成為Apache的一流項目。Kafka以Scala和Java編寫。Apache Kafka是基于發(fā)布訂閱的容錯消息系統(tǒng)。它是快速，可擴(kuò)展和分布的設(shè)計。

本教程將探討Kafka的原理，安裝，操作，然后將介紹Kafka集群的部署。最后，我們將總結(jié)實時應(yīng)用和與Big Data Technologies的集成。

在進(jìn)行本教程之前，您必須對 Java，Scala，分布式消息系統(tǒng)和Linux環(huán)境有很好的了解。

在大數(shù)據(jù)中，使用了大量的數(shù)據(jù)。關(guān)于數(shù)據(jù)，我們有兩個主要挑戰(zhàn)。第一個挑戰(zhàn)是如何收集大量數(shù)據(jù)，第二個挑戰(zhàn)是分析收集的數(shù)據(jù)。為了克服這些挑戰(zhàn)，您需要一個消息系統(tǒng)。

Kafka專為分布式高吞吐量系統(tǒng)而設(shè)計。Kafka作為一個更傳統(tǒng)的郵件經(jīng)紀(jì)人的替代品往往運(yùn)作良好。與其他消息系統(tǒng)相比，Kafka具有更好的吞吐量，內(nèi)置的分區(qū)，復(fù)制和固有的容錯能力，使其非常適合大規(guī)模的消息處理應(yīng)用。

什么是郵件系統(tǒng)？

消息系統(tǒng)負(fù)責(zé)將數(shù)據(jù)從一個應(yīng)用程序傳輸?shù)搅硪粋€應(yīng)用程序，因此應(yīng)用程序可以專注于數(shù)據(jù)，但不用擔(dān)心如何共享數(shù)據(jù)。分布式消息傳遞基于可靠消息隊列的概念。消息在客戶端應(yīng)用程序和消息系統(tǒng)之間異步排隊。兩種類型的消息傳遞模式是可用的 - 一種是點(diǎn)對點(diǎn)，另一種是發(fā)布訂閱（pub-sub）消息系統(tǒng)。大多數(shù)消息傳遞模式跟隨pub-sub。

點(diǎn)到點(diǎn)信息系統(tǒng)

在點(diǎn)對點(diǎn)系統(tǒng)中，消息將保留在隊列中。一個或多個消費(fèi)者可以使用隊列中的消息，但是特定消息可以由最多僅一個消費(fèi)者消費(fèi)。一旦消費(fèi)者讀取隊列中的消息，它將從該隊列中消失。該系統(tǒng)的典型示例是訂單處理系統(tǒng)，其中每個訂單將由一個訂單處理器處理，但多訂單處理器可以同時工作。下圖描繪了結(jié)構(gòu)。

發(fā)布訂閱消息系統(tǒng)

在發(fā)布訂閱系統(tǒng)中，郵件將保留在主題中。與點(diǎn)對點(diǎn)系統(tǒng)不同，消費(fèi)者可以訂閱一個或多個主題并消費(fèi)該主題中的所有消息。在Publish-Subscribe系統(tǒng)中，消息生成器被稱為發(fā)布者，消息消費(fèi)者被稱為訂戶。一個現(xiàn)實的例子是Dish TV，它發(fā)布不同的頻道，如運(yùn)動，電影，音樂等，任何人都可以訂閱自己的頻道，并獲得他們的訂閱頻道。

什么是Kafka？

Apache Kafka是分布式發(fā)布訂閱消息傳遞系統(tǒng)和強(qiáng)大的隊列，可以處理大量數(shù)據(jù)，并使您能夠?qū)⑾囊粋€端點(diǎn)傳遞到另一個終端。Kafka適用于離線和在線消息消費(fèi)。Kafka消息被保留在磁盤上，并在集群內(nèi)復(fù)制以防止數(shù)據(jù)丟失。Kafka建立在ZooKeeper同步服務(wù)之上。它與Apache Storm和Spark完美結(jié)合，實時流式傳輸數(shù)據(jù)分析。

優(yōu)點(diǎn) 以下是Kafka的幾個好處 -

可靠性 - Kafka是分布式，分區(qū)式，復(fù)制型和容錯型。

可擴(kuò)展性 - Kafka消息系統(tǒng)輕松擴(kuò)展，無需停機(jī)時間。

耐用性 - Kafka使用分布式提交日志，這意味著郵件盡可能快地依然存在于磁盤上，因此它是耐用的。

性能 - Kafka對于發(fā)布和訂閱消息都具有高吞吐量。它保持穩(wěn)定的性能，即使存儲了許多TB的消息。

Kafka非?？?，保證零停機(jī)和零數(shù)據(jù)丟失。

用例

Kafka可用于許多用例。其中有些列在下面 -

指標(biāo) - Kafka經(jīng)常用于運(yùn)行監(jiān)控數(shù)據(jù)。這涉及從分布式應(yīng)用程序聚合統(tǒng)計信息，以產(chǎn)生操作數(shù)據(jù)的集中式提要。

日志聚合解決方案 - Kafka可以在整個組織中使用，從多個服務(wù)收集日志，并以標(biāo)準(zhǔn)格式提供給多個服務(wù)器。

流處理 - 流行框架（如Storm和Spark

Streaming）從主題讀取數(shù)據(jù)，處理它，并將處理后的數(shù)據(jù)寫入可用于用戶和應(yīng)用程序的新主題。Kafka的強(qiáng)大耐用性在流處理方面也非常有用。

Kafka需要

Kafka是處理所有實時數(shù)據(jù)源的統(tǒng)一平臺。Kafka支持低延遲消息傳遞，并在存在機(jī)器故障的情況下保證容錯。它具有處理大量不同消費(fèi)者的能力。Kafka非?？欤瑘?zhí)行200萬次寫/秒。Kafka將所有數(shù)據(jù)保留到磁盤，這實質(zhì)上意味著所有的寫入都將轉(zhuǎn)到操作系統(tǒng)（RAM）的頁面緩存。這將數(shù)據(jù)從頁面緩存?zhèn)鬏數(shù)骄W(wǎng)絡(luò)套接字非常有效。

看完上訴內(nèi)容，你們對apache kafka數(shù)據(jù)采集大概了解了嗎？如果想了解更多相關(guān)文章內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

網(wǎng)站標(biāo)題：深入了解apachekafka數(shù)據(jù)采集-創(chuàng)新互聯(lián)
標(biāo)題URL：http://weahome.cn/article/iggoo.html