這篇文章跟大家分析一下“如何進(jìn)行kappa和lambda對比”。內(nèi)容詳細(xì)易懂，對“如何進(jìn)行kappa和lambda對比”感興趣的朋友可以跟著小編的思路慢慢深入來閱讀一下，希望閱讀后能夠?qū)Υ蠹矣兴鶐椭?。下面跟著小編一起深入學(xué)習(xí)“如何進(jìn)行kappa和lambda對比”的知識吧。

創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都網(wǎng)站設(shè)計、做網(wǎng)站、清原網(wǎng)絡(luò)推廣、成都小程序開發(fā)、清原網(wǎng)絡(luò)營銷、清原企業(yè)策劃、清原品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎；創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供清原建站搭建服務(wù)，24小時服務(wù)熱線：13518219792，官方網(wǎng)址：www.cdcxhl.com

首先我們會詳細(xì)的講解這兩種架構(gòu)，實現(xiàn)這兩種架構(gòu)的技術(shù)工具，還有就是如何決策使用這兩種架構(gòu)。

如何構(gòu)建一個實時處理系統(tǒng)架構(gòu)一直爭論不斷。一個好的實時處理系統(tǒng)必須是容錯和可升級的。必須支持批量和增量的更新，必須可擴(kuò)展。

在這些討論中一個重要的里程碑是，storm的創(chuàng)始人，Nathan Marz，描述了我們目前所了解的lambda架構(gòu)。Lambda架構(gòu)目前已經(jīng)有很多使用案例，實時上大量的公司都在使用，比如Yahoo和Netflix。當(dāng)然，lambda架構(gòu)也并不是得到的全是贊美，也有一些批判，就是它帶來了編碼的負(fù)擔(dān)。( 原英：But of course, Lambda is not a silver bullet and has received some fair criticism on the coding overhead it can create.)

在2014年夏天，LinkedIn的Jay Kreps發(fā)表了一篇文章描述了Kappa架構(gòu)，解決了一些Lambda架構(gòu)的陷阱。Kappa架構(gòu)并不是Lambda架構(gòu)的替代，因為有些Lambda架構(gòu)并不適合遷移到Kappa架構(gòu)上去。

對于一個給定的案例，準(zhǔn)確的評估哪種架構(gòu)師最好的是很有挑戰(zhàn)性的，錯誤的設(shè)計決策可能對數(shù)據(jù)分析項目的實施產(chǎn)生嚴(yán)重的影響。

現(xiàn)在，就深入細(xì)節(jié)去了解兩種數(shù)據(jù)處理架構(gòu)。

Lambda架構(gòu)有三個層面組成：batch，speed，serving。

Batch層面有兩個主要的任務(wù)：

1.管理歷史數(shù)據(jù)。

2.重新結(jié)算結(jié)果，例如重新訓(xùn)練模型。

Batch層接受新的數(shù)據(jù)，將新的數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行合并，然后重新計算結(jié)果。Batch層計算了所有的數(shù)據(jù)，這使得系統(tǒng)能產(chǎn)生相對精確的結(jié)果。然而，由于計算時間比較久，使的結(jié)果延遲也會比較大。

Speed層主要提供低延遲，近實時的計算結(jié)果。Speed層接收數(shù)據(jù)，增量更新batch層的結(jié)果。由于speed層的增量算法，計算代價被極大減少。

Serving用batch層和speed層計算的結(jié)果提供多樣的查詢。

創(chuàng)建kappa架構(gòu)的一個最重要的動機(jī)是避免維護(hù)batch和speed層兩份獨立的代碼。一個核心的思想就是用一個單獨的流處理引擎處理實時的計算和連續(xù)不斷的數(shù)據(jù)的重復(fù)計算。代碼的更改對結(jié)果影響很大，所以數(shù)據(jù)必須重新計算。結(jié)果kappa架構(gòu)的組成只有兩個部分：stream processing和serving。流處理層運行流處理任務(wù)。運行一個流處理作業(yè)以啟用實時數(shù)據(jù)處理。僅僅當(dāng)流處理作業(yè)更改了一些代碼之后才會進(jìn)行數(shù)據(jù)的重新處理?？梢酝ㄟ^重啟一個梗概代碼后的流處理作業(yè)去處理所有以前的數(shù)據(jù)。

Serving層也是提供數(shù)據(jù)查詢的。

關(guān)于如何進(jìn)行kappa和lambda對比就分享到這里啦，希望上述內(nèi)容能夠讓大家有所提升。如果想要學(xué)習(xí)更多知識，請大家多多留意小編的更新。謝謝大家關(guān)注一下創(chuàng)新互聯(lián)網(wǎng)站！