這篇文章主要介紹“Flink核心概念是什么”,在日常操作中,相信很多人在Flink核心概念是什么問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”Flink核心概念是什么”的疑惑有所幫助!接下來,請跟著小編一起來學習吧!
成都創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設、高性價比遼源網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫,直接使用。一站式遼源網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設找我們,業(yè)務覆蓋遼源地區(qū)。費用合理售后完善,十余年實體公司更值得信賴。
Flink程序是在分布式集合上實現(xiàn)轉換的常規(guī)程序(例如filtering, mapping, updating state, joining, grouping, defining windows, aggregating)。集合最初是從sources上創(chuàng)建,這些源包括:本地文件, kafka topics, 內(nèi)存集合等。結果通過sink返回,sink可以將數(shù)據(jù)寫入文件中(分布式)或者終端輸出(命令行)。Flink可以運行在不同環(huán)境下,例如可以嵌入到其他程序中運行,也可以在單機運行,此外Flink可以在本地JVM中運行,也可以在分布式集群中運行。
有有界數(shù)據(jù)源也有無界數(shù)據(jù)源,可以使用批處理和流處理,使用批處理時使用DataSet API ,使用流處理時使用DataStream API。
第一步:獲取執(zhí)行環(huán)境,批處理與流處理不同
第二步:獲取數(shù)據(jù),socket、文本、kafka
第三步:transform
第四步:sink 到哪里去
第五步:觸發(fā)執(zhí)行。
All Flink programs are executed lazily: When the program’s main method is executed, the data loading and transformations do not happen directly. Rather, each operation is created and added to the program’s plan. The operations are actually executed when the execution is explicitly triggered by an execute() call on the execution environment. Whether the program is executed locally or on a cluster depends on the type of execution environment.
The lazy evaluation lets you construct sophisticated programs that Flink executes as one holistically planned unit.
上面的意思是說:當主函數(shù)被執(zhí)行時,數(shù)據(jù)加載和transformation不會馬上執(zhí)行。每一個操作會被添加到程序的執(zhí)行計劃中,相當于僅僅是記下來了。當這些"執(zhí)行操作"被顯式觸發(fā)時(例如調(diào)用execute()時),才會真正執(zhí)行操作。
這種延遲執(zhí)行方式可以讓我們構建非常復雜的應用程序,F(xiàn)link將一些執(zhí)行操作作為整體去執(zhí)行。方便我們?nèi)?yōu)化。
到此,關于“Flink核心概念是什么”的學習就結束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習,快去試試吧!若想繼續(xù)學習更多相關知識,請繼續(xù)關注創(chuàng)新互聯(lián)網(wǎng)站,小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>
當前標題:Flink核心概念是什么
文章URL:http://weahome.cn/article/iichhd.html