如何進(jìn)行Flink中的sink實(shí)戰(zhàn),針對(duì)這個(gè)問題,這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答,希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡(jiǎn)單易行的方法。
創(chuàng)新互聯(lián)建站2013年開創(chuàng)至今,是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司,擁有項(xiàng)目成都做網(wǎng)站、網(wǎng)站建設(shè)、外貿(mào)營(yíng)銷網(wǎng)站建設(shè)網(wǎng)站策劃,項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個(gè)夢(mèng)想脫穎而出為使命,1280元興縣做網(wǎng)站,已為上家服務(wù),為興縣各地企業(yè)和個(gè)人服務(wù),聯(lián)系電話:028-86922220
下圖來自Flink官方,紅框中就是sink,可見實(shí)時(shí)數(shù)據(jù)從Source處開始,在Transformation階段完成業(yè)務(wù)邏輯后在sink結(jié)束,因此sink可以用來處理計(jì)算結(jié)果,例如控制臺(tái)輸出或者保存數(shù)據(jù)庫:
下面是個(gè)簡(jiǎn)單的flink應(yīng)用代碼,紅框中的print方法就是sink操作:
下圖是官方給出的sink方式,都是DataStream類的API,直接調(diào)用即可實(shí)現(xiàn)sink,剛才代碼中的print就是其中一個(gè):
接下來看看上圖中API的源碼,先看print方法,在DataStream.java中,如下,實(shí)際上是調(diào)用了addSink方法,入?yún)⑹荘rintSinkFunction:
另一個(gè)常用API是writeAsText,源碼如下,調(diào)用了writeUsingOutputFormat方法:
追蹤writeUsingOutputFormat發(fā)現(xiàn)也是調(diào)用了addSink,入?yún)⑹?font color="blue">OutputFormatSinkFunction:
print和writeAsText背后都在調(diào)用addSink,那么另一個(gè)常用的writeAsCsv方法呢?莫非也是調(diào)用addSink?打開一看果然,和writeAsText一樣調(diào)用了writeUsingOutputFormat,而該方法里面就是在調(diào)用addSink:
綜上所述,data sink的關(guān)鍵就是addSink的入?yún)?,?font color="blue">SinkFunction接口的實(shí)現(xiàn),通過類圖直觀看到常見的sink能力是如何實(shí)現(xiàn)的:
8. 從上圖可見抽象類RichSinkFunction與各種sink能力的關(guān)系十分緊密,我們應(yīng)該重點(diǎn)關(guān)注它,在類圖上展示方法簽名,如下圖: 9. 如上圖所示,RichSinkFunction本身沒有內(nèi)容,但是它實(shí)現(xiàn)SinkFunction,繼承AbstractRichFunction,是RichFunction和SinkFunction這兩種特性的結(jié)合; 10. RichFunction的特性在前面的《Flink的DataSource三部曲》中已經(jīng)了解,就是資源的open和close; 11. SinkFunction的特性呢?顯然是用來處理計(jì)算結(jié)果的,類圖上顯示的是兩個(gè)invoke方法,來看看官方的PrintSinkFunction.java: 12. writer.write(record)的源碼在PrintSinkOutputWriter.java,如下所示:
至此,我們已經(jīng)對(duì)Flink的sink有了基本了解:
負(fù)責(zé)實(shí)時(shí)計(jì)算結(jié)果的處理(如輸出或持久化);
主要實(shí)現(xiàn)方式是調(diào)用DataStream.addSink方法;
各種sink能力的實(shí)現(xiàn),主要途徑是實(shí)現(xiàn)addSink方法的入?yún)⒍x的接口;
關(guān)于如何進(jìn)行Flink中的sink實(shí)戰(zhàn)問題的解答就分享到這里了,希望以上內(nèi)容可以對(duì)大家有一定的幫助,如果你還有很多疑惑沒有解開,可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識(shí)。