這篇文章將為大家詳細講解有關(guān)Cloudera流分析中如何引入FlinkSQL，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關(guān)知識有一定的了解。
創(chuàng)新互聯(lián)企業(yè)建站,十載網(wǎng)站建設(shè)經(jīng)驗，專注于網(wǎng)站建設(shè)技術(shù)，精于網(wǎng)頁設(shè)計，有多年建站和網(wǎng)站代運營經(jīng)驗，設(shè)計師為客戶打造網(wǎng)絡(luò)企業(yè)風格，提供周到的建站售前咨詢和貼心的售后服務(wù)。對于成都網(wǎng)站制作、成都做網(wǎng)站中不同領(lǐng)域進行深入了解和探索，創(chuàng)新互聯(lián)在網(wǎng)站建設(shè)中充分了解客戶行業(yè)的需求，以靈動的思維在網(wǎng)頁中充分展現(xiàn)，通過對客戶行業(yè)精準市場調(diào)研，為客戶提供的解決方案。
由Apache Flink提供支持的Cloudera Streaming Analytics的1.2.0.0版本提供了廣泛的
新功能
，包括通過
Apache Atlas
支持血緣和元數(shù)據(jù)跟蹤，支持連接到
Apache Kudu
以及期待已久的
FlinkSQL
API 的第一次迭代。
Flink的SQL接口使流處理民主化，因為它可以迎合比當前廣泛使用的Java和Scala API（面向數(shù)據(jù)工程人群）更大的社區(qū)。將SQL推廣到流處理和流分析用例提出了一系列挑戰(zhàn)：我們必須解決表達無限流和記錄的及時性的問題。讓我們考慮以下查詢：SELECT userId,
COUNT(*) AS count,
SESSION_START(clicktime,
INTERVAL '30' MINUTE)FROM clicksGROUP BY
SESSION(clicktime, INTERVAL '30' MINUTE)
userId
該查詢產(chǎn)生每個用戶會話的點擊計數(shù)，該計數(shù)由會話之間30分鐘的不活動狀態(tài)定義，并在遇到新會話時實時更新。這是在流處理中已經(jīng)很好建立的概念的示例，在這種情況下，會話窗口被引入到SQL語法中以表示記錄的及時性。重要的是要強調(diào)Flink支持的語法是ANSI SQL，它不是特定的方言。實際上，F(xiàn)link社區(qū)正在與Apache Beam和Apache Calcite社區(qū)合作，以
統(tǒng)一的方式 應對FlinkSQL的挑戰(zhàn)。 從上述查詢來看，很明顯，更大的用戶群可以有效地制定查詢，從而為企業(yè)增加價值。但是，它給組織帶來了以下問題：
1) 在流媒體領(lǐng)域中可以用SQL制定多少業(yè)務(wù)邏輯？
2) 這如何改變從開發(fā)到生產(chǎn)的流式作業(yè)旅程？
3) 這如何影響數(shù)據(jù)工程團隊的范圍？
我們認為，今天編寫的大多數(shù)流查詢都可以通過FlinkSQL表示，以提供有根據(jù)的猜測，我們希望它能達到今天遇到的流查詢的80％左右，這很適合通過此SQL實現(xiàn)API。首先，這似乎有些夸大其詞，我們將在下一部分中詳細介紹。當前，我們經(jīng)常遇到使用Flink的組織，其中近實時獲得業(yè)務(wù)價值是數(shù)據(jù)工程師的特權(quán)。數(shù)據(jù)分析人員通常是特定領(lǐng)域知識的專家，他們傾向于使用標準MPP或OLAP系統(tǒng)中存儲的這些流的快照，例如通過Apache Impala查詢存儲在Kudu中的數(shù)據(jù)。這從本質(zhì)上引入了尋找以流的方式對其進行洞察和生產(chǎn)化。分析師在證實其假設(shè)之后，必須與幾個數(shù)據(jù)工程師確保數(shù)周甚至數(shù)月的項目資金投入，以細致地重新實現(xiàn)已經(jīng)用另一種語言（通常是SQL）制定的業(yè)務(wù)邏輯。FlinkSQL使分析人員可以直接與流進行交互，并單擊按鈕即可部署流作業(yè)。反過來，這又解放了數(shù)據(jù)工程師，使他們可以專注于具有挑戰(zhàn)性的20％的查詢，并建立可重用的特定領(lǐng)域的庫，這些庫可以直接從SQL中作為一組用戶自定義函數(shù)加以利用。 為了展示FlinkSQL的功能，我們最近在我們的標準
教程套件 下發(fā)布了
SQL
教程 。讓我們在這里重點介紹一些功能。
小編針對Apache Kafka主題進行操作，其中包含JSON格式的事務(wù)條目。讓我們?yōu)榇硕x一個表Schema，并指定我們要測量timestamp列記錄的時間的流逝（稱為
event-time語義 ）。CREATE TABLE ItemTransactions (transactionId
BIGINT,`timestamp`
BIGINT,itemId
STRING,
quantity INT,
event_time AS CAST(from_unixtime(floor(`timestamp`/1000))
AS TIMESTAMP(3)),WATERMARK FOR event_time
AS event_time - INTERVAL '5' SECOND) WITH ('connector.type' = 'kafka','connector.version' = 'universal','connector.topic' = 'transaction.log.1','connector.startup-mode' = 'earliest-offset','
connector.properties.bootstrap.servers' = '','format.type' = 'json'); 請注意，在使用事件時間語義時，我們必須指定水印以為Flink提供啟發(fā)式方法以測量事件時間的經(jīng)過。這可以是返回時間戳的任意表達式。在較高級別上，水印指定了正確性（無限期等待潛在的延遲到達）和延遲（盡可能快地產(chǎn)生結(jié)果）之間的折衷。創(chuàng)建上表后，我們可以提交以下查詢：SELECT * FROM ItemTransactions LIMIT 10;SELECT TUMBLE_START(event_time, INTERVAL '10' SECOND) as window_start, itemId, sum(quantity) as volumeFROM ItemTransactionsGROUP BY itemId, TUMBLE(event_time, INTERVAL '10' SECOND);
第一個查詢提供了直接的采樣。使用limit子句是可選的，省略會導致結(jié)果以流方式不斷更新。第二個查詢實現(xiàn)一個簡單的窗口聚合。這些查詢的結(jié)果可以返回到交互式Flink SQL cli，或者可以通過INSERT INTO語句直接寫入輸出表。FlinkSQL還提供了更復雜的子句，例如，可以按以下公式來查找在每10分鐘的窗口中交易次數(shù)最多的前3個項目：SELECT * FROM ( SELECT * , ROW_NUMBER() OVER ( PARTITION BY window_start ORDER BY num_transactions desc ) AS rownum FROM ( SELECT TUMBLE_START(event_time, INTERVAL '10' MINUTE) AS window_start, itemId, COUNT(*) AS num_transactions FROM ItemTransactions GROUP BY itemId, TUMBLE(event_time, INTERVAL '10' MINUTE) ))WHERE rownum <=3;
除了這些內(nèi)置語言元素之外，您還可以將以Java和Scala實現(xiàn)的
功能 注冊到FlinkSQL環(huán)境。 FlinkSQL還支持訪問外部目錄以訪問存儲在外部系統(tǒng)中的Schema和數(shù)據(jù)，當前，我們支持Hive，Kudu和Schema Registry目錄。在當前版本中，提交SQL查詢的兩個選項是使用SQL CLI或?qū)⑺鼈儼b到Java程序中。正如我們在最近的
主題演講中 所討論的，我們正在積極開發(fā)圖形用戶界面，以幫助進行交互式查詢編輯。
在添加GUI之后，我們將在短期內(nèi)公開其針對第三方工具的編程后端，以公開與JDBC for FlinkSQL等效的接口，該接口可能更多地基于REST和Kafka構(gòu)建。關(guān)于Cloudera流分析中如何引入FlinkSQL就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
當前名稱：Cloudera流分析中如何引入FlinkSQL
當前URL：
http://weahome.cn/article/goosoo.html
重慶分公司
重慶分公司
