這篇文章的內(nèi)容主要圍繞大數(shù)據(jù)工作流Oozie怎么理解進(jìn)行講述,文章內(nèi)容清晰易懂,條理清晰,非常適合新手學(xué)習(xí),值得大家去閱讀。感興趣的朋友可以跟隨小編一起閱讀吧。希望大家通過這篇文章有所收獲!
創(chuàng)新互聯(lián)成立與2013年,是專業(yè)互聯(lián)網(wǎng)技術(shù)服務(wù)公司,擁有項(xiàng)目網(wǎng)站建設(shè)、做網(wǎng)站網(wǎng)站策劃,項(xiàng)目實(shí)施與項(xiàng)目整合能力。我們以讓每一個夢想脫穎而出為使命,1280元河南做網(wǎng)站,已為上家服務(wù),為河南各地企業(yè)和個人服務(wù),聯(lián)系電話:13518219792
因?yàn)楣ぷ餍枰玫給ozie,但是網(wǎng)上的資料越看越迷茫,經(jīng)過很大的努力,終于折騰清楚了,這里,做一個總結(jié),幫助后來者更好地進(jìn)行入門,當(dāng)然,粗鄙之言,難免疏漏,歡迎交流指正。
提供Hadoop任務(wù)的調(diào)度和管理,不僅可以管理MapReduce任務(wù),還可以管理pig、hive、sqoop、spark等任務(wù),Oozie就是一個基于hadoop的工作流引擎。
兩個主要組件:
工作流定義組件:一系列Action個的列表(Action就是一個任務(wù)節(jié)點(diǎn),eg:MapReduce任務(wù)、pig任務(wù)、hive任務(wù)等)
調(diào)度器組件:可調(diào)度的WorkFlow(workflow就是定義一個DAG的任務(wù)圖,而調(diào)度器可以決定在某個時間或符合條件執(zhí)行DAG(有向無環(huán)圖 Direct Acyclic Graph)任務(wù)圖)
Oozie工作流定義中的兩種節(jié)點(diǎn):
控制流節(jié)點(diǎn):用于定義邏輯判斷,eg:start、end、控制流程執(zhí)行路徑
動作節(jié)點(diǎn):用戶執(zhí)行任務(wù)節(jié)點(diǎn):hadoop任務(wù)、Oozie子流程
定義一個完整Oozie工作流需編寫3個文件
1、workflow.xml:(必需)定義工作流任務(wù)(需放到HDFS上)
2、config-default:(可選) 包括所有工作流共享的屬性值
3、job.properties: (必需)針對每個工作流的屬性值
感謝你的閱讀,相信你對“大數(shù)據(jù)工作流Oozie怎么理解”這一問題有一定的了解,快去動手實(shí)踐吧,如果想了解更多相關(guān)知識點(diǎn),可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站!小編會繼續(xù)為大家?guī)砀玫奈恼拢?/p>
分享文章:大數(shù)據(jù)工作流Oozie怎么理解
網(wǎng)頁路徑:http://weahome.cn/article/jpgdij.html