1.工作流調(diào)度器的介紹

（1）為什么要使用工作流調(diào)度器？

?? - 一個(gè)完整的數(shù)據(jù)分析系統(tǒng)通常都是由大量任務(wù)單元組成：shell 腳本程序，java 程序，mapreduce 程序、hive 腳本等
? - 各任務(wù)單元之間存在時(shí)間先后及前后依賴關(guān)系
? - 為了很好地組織起這樣的復(fù)雜執(zhí)行計(jì)劃，需要一個(gè)工作流調(diào)度系統(tǒng)來調(diào)度執(zhí)行

成都創(chuàng)新互聯(lián)是一家專業(yè)提供輪臺(tái)企業(yè)網(wǎng)站建設(shè),專注與網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站設(shè)計(jì)、成都h5網(wǎng)站建設(shè)、小程序制作等業(yè)務(wù)。10年已為輪臺(tái)眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專業(yè)的建站公司優(yōu)惠進(jìn)行中。

（2）常見工作流調(diào)度器

??在 hadoop 領(lǐng)域，常見的工作流調(diào)度器有 Oozie, Azkaban,Cascading,Hamake 等 。

（3）Oozie與Azkaban的對(duì)比

?? 目前企業(yè)中最流行的兩種調(diào)度器是Oozie與Azkaban?？偟膩碚fooize 相比 azkaban 是一個(gè)重量級(jí)的任務(wù)調(diào)度系統(tǒng)，功能全面，但配置使用也更復(fù)雜。如果可以不在意某些功能的缺失，輕量級(jí)調(diào)度器 azkaban 是很不錯(cuò)的候選對(duì)象。
二者的區(qū)別可以從以下的幾個(gè)方面進(jìn)行描述：
功能
?兩者均可以調(diào)度 mapreduce,pig,java,腳本工作流任務(wù)兩者均可以定時(shí)執(zhí)行工作流任務(wù)
工作的定義
? Azkaban 使用 Properties 文件定義工作流
? Oozie 使用 XML 文件定義工作流
工作流傳參
? Azkaban 支持直接傳參，例如${input}
? Oozie 支持參數(shù)和 EL 表達(dá)式，例如${fs:dirSize(myInputDir)} strust2(ONGL)
定時(shí)執(zhí)行
? Azkaban 的定時(shí)執(zhí)行任務(wù)是基于時(shí)間的
? Oozie 的定時(shí)執(zhí)行任務(wù)基于時(shí)間和輸入數(shù)據(jù)
資源管理
? Azkaban 有較嚴(yán)格的權(quán)限控制，如用戶對(duì)工作流進(jìn)行讀/寫/執(zhí)行等操作
? Oozie 暫無嚴(yán)格的權(quán)限控制
工作流執(zhí)行
? Azkaban 有兩種運(yùn)行模式，分別是 solo server mode(executor server 和 web server 部署在同一臺(tái)節(jié)點(diǎn))和 multi server mode(executor server 和 web server 可以部署在不同節(jié)點(diǎn))
? Oozie 作為工作流服務(wù)器運(yùn)行，支持多用戶和多工作流
工作流管理
? Azkaban 支持瀏覽器以及 ajax 方式操作工作流
? Oozie 支持命令行、HTTP REST、Java API、瀏覽器操作工作流

2.Azkaban 安裝部署

?? Azkaban 是由 Linkedin 開源的一個(gè)批量工作流任務(wù)調(diào)度器。用于在一個(gè)工作流內(nèi)以一個(gè)特定的順序運(yùn)行一組工作和流程。Azkaban 定義了一種 KV 文件(properties)格式來建立任務(wù)之間的依賴關(guān)系，并提供一個(gè)易于使用的 web 用戶界面維護(hù)和跟蹤你的工作流。
Azkaban的功能特點(diǎn)

• Web 用戶界面
• 方便上傳工作流
• 方便設(shè)置任務(wù)之間的關(guān)系
• 調(diào)度任務(wù)流
• 認(rèn)證/授權(quán)
• 能夠殺死并重新執(zhí)行任務(wù)
• 模塊化和可插拔的插件機(jī)制
• 工作流和任務(wù)的日志記錄審計(jì)

Azkaban的實(shí)戰(zhàn)安裝：
安裝包：
Azkaban Web 服務(wù)器：azkaban-web-server-2.5.0.tar.gz
Azkaban Excutor 執(zhí)行服務(wù)器：azkaban-executor-server-2.5.0.tar.gz
Azkaban 初始化腳本文件：azkaban-sql-script-2.5.0.tar.gz
下載地址:http://azkaban.github.io/downloads.html
① 解壓安裝包

[root@hadoop03 ~]# tar -zxvf azkaban-web-server-2.5.0.tar.gz -C apps/ azkaban/
[root@hadoop03 ~]# tar -zxvf azkaban-executor-server-2.5.0.tar.gz -C apps/ azkaban/
[root@hadoop03 ~]# tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C apps/ azkaban/ 

②安裝 Azkaban 腳本導(dǎo)入

[root@hadoop03 ~]# tar -zxvf azkaban-sql-script-2.5.0.tar.gz -C apps/ azkaban/
#進(jìn)入MySQL執(zhí)行腳本：
mysql> create database azkaban; Query OK, 1 row affected (0.01 sec) 

mysql> use azkaban; 
Database changed 

mysql> source /home/hadoop/apps/azkaban/azkaban-script-2.5.0/create-all-sql-2.5.0.sql; 

③創(chuàng)建 SSL 配置

#最好是在azkaban 目錄下：
[root@hadoop03 ~]# keytool -keystore keystore -alias jetty -genkey -keyalg RSA 

#此命令執(zhí)行之后會(huì)提示輸入當(dāng)前生成 keystore 的密碼及相應(yīng)信息,輸入密碼請(qǐng)勞記,信息如下：

然后將在當(dāng)前目錄生成 keystore 證書文件,將 keystore 拷貝到 azkaban web 服務(wù)器根目錄中.如:

[root@hadoop03 ~]#cp keystore azkaban/azkaban-web-2.5.0

④修改配置文件

#先配置好服務(wù)器節(jié)點(diǎn)上的時(shí)區(qū)
先生成時(shí)區(qū)配置文件 Asia/Shanghai，用交互式命令 tzselect 即可
拷貝該時(shí)區(qū)文件，覆蓋系統(tǒng)本地時(shí)區(qū)配置
[hadoop@hadoop03 ~]$ sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 
#azkaban web 服務(wù)器配置進(jìn)入 azkaban web 服務(wù)器安裝目錄 conf 目錄
[hadoop@hadoop03 ~]$ cd apps/azkaban/azkaban-web-2.5.0/conf/ 

#修改 azkaban.properties 文件

#用戶配置,具體配置參加下文 
#Loader for projects   # global 配置文件所在位置 
executor.global.properties=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0/conf/global.properties azkaban.project.dir=projects 
  #數(shù)據(jù)庫類型
database.type=mysql
 #端口號(hào)
mysql.port=3306       
#數(shù)據(jù)庫連接 IP
mysql.host=hadoop03                                                    
 #數(shù)據(jù)庫實(shí)例名 
mysql.database=azkaban                                                    
 #數(shù)據(jù)庫用戶名
mysql.user=root                                                                 
#數(shù)據(jù)庫密碼
mysql.password=root                                                           
  #最大連接數(shù) 
mysql.numconnections=100                                              

#Velocity dev mode velocity.dev.mode=false 
#Jetty 服務(wù)器屬性. 
 #最大線 程數(shù)
jetty.maxThreads=25                                                             
 #Jetty SSL 端口
jetty.ssl.port=8443  
 #Jetty 端口 
jetty.port=8081     
 #SSL 文件名
jetty.keystore=/home/hadoop/apps/azkaban/azkaban-web-2.5.0/keystore
#SSL 文件密碼
jetty.password=hadoop    
 #Jetty 主密碼 與 keystore 文件相同
jetty.keypassword=hadoop 
 #SSL 文件名 
jetty.truststore=/home/hadoop/apps/azkaban/azkaban-web-2.5.0/keystore        
  # SSL 文件密碼 
jetty.trustpassword=hadoop                                                 

# 執(zhí)行服務(wù)器屬性 
executor.port=12321                                    #執(zhí)行服務(wù)器端口 

# 郵件設(shè)置(可選項(xiàng)) 
mail.sender=xxxxxxxx@163.com                  #發(fā)送郵箱 

mail.host=smtp.163.com                                #發(fā)送郵箱 smtp 地址 

mail.user=xxxxxxxx                                        #發(fā)送郵件時(shí)顯示的名稱 

mail.password=**********                                #郵箱密碼 

job.failure.email=xxxxxxxx@163.com             #任務(wù)失敗時(shí)發(fā)送郵件的地址 
job.success.email=xxxxxxxx@163.com     #任務(wù)成功時(shí)發(fā)送郵件的地址 
lockdown.create.projects=false                 
# cache.directory=cache                           #緩存目錄

#進(jìn)入 azkaban web 服務(wù)器 conf 目錄,修改 azkaban-users.xml 用戶配置

#azkaban 執(zhí)行服務(wù)器 executor 配置,進(jìn)入執(zhí)行服務(wù)器安裝目錄 conf,修改 azkaban.properties

#Azkaban 
default.timezone.id=Asia/Shanghai                                              #時(shí)區(qū) 

#Azkaban JobTypes 插件配置，插件所在位置 
azkaban.jobtype.plugin.dir=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0/plugins/jobtypes 

#Loader for projects 
executor.global.properties=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0/conf/global.properties azkaban.project.dir=projects 

#數(shù)據(jù)庫設(shè)置 
 #數(shù)據(jù)庫類型(目前只支持 mysql)
database.type=mysql  
#數(shù)據(jù)庫端口號(hào)
mysql.port=3306       
#數(shù)據(jù)庫 IP  地址
mysql.host=hadoop03    
 #數(shù)據(jù)庫實(shí)例名
mysql.database=azkaban                                                  
#數(shù)據(jù)庫用 戶名
mysql.user=root       
#數(shù)據(jù)庫密碼
mysql.password=root                                                         
  #最大連接數(shù) 
mysql.numconnections=100                                                

#執(zhí)行服務(wù)器配置 
#最大線程數(shù) 
executor.maxThreads=50                                                     
#端口號(hào)(如修改,請(qǐng)與 web 服務(wù)中一致)                                                    
executor.port=12321   
 #線程數(shù) 
 executor.flow.threads=30   

⑤配置環(huán)境變量

[hadoop@hadoop03 ~]$  vim /etc/profile

#/etc/profile
export AZKABAN_WEB_HOME=/home/hadoop/apps/azkaban/azkaban-web-2.5.0 
export AZKABAN_EXE_HOME=/home/hadoop/apps/azkaban/azkaban-executor-2.5.0 
export PATH=$PATH:$AZKABAN_WEB_HOME/bin:$AZKABAN_EXE_HOME/bin 

⑥啟動(dòng)
#啟動(dòng) web 服務(wù)器

 nohup azkaban-web-start.sh 1>/home/hadoop/azwebstd.out 2>/home/hadoop/azweberr.out & 

#啟動(dòng)執(zhí)行服務(wù)器

nohup azkaban-executor-start.sh 1>/home/hadoop/azexstd.out 2>/home/hadoop/azexerr.out &

⑥驗(yàn)證是否登錄成功
在瀏覽器中輸入：https://hadoop03:8443/

看到以上界面表示安裝成功?。。?！
小編這里建議將Azkaban 的web、executor配置文件，所有的相對(duì)路徑都換成絕對(duì)路徑，不然經(jīng)常會(huì)報(bào)出文件找不到的問題?。。?！

3.Azkaban 安裝部署報(bào)錯(cuò)解決

原因是：在azkaban的server和executor中缺少一個(gè)叫derby.jar的包
解決：在已經(jīng)安裝的JDK中：

cp $JAVA_HOME/db/lib/derby.jar $AZKABAN_WEB_HOME/extlib
cp $JAVA_HOME/db/lib/derby.jar $AZKABAN_EXE_HOME/extlib

如果遇到與MySQL的權(quán)限問題：
請(qǐng)參考：https://blog.51cto.com/14048416/2344516文章。

3.Azkaban 的簡(jiǎn)單使用

①創(chuàng)建job ：command.job

#command.job 
type=command                                             
command=echo 'hello' 

②將 job 資源文件打包
[hadoop hadoop03@~ ]$ zip command.job
③通過 azkaban web 管理平臺(tái)創(chuàng)建 project 并上傳壓縮包