本文基於尚硅谷Azkaban 資料整理而來
1. Azkaban是一個工作流調度工具
常見的工作流調度工具有Ooize、Azkaban、airflow、DolphinScheduler等。
Ooize 相比 Azkaban 是一個重量級的任務調度系統，功能全面，但配置使用
也更復雜。如果可以不在意某些功能的缺失，輕量級調度器 Azkaban 是很不錯的候選對象。
2. 集群模式安裝部署(3.84.4版本)
- 集群模式是一個Web多個Executor的方式，這里准備三台服務器hadoop102、hadoop103、hadoop104 以及一個MySQL數據庫服務
- 上傳安裝包以及配置MySQL
將 azkaban-db-3.84.4.tar.gz，azkaban-exec-server-3.84.4.tar.gz，azkaban-web-
server-3.84.4.tar.gz 上傳到 hadoop102 的/opt/software 路徑
[root@hadoop102 software]$ ll 總用量 35572 -rw-r--r--. 1 root root 6433 4月 18 17:24 azkaban-db- 3.84.4.tar.gz -rw-r--r--. 1 root root 16175002 4 月 18 17:26 azkaban-exec- server-3.84.4.tar.gz -rw-r--r--. 1 root root 20239974 4 月 18 17:26 azkaban-web- server-3.84.4.tar.gz
新建/opt/module/azkaban 目錄，並將所有 tar 包解壓到這個目錄下
解壓azkaban-db-3.84.4.tar.gz、 azkaban-exec-server-3.84.4.tar.gz和azkaban- web-server-3.84.4.tar.gz 到/opt/module/azkaban 目錄下
[root@hadoop102 software]$ tar -zxvf azkaban-db-3.84.4.tar.gz - C /opt/module/azkaban/ [root@hadoop102 software]$ tar -zxvf azkaban-exec-server- 3.84.4.tar.gz -C /opt/module/azkaban/ [root@hadoop102 software]$ tar -zxvf azkaban-web-server- 3.84.4.tar.gz -C /opt/module/azkaban/
進入到/opt/module/azkaban 目錄，依次修改名稱
[root@hadoop102 azkaban]$ mv azkaban-exec-server-3.84.4/ azkaban-exec [root@hadoop102 azkaban]$ mv azkaban-web-server-3.84.4/ azkaban-web
配置MySQL
登陸 MySQL，創建 Azkaban 數據庫，創建 azkaban 用戶並賦予權限。這里對數據庫密碼策略做了簡化設置，生產環境不建議這樣做。
最后 刷Azkaban數據庫初始化腳本。
mysql> create database azkaban; mysql> set global validate_password_length=4; mysql> set global validate_password_policy=0; mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY '000000'; mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION; mysql> use azkaban; mysql> source /opt/module/azkaban/azkaban-db-3.84.4/create-all- sql-3.84.4.sql mysql> quit;
更改MySQL數據庫服務的包大小限制，改完后重啟MySQL服務
[root@hadoop102 software]$ sudo vim /etc/my.cnf # 在[mysqld]下面加一行 max_allowed_packet=1024M [mysqld] max_allowed_packet=1024M
- 配置Executor Server
編輯 azkaban.properties
[root@hadoop102 azkaban]$ vim /opt/module/azkaban/azkaban- exec/conf/azkaban.properties # 修改以下屬性的值 default.timezone.id=Asia/Shanghai azkaban.webserver.url=http://hadoop102:8081 executor.port=12321 mysql.host=hadoop102 mysql.password=000000
同步 azkaban-exec 到所有節點，前提在103、104上創建目錄/opt/module/azkaban/
scp -r /opt/module/azkaban/azkaban-exec root@hadoop103:/opt/module/azkaban/ scp -r /opt/module/azkaban/azkaban-exec root@hadoop104:/opt/module/azkaban/
必須進入到/opt/module/azkaban/azkaban-exec 路徑，分別在三台機器上，啟動 executor server，不進到這個目錄啟動很容易出現啟動后配置以及頁面有問題（好多配置使用的相對路徑）。
[root@hadoop102 azkaban-exec]$ bin/start-exec.sh [root@hadoop103 azkaban-exec]$ bin/start-exec.sh [root@hadoop104 azkaban-exec]$ bin/start-exec.sh
如果在/opt/module/azkaban/azkaban-exec 目錄下出現 executor.port 文件，說明 啟動成功
激活executor
[root@hadoop102 azkaban-exec]$ curl -G "hadoop102:12321/executor?action=activate" && echo [root@hadoop103 azkaban-exec]$ curl -G "hadoop103:12321/executor?action=activate" && echo [root@hadoop104 azkaban-exec]$ curl -G "hadoop104:12321/executor?action=activate" && echo # 如果全部返回，下面內容則代表激活成功 {"status":"success"}
- 配置Web Server
Azkaban Web Server 處理項目管理，身份驗證，計划和執行觸發。（題外話：這個web單節點在生產遇到過掛掉，真個定時觸發都沒執行）
編輯 azkaban.properties
default.timezone.id=Asia/Shanghai mysql.host=hadoop102 mysql.password=000000 azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
StaticRemainingFlowSize:正在排隊的任務數
CpuStatus:CPU 占用情況
MinimumFreeMemory:內存占用情況。MinimumFreeMemory過濾器會檢查executor主機空余內存是否會大於6G，如果不足6G，則web-server不會將任務交由該主機執行
修改 azkaban-users.xml 文件，可以添加用戶和修改用戶密碼，這里不做修改，使用默認的azkaban/azkaban
必須進入到 /opt/module/azkaban/azkaban-web 路徑，啟動 web server
[root@hadoop102 azkaban-web]$ bin/start-web.sh
訪問 http://hadoop102:8081,並用 azkaban 用戶登陸
3. Work Flow 示例
- 演示輸出hello world 簡單工作流
創建文件azkaban.project文件，指定使用的語法版本，azkaban 前面版本的工作流配置語法跟現在有所不同的。現在采用的yaml語法
azkaban-flow-version: 2.0
創建basic.flow文件，內容如下
nodes: - name: jobA type: command config: command: echo "Hello World"
將兩個文件壓縮為一個zip文件，文件名必須是英文的。
打開azkaban頁面創建一個project，輸入項目名稱以及描述，這里也全部最好輸入英文
創建完成后，選擇上傳文件
選擇上傳剛才的zip文件，如果文件沒有語法或者其他問題，回來到下面頁面，解析后的工作流。點擊Execute Flow --> Execute 按鈕執行工作流
執行完后可以在日志那邊看到執行結果了
日志中看到輸出
- 作業依賴示例
需求:JobA 和 JobB 執行完了，才能執行 JobC
修改 basic.flow 為如下內容
nodes: - name: jobC type: command # jobC 依賴 JobA 和 JobB dependsOn: - jobA - jobB config: command: echo "I’m JobC" - name: jobA type: command config: command: echo "I’m JobA" - name: jobB type: command config: command: echo "I’m JobB"
同上一個示例，壓縮成zip文件，並且azkaban上創建一個project，名字為second 上傳文件並執行
- 自動失敗重試
如果執行任務失敗，需要重試 3 次，重試的時間間隔 10000ms
編輯flow文件
nodes: - name: JobA type: command config: command: sh /not_exists.sh retries: 3 retry.backoff: 10000
參數說明:
retries:重試次數
retry.backoff:重試的時間間隔
也可以在 Flow 全局配置中添加任務失敗重試配置，此時重試配置會應用到所有 Job
config: retries: 3 retry.backoff: 10000 nodes: - name: JobA type: command config: command: sh /not_exists.sh
- 手動失敗重試
需求:JobA ---> JobB ---> JobC ---> JobD ---> JobE ---> JobF。生產環境，任何 Job 都 有可能掛掉，可以根據需求執行想要執行的 Job。
flow 文件
nodes: - name: JobA type: command config: command: echo "This is JobA." - name: JobB type: command dependsOn: - JobA config: command: echo "This is JobB." - name: JobC type: command dependsOn: - JobB config: command: echo "This is JobC." - name: JobD type: command dependsOn: - JobC config: command: echo "This is JobD." - name: JobE type: command dependsOn: - JobD config: command: echo "This is JobE." - name: JobF type: command dependsOn: - JobE config: command: echo "This is JobF."
創建project並上傳flow后
選擇 需要執行的步驟
Enable 和 Disable 下面都分別有如下參數:
Parents:該作業的上一個任務
Ancestors:該作業前的所有任務
Children:該作業后的一個任務
Descendents:該作業后的所有任務
Enable All:所有的任務
- JavaProcess作業類型
JavaProcess 類型可以運行一個自定義主類方法，type 類型為 javaprocess
可用的配置有以下：
Xms:最小堆
Xmx:最大堆
classpath:類路徑
java.class:要運行的 Java 對象，其中必須包含 Main 方法 main.args:main 方法的參數
新建一個 azkaban 的 maven 工程，創建包名:com.example 創建 AzTest 類
package com.example; public class AzTest { public static void main(String[] args) { System.out.println("This is for testing!"); } }
創建flow文件，內容如下
nodes: - name: test_java type: javaprocess config: Xms: 96M Xmx: 200M java.class: com.example.AzTest
創建project並上傳zip文件，執行即可
- 條件工作流
條件工作流功能允許用戶自定義執行條件來決定是否運行某些 Job。條件可以由當前 Job 的父 Job 輸出的運行時參數構成，也可以使用預定義宏。在這些條件下，用戶可以在確定 Job 執行邏輯時獲得更大的靈活性，例如，只要父 Job 之一成功，就可以運行當前 Job。
原理：
父 Job 將參數寫入 JOB_OUTPUT_PROP_FILE 環境變量所指向的文件
子 Job 使用 ${jobName:param}來獲取父 Job 輸出的參數並定義執行條件
支持的運算符：
(1)== 等於(2)!= 不等於 (3)> 大於 (4)>= 大於等於 (5)< 小於 (6)<= 小於等於 (7)&& 與 (8)|| 或 (9)! 非
需求:
JobA 執行一個 shell 腳本。
JobB 執行一個 shell 腳本，但 JobB 不需要每天都執行，而只需要每個周一執行。
JobA.sh
#!/bin/bash echo "do JobA" wk=`date +%w` echo "{\"wk\":$wk}" > $JOB_OUTPUT_PROP_FILE
JobB.sh
#!/bin/bash echo "do JobB"
condition.flow
nodes: - name: JobA type: command config: command: sh JobA.sh - name: JobB type: command dependsOn: - JobA config: command: sh JobB.sh condition: ${JobA:wk} == 1
- 預定義宏
Azkaban 中預置了幾個特殊的判斷條件，稱為預定義宏。
預定義宏會根據所有父 Job 的完成情況進行判斷，再決定是否執行。可用的預定義宏如 下:
(1)all_success: 表示父 Job 全部成功才執行(默認)
(2)all_done:表示父 Job 全部完成才執行
(3)all_failed:表示父 Job 全部失敗才執行
(4)one_success:表示父 Job 至少一個成功才執行
(5)one_failed:表示父 Job 至少一個失敗才執行
需求:
JobA 執行一個 shell 腳本
JobB 執行一個 shell 腳本
JobC 執行一個 shell 腳本，要求 JobA、JobB 中有一個成功即可執行
JobA.sh
#!/bin/bash echo "do JobA"
JobC.sh
#!/bin/bash echo "do JobC"
macro.flow
nodes: - name: JobA type: command config: command: sh JobA.sh - name: JobB type: command config: command: sh JobB.sh - name: JobC type: command dependsOn: - JobA - JobB config: command: sh JobC.sh condition: one_success
注意:沒有 JobB.sh。
- 定時執行
使用crontab語法配置定時信息
- 郵件報警設置
在web配置文件中添加一下內容
#這里設置郵件發送服務器，需要 申請郵箱，切開通 stmp 服務，以下只是例子 mail.sender=atguigu@126.com mail.host=smtp.126.com mail.user=atguigu@126.com mail.password=用郵箱的授權碼
保存重啟web服務
配置通知
4. Azkaban 多 Executor 模式注意事項
Azkaban 多 Executor 模式是指，在集群中多個節點部署 Executor。
在這種模式下， Azkaban web Server 會根據策略，選取其中一個 Executor 去執行任務。
為確保所選的 Executor 能夠准確的執行任務，我們須在以下兩種方案任選其一，推薦使 用方案二。
方案一: 指定特定的 Executor(hadoop102)去執行任務。
在 MySQL 中 azkaban 數據庫 executors 表中，查詢 hadoop102 上的 Executor 的 id
在執行工作流程時加入 useExecutor 屬性
方案二: 在 Executor 所在所有節點部署任務所需腳本和應用。