轉:
azkaban的工作流中的參數可以分為如下幾個類型:azkaban UI 頁面輸入參數, 環境變量參數,
job作業文件中定義的參數,工作流的用戶定義的屬性文件,上游作業傳遞給下游的參數,
工作流運行時產生的系統參數,job的common參數等。
參數的作業范圍分類,對當前job有效局部有效,對整個工作流全局有效。

1. Job配置中的參數全局參數,在整個工作流的作業文件配置中,都可以通過 ${參數名} 的方式引用使用。
- common參數配置
除了type,command,decpendencies三個參數外,還有如下一些保留參數可以為每個job配置

用戶也可以自用一下參數,用於接收外部或者上游job的參數,也可用於傳遞給shell腳本等。一個flow的email屬性,只會取最后一個job的配置,其他的job的email配置將會被忽略。
- Runtime 屬性
這些屬性在job運行期間自動被添加.
-
參數名不能有空格,標點符號等。參數繼承后綴名為.properties的文件將會作為參數文件加載,並且為flow中每個job所共享,屬性文件通過目錄的分層結構繼承
比如,在zip包中有以下結構system.properties baz.job myflow/ myflow.properties myflow2.properties foo.job bar.job
system.properties是全局的屬性,將會被baz.job和myflow目錄下的foo.job和bar.job使用,但是baz.job不會繼承myflow.properties和myflow2.properties的屬性,因為是它的下層. -
參數替換
azkaban支持參數替換;替換參數樣式: azkaban會替換{}中的參數。無論${parameterName} 在job file中或者在參數文件中或者運行時參數發現,都可以被替換為對應的值。
# shared.properties replaceparameter=bar# myjob.job param1=mytest foo=${replaceparameter} #${replaceparameter}會替換為bar param2=${param1} # ${param1} 會被替換成mytest。 -
前面這個例子,在myjob 作業運行前,foo 會被賦值為
bar, param2會被賦值為mytest.
-
Parameter Passing:參數傳遞
azkaban以job執行過程中,傳遞進來的臨時參數,運行時參數,項目中配置文件的參數,job定義中參數等 都保存在 ${JOB_PROP_FILE}文件中,保存格式為key=value。執行job的中shell命令時,可以作為參數傳遞。
JOB_PROP_FILE 是一個環境變量參數。 -
Parameter Output:參數輸出
一個任務運行結束,可以將一些參數寫入到${JOB_OUTPUT_PROP_FILE}文件 中,azkaban會將這些參數傳遞到下游依賴的的job的參數文件${JOB_PROP_FILE}文件中,供下游job引用。
寫如到${JOB_OUTPUT_PROP_FILE}文件中參數需要是json格式的,否則會報json解析錯。
JOB_OUTPUT_PROP_FILE也是一個環境變量參數
節點間傳參:
echo '{"yyy" : "112234"}' > ${JOB_OUTPUT_PROP_FILE}
SHELL_2.job:
type=command
dependencies=Start
command= sh SHELL_2.sh
SHELL_2.sh
echo '{"yyy" : "112234"}' > ${JOB_OUTPUT_PROP_FILE}
type=command
dependencies=SHELL_2
command= echo ......'${yyy},,,,此參數被賦值了'
不過節點間傳參數 只能 傳給依賴自己的節點,無法 影響 全局變量,
