Azkaban-實戰（二）多job工作流案例

1）創建有依賴關系的多個job描述

第一個job：1.job

[itstar@bigdata111 jobs]$ vi 1.job

type=command

command=/opt/module/hadoop-2.8.4/bin/hadoop fs -put /opt/module/datas/word.txt /

第二個job：2.job依賴1.job

[itstar@bigdata111 jobs]$ vi 2.job

type=command

command=/opt/module/hadoop-2.8.4/bin/hadoop jar /opt/module/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar wordcount /word.txt /out

dependencies=1

2）注意：將所有job資源文件打到一個zip包中

3）在azkaban的web管理界面創建工程並上傳zip包

4）查看結果

**************************************************************************************************************

我是這樣操作的：

1）創建.job文件

 

其中，azkaban.txt文件內容為：

 

2）創建第二個.job文件

 

復制這個jar包所在的絕對路徑--》粘貼到創建好的.job文件上

/opt/module/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar

 

 注意寫依賴關鍵詞dependencies

3）壓縮兩個文件成為mr.zip

 

 

 4）接下來上傳到Azkaban然后執行即可~

注意：因為這個要用到HDFS、MR所以，一定要啟動HDFS服務

我這里就啟動Hadoop集群了~

 

 

 

 

 

 

 

Execution和History這兩個可以用來查看任務執行的狀態。

 

5）查看結果

 

思考：

將student.txt文件上傳到hdfs，根據所傳文件創建外部表，再將表中查詢到的結果寫入到本地文件