Azkaban-实战（二）多job工作流案例

1）创建有依赖关系的多个job描述

第一个job：1.job

[itstar@bigdata111 jobs]$ vi 1.job

type=command

command=/opt/module/hadoop-2.8.4/bin/hadoop fs -put /opt/module/datas/word.txt /

第二个job：2.job依赖1.job

[itstar@bigdata111 jobs]$ vi 2.job

type=command

command=/opt/module/hadoop-2.8.4/bin/hadoop jar /opt/module/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar wordcount /word.txt /out

dependencies=1

2）注意：将所有job资源文件打到一个zip包中

3）在azkaban的web管理界面创建工程并上传zip包

4）查看结果

**************************************************************************************************************

我是这样操作的：

1）创建.job文件

 

其中，azkaban.txt文件内容为：

 

2）创建第二个.job文件

 

复制这个jar包所在的绝对路径--》粘贴到创建好的.job文件上

/opt/module/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar

 

 注意写依赖关键词dependencies

3）压缩两个文件成为mr.zip

 

 

 4）接下来上传到Azkaban然后执行即可~

注意：因为这个要用到HDFS、MR所以，一定要启动HDFS服务

我这里就启动Hadoop集群了~

 

 

 

 

 

 

 

Execution和History这两个可以用来查看任务执行的状态。

 

5）查看结果

 

思考：

将student.txt文件上传到hdfs，根据所传文件创建外部表，再将表中查询到的结果写入到本地文件