這兩天在做數據的導入操作,為了方便數據的導入我們采用sqoop的方式將數據導入。但是在表很多的情況下,在hue當中部署工作流就是一件很麻煩的事情,
然后想着能不能通過shell腳本調shell腳本的方式實現在一個shell腳本當中就可以實現對多個導入操作腳本的調用。
操作腳本如下:
#!/bin/bash #sh ./import_com_organization.sh source ./import_com_organization.sh #. ./import_com_organization.sh echo "success" exit 0
這三種方式都可以實現對數據的導入操作,我這里是使用oozie的方式實現對腳本的調度操作。下面這個是sqoop的導入腳本,這個可以自己按照自己的要求去編寫
這里需要注意幾個問題,在這里被調用的腳本必須和住腳本的路徑一直。要不然一直報找不到路徑,類似下面的這種找不到路徑。這里我試了一下使用決絕路徑都是不可以的,一直報路徑或者文件存在。這設計真是不合理
兩個文件還必須在同一目錄下面。

下面說一下這種腳本在hue當中部署oozie的具體操作;
(1)將寫好的腳本主腳本和被調用的腳本上傳到同一目錄下:

(2)然后部署工作流

接下來在yarn上面我們能看到oozie啟動的laucher和action操作。

等待執行完成之后。查看結果即可。
參考文檔: https://blog.csdn.net/adshiye/article/details/84311890
