DataWorks使用小結(二)——功能面板使用指南


 一、數據開發

  1.任務開發

    新建表

      野路子可以直接新建一個任務,粘貼DDL,手動運行任務即可完成建表

      正常應當是在“數據管理”->數據表管理中建表:

      

      支持可視化建表和DDL建表(配合之前的宏,建表還是很快的)

    當然,這種方式的局限也很明顯,一是稍顯繁瑣,二是不能同時運行多個任務,三是不能保存建表腳本(每次都得去查找數據中找到建表DDL)

    改進的方式是使用ODPS_SQL腳本,腳本開發,下文介紹

    查看表

      在數據管理->查找數據中可以查看表的信息,包括字段信息、血緣信息、導出建表DDL等

    操作任務

      新建任務就不贅述了(主要任務類型包括SQL任務以及數據同步任務用於將其他數據源同步到ODPS),保存和提交任務不贅述,(只有提交的任務才會進入調度系統被調度,可以在運維中心看到)

    查看歷史版本

      (之前還傻傻的本地保存歷史版本),所有提交過的任務,都會有歷史版本(可以方便回退):

      

    不僅可以查看,還可以比對歷史版本

    克隆任務

      會將調度屬性一起克隆

    運行任務時,明明輸入了系統參數,卻還要手動輸入值?參考常見問題運行與測試運行

   2.調度配置

    周期配置

      支持從小時到月級別的周期調度配置(周期調度時間優先級小於依賴優先級,也就是即使到了時間,如果上游依賴任務沒成功,也不會跑)

    提交任務后,調度系統會在第二天開始按照不同的周期配置進行調度運行

      周、月調度任務中,在非調度日會“空跑”直接置為成功,例如周調度為每周一,則周二到周日直接置為成功

    參數配置

      參考官網;參數配置

    依賴關系

      依賴關系也實在任務屬性中進行配置:

      

 

    主要包括跨周期依賴和普通依賴兩種依賴

   3.腳本開發

    腳本開發主要用於輔助數據開發,比如臨時數據的增刪改查,不需要調度屬性與依賴關系,老版本腳本開發在左上:

    

    腳本只能在頁面上主動點擊運行,僅限頁面上!

  開發規范https://help.aliyun.com/document_detail/85305.html?spm=a2c4g.11186623.6.613.6d125c323GSg4u

  修改版:

    https://www.cnblogs.com/jiangbei/p/10647743.html

   4.資源與函數管理

    上傳資源

      資源管理的位置:

      

 

      在資源管理中右鍵上傳資源,選定需要的類型即可

    其他資源操作不再贅述

    函數管理

      系統函數不再贅述

      UDF流程:本地開發Java代碼打包為jar->上傳Jar到ODPS資源->新建函數與Jar關聯(務必寫上函數命令格式與相關注釋)->使用函數

      創建UDF后一般可以先用腳本來測試一下

  5.發布管理

    發布管理概述參考官網描述,常用來隔離開發與生產

    在項目管理面板可以配置發布目標項目

    提交以后便可以在創建發布包中進行發布到目標項目

    節點代碼也闊以進行版本管理

二、數據管理

  查看表的一些信息,包括列信息、分區信息(分區值)、生成建表語句等,非常方便!

  但是注意他有一個致命的缺點!非實時更新!實時更新的請寫腳本查詢,例如查看分區:

 

list partitions tb

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM