prefect 主要是用來進行數據的工作流管理系統,而且prefect 團隊開源了核心工具,而且目前prefect 也提供了比較豐富的工具報(而且支持dremio。。。。)
說明
prefect 是一個很不錯的基於python 編寫的調用工具,很值得學習下,而且dbt 官方也有介紹到
參考資料
https://www.prefect.io/core
https://github.com/prefecthq/prefect
https://docs.getdbt.com/docs/running-a-dbt-project/running-dbt-in-production
https://docs.prefect.io/api/latest/tasks/dremio.html#dremiofetch
