需求: 增量抽取MongoDB數據並加載到MSSQL
由於不能使用關系型數據庫的自定義SQL, 所以主要遇到的問題有:
- 增量時間的查詢和參數控制
- ETL的批次信息和調用參數的寫入
第一個問題的解決如下:
使用命名參數在Query頁中進行過濾, 一開始會擔心${}的引用方式會用Mongo的語法沖突, 測試后發現運行正常
第二個問題:
先為結果增加常量值, 如常量值固定則直接寫死, 不固定的常量值先設置為空串, 在后面使用字符串替換組件傳入命名參數, 最后用字段選擇把空串的常量值移除
免責聲明！
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。