一、DataWorks（數據工場）
DataWorks系列視頻
一、Dataworksv2前世今生
1.1 開發易用、數據穩定性、數據安全、數據調度
1.2 數據全鏈路
1.3 數據安全
1.4 調度能力
1.5 dataworks 的開發規划
- 流批一體、交互式實時查詢、數據應用構建、解決生態賦能
1.6 dataservice studio
二、dataworkv2.0 版本概述與最佳實踐
2.1 開發理念的升級
- 標准項目模式，開發與生產兩套環境
- 按照業務流程進行划分作業類型（數據集成、開發、資源、函數）
- 解決方案是有機整合所有的業務流程
2.2 新舊對比：開發體驗優化
- SQL編輯器優化（代碼高亮、補齊、格式化）
- 可視化：查看SQL結構
- 依賴屬性：依賴的粒度可以節點了，每個節點調度屬性不一樣
- 開發：自由的配置任務依賴
- SQL結果分析組件更強大，有excel的部分功能，顯示結果1萬條
- SQL組件，代碼重用，組件的開發模式引入
- 三天內SQL運行歷史
- 代碼全局搜索功能
- 回收站
- 表管理
2.3 數據掌控力
- 數據質量智能監控、數據保護傘、數據服務
2.3.1 數據質量智能監控
- 處理數據、管理數據、分享數據
- 智能監控：基線預警、事件報警、自定義報警
- 數據質量：
2.3.2 數據保護傘
- 敏感數據跟蹤審計功能
- 風險行為的識別，配置規則識別風險行為
2.3.3數據服務
- 將數據表生產API,如BI報表、數據可視化，
- 數據給自己用，數據共享給合作伙伴用、數據銷售變現
三、DataWorks V2.0數據集成簡介與最佳實踐
3.1數據集成簡介
3.2 操作流程
- 同步一個表/文件（一批表文件）
- 三種數據源的配置：實列配置（阿里雲自身的產品）、有公網Ip(jdbc)、私網ip
- 運行任務：周期運行、測試運行（只跑當前任務）、補數據運行（可以跑當前任務及其下游、可選時間區間）
3.3 最佳實踐
（1）同步速度調優，分析同步任務--》任務切分（並發《=2dmu）---》
（2）自定義資源組
- 獨占同步資源、
- 打通特殊網絡
四、DataWorks V2.0數據開發功能與用法解析