數據測試
-
前提:數據質量標准
-
方法:數據測試方法
-
效率:自動化/工具開發
-
前提:數據質量標准:阿里標准
- 標准:由兩部分構成,用戶可見標准/研發體系的標准
- 用戶可見:功能性(及時/完整/准確)+易用性(可用/需要)
- 研發體系:可靠/穩定(可遷移/可擴展/可修改/容錯性)+安全性(數據安全)+容災性+效率
- 測試負責范圍:功能性+容災性驗證---評估(可靠穩定+安全+效率)
- 測試工作:輸入數據構造/輸出數據校驗/執行時機/核心SQL SR
- 輸入數據構造:一般是不需要構造需要輸入數據的,可以利用線上快照數據;但是當業務對數據很敏感的時候就需要構造數據,構造敏感數據是相對比較困難的,需要對業務的了解;
- 輸出數據校驗:功能性校驗:
- 及時性校驗相對較簡單:根據一定時間內的數據條數就能確定;
- 完整性校驗:多數據/數據少了考慮;重復數據條數/主鍵唯一(多),數據條數缺失,字段值缺失,空值,不了數據情況下根據數據條數的歷史波動評估(少);
- 准確性校驗:很難校驗,只能做相對評估;
- (值自身):根據取值范圍(比例和值100%),根據邏輯關系(pv>uv),根據經驗(pv/click<某個值);
- 時間維度(不同時間):同一批數據,相同參數/類型數據(歷史數據波動情況評估,);數據一致性評估,歷史數據一致性;不同批次,線上線下數據對比;
- 空間維度:上下游數據一致性檢查,系統內數據關聯的話,不同模塊的數據對比,與系統外數據關聯的話也可以對比;
