1.數據同步看數據量和增刪改查的原因確定是否是增量同步還是全量同步
1.一般mongo表使用增量數據,因為我們業務數據mongo存儲的內容較多,如果每天都使用使用全量的話,占用太大了(不區別etl_dt)
2.一般mysql表使用全量數據,因為mysql表極限在千萬級別,所以刪除和修改的操作更多一些,整體量級比mongo小,這樣可以使用全量(每一個etl_dt,都是那一天之前所有的全量數據)
3.增量有etl_dt,比如埋點數據,只有新增,所以我們一般用增量同步,但是也有etl_dt,這樣我們如果回溯之前的某段時間的埋點數據的話,
只需要取etl_dt在(20210901~20210902)之間新增的埋點數據即可,增加查詢效率,因為埋點數據比較多。