海量數據下,如何快速查找一條數據?
- 使用布隆過濾器,快速過濾不存在的記錄。
使用Redis的bitmap結構來實現布隆過濾器。 - 在Redis中建立數據緩存。
- 以普通字符串的形式來存儲(userId -> user.json)
- 以一個hash來存儲一條記錄
- 以一個整的hash來存儲所有的數據
存在的問題:- 緩存擊穿:對不存在的數據也建立Key,這些key都是經過布隆過濾器過濾的,所以一般不會太多。
- 緩存過期:將熱點數據設置成永不過期,定期重建緩存;使用分布式鎖。
- 查詢優化
- 按槽位分配數據
- 自己實現槽位計算,找到記錄應該分配到哪台機器上,然后直接去目標機器上找。
