海量數據下,如何快速查找一條數據?


海量數據下,如何快速查找一條數據?

  1. 使用布隆過濾器,快速過濾不存在的記錄。
    使用Redis的bitmap結構來實現布隆過濾器。
  2. 在Redis中建立數據緩存。
  • 以普通字符串的形式來存儲(userId -> user.json)
  • 以一個hash來存儲一條記錄
  • 以一個整的hash來存儲所有的數據
    存在的問題:
    • 緩存擊穿:對不存在的數據也建立Key,這些key都是經過布隆過濾器過濾的,所以一般不會太多。
    • 緩存過期:將熱點數據設置成永不過期,定期重建緩存;使用分布式鎖。
  1. 查詢優化
  • 按槽位分配數據
  • 自己實現槽位計算,找到記錄應該分配到哪台機器上,然后直接去目標機器上找。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM