感謝園子里的同學對上一篇的支持,很高興樓主的一些經驗及想法能夠對大家有一些幫助。
上次主要討論緩存讀寫這塊各種代碼實現,本篇就上次的問題繼續來,看看那些年折騰過的各種緩存做法。
閱讀目錄:
緩存預熱
上次有同學問過,在第一次加載時緩存都為空,怎么進行預熱。
單機Web情況下一般使用RunTimeCache,這種情況下:
可以在啟動事件里面刷新
void Application_Start(object sender, EventArgs e) { //刷新 }
另外可以單寫個刷新緩存頁面,上線后手動刷新下或發布時自動調用刷新,再或者由用戶自行觸發。
分布式緩存(Redis、Memcached)情況下:
比如在幾十台服務器緩存時,單刷滿緩存都需要不少一段時間。
這種預熱就復雜一些,有的會單寫個應用程序去跑,也有的會單寫套框架機制去處理(更智能化)。
其目的是在系統上線之前,所有的緩存都預先加載完畢。
多級緩存
計算機結構中CPU和內存之間一般都配有一級緩存、二級緩存來增加交換速度。
這樣當CPU調用大量數據時,就可避開內存直接從CPU緩存中調用,加快讀取速度。
根據CPU緩存得出多級緩存的特點:
1:每一級緩存中儲存的是下一級緩存的一部分。
2:讀取速度按級別依次遞減,成本也依次遞減,容量依次遞增。
3:當前級別未命中時,才會去下一級尋找。
而在企業應用級開發中,使用多級緩存是同樣的目的及設計,只是粒度更粗,更靈活。
根據速度依次排列lv1-lv6的緩存類型圖:
3級緩存的命中流程圖例子:
線程緩存
Web應用是天生的多線程開發,對於一些公共資源必須考慮線程安全,為止不得不通過鎖來保證數據的完整性和正確性。
在實際當中一台web服務器至少也得處理成百上千的請求,想一想在業務復雜的處理流程,函數每調用一次都得鎖一下,對服務器也是個不小的浪費。
而通過線程緩存,可以讓當前處理用戶請求的線程只拿自己需要的數據。
public static ThreadLocal<UserScore> localUserInfo = new ThreadLocal<UserScore>();
借助Net提供的線程本地變量,可以在請求入口去拉取當前用戶的數據。
在之后線程整個生命周期里面,業務邏輯可以毫無顧慮的使用這些數據,而不需要考慮線程安全。
因為不用重新拿新緩存數據,所以也不用擔心數據撕裂的問題。
其當前線程周期里面的數據是完整無誤的,只有用戶第二次發起請求才會重新去拿新數據。
這樣就能提高不少服務器吞吐量,注意要在線程的出口處銷毀數據。
內存緩存
無論是遠程數據庫讀取,還是緩存服務器讀取。避免不了要跨進程,跨網絡通信,有的還跨機房。
而應用程序頻繁讀寫,對Web、DB服務器都是個不小的消耗,速度相較內存也慢的多。
代碼上加鎖、異步,甚至加服務器在內,都不是一個很好的辦法。因為加載速度,對用戶體驗非常重要。
所以在有要求的項目中使用本地內存做二級緩存,是非常有必要的。目的就是1:抗並發,2:加快讀取速度。
有個著名的緩存五分鍾法則法則,就是說如果一個數據頻繁被訪問,那么就應該放內存中。
舉個例子: 有100並發過來,加鎖會導致前端99線程等候,這個99線程等候着,其實是一直在消耗Web服務器資源。不加就是緩存雪崩。
如果每分鍾拉取一份緩存,緩存到內存,這樣99線程等候時間極大縮短。
文件緩存
相對於內存,硬盤容量大,速度相較於走網絡還更快。
所以我們完全可以把一些不經常變更,放在內存又比較浪費的數據緩存到本地硬盤。
比如使用sqlite一些文件數據庫,我們很容易做到。
分布式緩存
基於內存緩存的redis、memcached等。
基於文件nosql的Casssandra、mongodb等。
redis、memcached是主流的分布式內存緩存,也是應用和DB中間最大的緩存層。
nosql這類的其實不單單只是做緩存用了,完全用在一些非核心業務的DB層了。
DB緩存
這一層DB主要是緩存由原始數據計算出的結果,從而避免由Web程序通過SQL或在使用中直接計算。
當然也可以把計算好的數據,存儲到redis中當緩存。
多層緩存
多層緩存概念在很多地方都用到過:
1:上面介紹的多級緩存就是一種,把內容根據讀取頻率,分不同的等級、不同的層次進行存儲,頻率越高離查詢越近。
2:還一種多層是緩存索引的做法,類似B樹查找,這樣能提高檢索效率。
3:從架構上來說瀏覽器緩存、CDN緩存、反向代理緩存、服務端緩存、也是多層緩存。
總結
在使用上大家根據實際場景,進行各種組合搭配。本篇談的比較理論些,有些內容細節沒展開。
比如分布式緩存的使用,緩存置換策略及算法,緩存過期機制等。
系列目錄:
那些年我們一起追過的緩存寫法(二)