前言 在開發十萬博客系統的的過程中，前面主要分享了爬蟲、緩存穿透以及文章閱讀量計數等等。爬蟲的目的就是解決十萬+問題；緩存穿透是為了保護后端數據庫查詢服務；計數服務解決了接近真實閱讀數以及數據庫服務的壓力。 架構圖 限流 就拿十萬博客來說，如果存在熱點文章，可能會有數十萬級別的並發 ...

前言 在十萬博文終極架構中，我們使用了Tomcat集群，但這並不能保證系統不會出問題，為了保證系統的穩定運行，我們還需要對 Tomcat 進行有效的運維監控手段，不至於問題出現或者許久一段時間才知道。凌晨一點這個鍋可誰都不想背，為此基於目前的情況搭建了以下這么一套監控預警系統。 架構圖 ...

前言 在經歷了，緩存、限流、布隆穿透等等一系列加強功能，十萬博客基本算是成型，網站上線以后也加入了百度統計來見證十萬+ 的整個過程。 但是百度統計並不能對每篇博文進行詳細的瀏覽量統計，如果做一些熱點博文排行、48小時排行之類統計，還需要引入瀏覽量統計功能。 設計 通常情況下，我們只需要 ...

前言 通過 Python 爬取十萬博文之后，最重要的是要讓互聯網用戶訪問到，那么如何做呢？ 選型 從后台框架、前端模板、數據庫連接池、緩存、代理服務、限流等組件多個維度選型。 后台框架 SpringBoot2+、JPA 前端框架 Vue 模塊框架 Thymeleaf ...

前言 這里以爬取博客園文章為例，僅供學習參考，某些AD滿天飛的網站太浪費爬蟲的感情了。 爬取 使用 BeautifulSoup 獲取博文 通過 html2text 將 Html 轉 Markdown 保存 Markdown 到本地文件 下載 ...

一. 緩存穿透 （請求數據緩存大量不命中） 緩存穿透是指查詢一個一定不存在的數據，由於緩存不命中，並且出於容錯考慮， 如果從存儲層查不到數據則不寫入緩存，這將導致這個不存在的數據每次請求都要到存儲層去查詢，失去了緩存的意義。 例如：下圖是一個比較典型的cache-storage架構，cache ...

什么是緩存穿透? 發生場景 　　緩存穿透的概念很簡單，用戶想要查詢一個數據，發現redis內存數據庫沒有，也就是緩存沒有命中，於是向持久層數據庫查詢。 發現也沒有，於是本次查詢失敗。當用戶很多的時候，緩存都沒有命中，於是都去請求了持久層數據庫。 這會給持久層數據庫造成很大的壓力，這時候 ...

緩存雪崩 ---摘錄自github Libin Yang 對於系統 A，假設每天高峰期每秒 5000 個請求，本來緩存在高峰期可以扛住每秒 4000 個請求，但是緩存機器意外發生了全盤宕機。緩存掛了，此時 1 秒 5000 個請求全部落數據庫，數據庫必然扛不住，它會報一下警，然后就掛了。此時 ...